🔥 Trending today
BotID uncovers hidden SEO poisoning★ 70
Vercel Changelog253d agoReleaseVercel 發表全新安全功能「BotID」，旨在解決日益嚴重的 SEO 毒化（SEO Poisoning）問題。許多惡意機器人會偽裝成 Googlebot 等合法搜尋引擎爬蟲以規避防護。BotID 透過進階的行為與指紋分析，能精準辨識這些「假爬蟲」，在不影響真實搜尋引擎索引的前提下，保護網站的搜尋排名與安全。
The three types of AI bot traffic and how to handle them★ 75
Vercel Changelog293d agoTutorialVercel 官方部落格分析了當前網站面臨的三種主要 AI 機器人（Bot）流量：用於模型訓練的「訓練爬蟲」、用於即時生成回答的「搜尋引擎」，以及代表用戶執行任務的「AI 代理人」。這三者對網站的價值與頻寬消耗各不相同。文章指導開發者如何利用 robots.txt、Vercel 防火牆（Firewall）與 Edge Middleware，針對不同類型的 AI 流量進行精準的允許、限制或阻擋，以在保護智慧財產權與獲取搜尋流量之間取得平衡。
Bot activity and crawler insights now in Observability
Vercel Changelog391d agoReleaseVercel 宣布在其 Observability（可觀測性）工具中新增「機器人活動與爬蟲洞察」功能。開發者現在可以直接在控制面板中追蹤搜尋引擎爬蟲、AI 訓練機器人及惡意掃描器的訪問行為。這項更新有助於優化 SEO 策略、防範惡意流量，並更精準地管理網站頻寬與資源消耗。
The rise of the AI crawler★ 75
Vercel Changelog532d agoCommentary隨著 AI 搜尋與 LLM 的普及，AI 爬蟲（如 GPTBot、ClaudeBot）的流量在 2024 年呈現爆發式成長。這不僅帶來了伺服器成本上升與資料被無償抓取的隱憂，也改變了傳統的 SEO 遊戲規則。Vercel 在本文中深入分析了這股趨勢，並分享開發者如何透過 robots.txt、Vercel 防火牆與 Edge Middleware 來有效監控、限制或阻擋這些 AI 爬蟲，在保護網站資產與獲取 AI 搜尋曝光之間取得平衡。