Vercel 官方部落格分析了當前網站面臨的三種主要 AI 機器人(Bot)流量:用於模型訓練的「訓練爬蟲」、用於即時生成回答的「搜尋引擎」,以及代表用戶執行任務的「AI 代理人」。這三者對網站的價值與頻寬消耗各不相同。文章指導開發者如何利用 robots.txt、Vercel 防火牆(Firewall)與 Edge Middleware,針對不同類型的 AI 流量進行精準的允許、限制或阻擋,以在保護智慧財產權與獲取搜尋流量之間取得平衡。
隨著 Perplexity、ChatGPT Search 等 AI 搜尋引擎崛起,傳統 SEO 正在轉變。Vercel 提出其應對策略,重點在於提供乾淨的語義化 HTML、完整的 JSON-LD 結構化資料,並利用 Next.js 的伺服器端渲染(SSR)確保 AI 爬蟲能即時抓取最新內容。此外,他們也強調了合理配置 robots.txt 以平衡資料隱私與 AI 曝光度的重要性。
隨著 AI 搜尋與 LLM 的普及,AI 爬蟲(如 GPTBot、ClaudeBot)的流量在 2024 年呈現爆發式成長。這不僅帶來了伺服器成本上升與資料被無償抓取的隱憂,也改變了傳統的 SEO 遊戲規則。Vercel 在本文中深入分析了這股趨勢,並分享開發者如何透過 robots.txt、Vercel 防火牆與 Edge Middleware 來有效監控、限制或阻擋這些 AI 爬蟲,在保護網站資產與獲取 AI 搜尋曝光之間取得平衡。