Vercel 官方部落格分析了當前網站面臨的三種主要 AI 機器人(Bot)流量:用於模型訓練的「訓練爬蟲」、用於即時生成回答的「搜尋引擎」,以及代表用戶執行任務的「AI 代理人」。這三者對網站的價值與頻寬消耗各不相同。文章指導開發者如何利用 robots.txt、Vercel 防火牆(Firewall)與 Edge Middleware,針對不同類型的 AI 流量進行精準的允許、限制或阻擋,以在保護智慧財產權與獲取搜尋流量之間取得平衡。
Vercel 推出 Bot Protection 公測版,旨在保護部署於 Vercel 的網站免受惡意機器人、自動化攻擊及無節制 AI 爬蟲的侵害。此功能在 Edge 端進行即時流量分析,無須複雜設定即可啟用,能有效降低伺服器負載並防止敏感資料被竊取。對於使用 Vercel 部署應用的開發者與企業來說,這是一項提升安全性的重要更新。