The three types of AI bot traffic and how to handle them

Vercel 解析訓練、搜尋與代理人等三種 AI 機器人流量，並提供網站主精準控管與防禦的實用指南。

Vercel 官方部落格分析了當前網站面臨的三種主要 AI 機器人（Bot）流量：用於模型訓練的「訓練爬蟲」、用於即時生成回答的「搜尋引擎」，以及代表用戶執行任務的「AI 代理人」。這三者對網站的價值與頻寬消耗各不相同。文章指導開發者如何利用 robots.txt、Vercel 防火牆（Firewall）與 Edge Middleware，針對不同類型的 AI 流量進行精準的允許、限制或阻擋，以在保護智慧財產權與獲取搜尋流量之間取得平衡。

摘要由 AI 整理,以原文為準。