A failed experiment: Infini-Attention, and why we should keep trying?

Hugging Face 團隊分享實作 Google "Infini-Attention" 的失敗經驗，揭示其在長文本檢索中的資訊流失與訓練不穩定問題。

Google 提出的 Infini-Attention 曾承諾能實現無限長度上下文，但 Hugging Face 團隊在實際重現與測試後發現效果不如預期。實驗顯示，該技術採用的「壓縮記憶體」機制存在嚴重的資訊損失，在精確檢索任務（如大海撈針）中表現不佳，且訓練過程極不穩定。儘管這是一次失敗的嘗試，但團隊強調分享「負面結果」對於 AI 社群避免重蹈覆轍、探索更有效的長上下文解決方案至關重要。

摘要由 AI 整理,以原文為準。