Microsoft 於 Hugging Face 發表 Differential Transformer V2(Diff-Transformer V2)。延續 V1 透過雙注意力地圖相減來消除雜訊的設計,V2 重點解決了計算與記憶體開銷問題。新版本引入了高度優化的 CUDA 核心與 FlashAttention 整合,並釋出預訓練模型與 Hugging Face 整合,讓開發者能以更低成本部署具備強大長文本與抗噪能力的模型。
Google 提出的 Infini-Attention 曾承諾能實現無限長度上下文,但 Hugging Face 團隊在實際重現與測試後發現效果不如預期。實驗顯示,該技術採用的「壓縮記憶體」機制存在嚴重的資訊損失,在精確檢索任務(如大海撈針)中表現不佳,且訓練過程極不穩定。儘管這是一次失敗的嘗試,但團隊強調分享「負面結果」對於 AI 社群避免重蹈覆轍、探索更有效的長上下文解決方案至關重要。
Google 提出的 BigBird 模型透過「區塊稀疏注意力機制」,成功將傳統 Transformer 的二次方複雜度降至線性複雜度。該機制結合了全域標記、滑動窗口與隨機注意力,並以「區塊(Block)」為單位進行運算以優化 GPU/TPU 效能。這使得 BigBird 能處理高達 4096 個標記的長文本,非常適合問答、摘要與長文本分析等任務。
本期 Hugging Face Reads 聚焦於解決標準 Transformer 處理長序列時面臨的 O(N²) 計算與記憶體瓶頸。文章回顧了多種「長文本 Transformer」(Long-range Transformers)解決方案,包括 Longformer、BigBird 等。這些模型透過稀疏注意力、滑動窗口及全域標記等機制,成功將複雜度降至線性,使處理數千甚至數萬個 token 的長文本成為可能。