Differential Transformer V2★ 80
Hugging Face Blog133d agoReleaseMicrosoft 於 Hugging Face 發表 Differential Transformer V2（Diff-Transformer V2）。延續 V1 透過雙注意力地圖相減來消除雜訊的設計，V2 重點解決了計算與記憶體開銷問題。新版本引入了高度優化的 CUDA 核心與 FlashAttention 整合，並釋出預訓練模型與 Hugging Face 整合，讓開發者能以更低成本部署具備強大長文本與抗噪能力的模型。
A failed experiment: Infini-Attention, and why we should keep trying?★ 75
Hugging Face Blog657d agoCommentaryGoogle 提出的 Infini-Attention 曾承諾能實現無限長度上下文，但 Hugging Face 團隊在實際重現與測試後發現效果不如預期。實驗顯示，該技術採用的「壓縮記憶體」機制存在嚴重的資訊損失，在精確檢索任務（如大海撈針）中表現不佳，且訓練過程極不穩定。儘管這是一次失敗的嘗試，但團隊強調分享「負面結果」對於 AI 社群避免重蹈覆轍、探索更有效的長上下文解決方案至關重要。
Understanding BigBird's Block Sparse Attention
Hugging Face Blog1889d agoTutorialGoogle 提出的 BigBird 模型透過「區塊稀疏注意力機制」，成功將傳統 Transformer 的二次方複雜度降至線性複雜度。該機制結合了全域標記、滑動窗口與隨機注意力，並以「區塊（Block）」為單位進行運算以優化 GPU/TPU 效能。這使得 BigBird 能處理高達 4096 個標記的長文本，非常適合問答、摘要與長文本分析等任務。
Hugging Face Reads, Feb. 2021 - Long-range Transformers
Hugging Face Blog1911d agoCommentary本期 Hugging Face Reads 聚焦於解決標準 Transformer 處理長序列時面臨的 O(N²) 計算與記憶體瓶頸。文章回顧了多種「長文本 Transformer」（Long-range Transformers）解決方案，包括 Longformer、BigBird 等。這些模型透過稀疏注意力、滑動窗口及全域標記等機制，成功將複雜度降至線性，使處理數千甚至數萬個 token 的長文本成為可能。