[AINews] The End of Finetuning★ 75
Latent Space20d agoOpinion在一個相對平靜的新聞日，Latent Space 帶領讀者反思「微調（Fine-tuning）的終結」這一命題。 隨著長上下文視窗、高效 RAG 以及上下文內學習（In-context Learning）的成熟，許多原本需要微調的場景已被取代。 未來微調可能退化為僅用於調整輸出格式、風格或進行模型蒸餾的工具，而非首選的知識注入手段。
Introducing NVIDIA Nemotron 3 Nano Omni: Long-Context Multimodal Intelligence for Documents, Audio and Video Agents★ 75
Hugging Face Blog35d agoReleaseNVIDIA 推出全新輕量級多模態模型 Nemotron 3 Nano Omni，主打「長文本」與「多模態」處理能力。該模型專為文件分析、語音與影片理解的 AI Agent 所設計，能在資源受限的設備上運行。這標誌著邊緣端（On-device）多模態 Agent 應用的重大突破。
DeepSeek-V4: a million-token context that agents can actually use★ 85
Hugging Face Blog39d agoReleaseHugging Face 介紹全新 DeepSeek-V4 模型，具備 100 萬 Token 的超長上下文能力。不同於以往流於形式的長文本模型，DeepSeek-V4 專為 Agent 設計，在長文本召回率與指令遵循上表現優異。本文探討其技術突破、在 Hugging Face 生態系的部署方式，以及如何實際應用於複雜的 Agent 工作流中。
Ulysses Sequence Parallelism: Training with Million-Token Contexts★ 78
Hugging Face Blog85d agoTutorialHugging Face 詳細介紹了 Ulysses 序列平行化（USP）技術。該技術透過在注意力計算前後進行 All-to-All 集合通訊，將序列維度與注意力頭維度進行轉置，使每個 GPU 能在本地高效計算完整序列的子集注意力。相較於傳統的 Megatron-SP 或 Ring Attention，Ulysses SP 具有極低的通訊開銷，並能與 ZeRO-3 完美結合，是訓練百萬級（Million-Token）超長上下文大模型的高效首選方案。
Differential Transformer V2★ 80
Hugging Face Blog133d agoReleaseMicrosoft 於 Hugging Face 發表 Differential Transformer V2（Diff-Transformer V2）。延續 V1 透過雙注意力地圖相減來消除雜訊的設計，V2 重點解決了計算與記憶體開銷問題。新版本引入了高度優化的 CUDA 核心與 FlashAttention 整合，並釋出預訓練模型與 Hugging Face 整合，讓開發者能以更低成本部署具備強大長文本與抗噪能力的模型。
TimeScope: How Long Can Your Video Large Multimodal Model Go?★ 75
Hugging Face Blog314d agoReleaseHugging Face 介紹了全新的影片多模態基準測試「TimeScope」，旨在評估 Video LMM 處理長影片的能力。現有基準多侷限於短影片，而 TimeScope 挑戰模型在長時段影片中的時間推理、事件排序與資訊檢索。測試結果顯示，多數現行模型在影片長度增加時，理解與推理能力會顯著下降，揭示了現有技術的瓶頸。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM★ 90
Hugging Face Blog447d agoReleaseGoogle 推出全新一代開源模型 Gemma 3，具備強大的多模態（視覺與語音）理解能力、廣泛的多語言支持以及長文本處理能力。本次發布涵蓋多種參數規格，並與 Hugging Face 生態系統深度整合，開發者可立即透過 Transformers、vLLM 等工具進行部署與微調，為開源社群注入強大動力。
Mastering Long Contexts in LLMs with KVPress★ 75
Hugging Face Blog495d agoNew Tool隨著大語言模型（LLM）處理的上下文長度不斷增加，KV Cache（鍵值快取）已成為記憶體與推理速度的主要瓶頸。NVIDIA 與 Hugging Face 合作推出了開源庫 KVPress，旨在簡化各種 KV Cache 壓縮技術的實現與評估。KVPress 提供統一的 API，支援多種剪枝與壓縮策略，能有效降低長文本推理時的硬體門檻，並與 Hugging Face transformers 生態系無縫整合。
Bamba: Inference-Efficient Hybrid Mamba2 Model★ 75
Hugging Face Blog531d agoReleaseHugging Face 聯合普林斯頓大學、Together AI 等機構，正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型（SSM）與 Transformer 注意力機制的混合架構（1:7 比例）。在保有與同量級純 Transformer 模型（如 Llama 3）相當性能的同時，顯著降低了長文本推論時的記憶體佔用與延遲，並以 Apache 2.0 協議開源，為長文本應用提供高效的新選擇。
A failed experiment: Infini-Attention, and why we should keep trying?★ 75
Hugging Face Blog657d agoCommentaryGoogle 提出的 Infini-Attention 曾承諾能實現無限長度上下文，但 Hugging Face 團隊在實際重現與測試後發現效果不如預期。實驗顯示，該技術採用的「壓縮記憶體」機制存在嚴重的資訊損失，在精確檢索任務（如大海撈針）中表現不佳，且訓練過程極不穩定。儘管這是一次失敗的嘗試，但團隊強調分享「負面結果」對於 AI 社群避免重蹈覆轍、探索更有效的長上下文解決方案至關重要。
Welcome Falcon Mamba: The first strong attention-free 7B model★ 85
Hugging Face Blog659d agoRelease阿布達比技術創新研究所（TII）推出 Falcon Mamba 7B，這是首個在效能上能與主流 Transformer 抗衡的無注意力機制（Attention-free）模型。基於 Mamba 狀態空間模型（SSM）架構，它在處理極長文本時具有記憶體佔用恆定與推論速度極快的優勢，並以 Apache 2.0 協議開源。
Unlocking Longer Generation with Key-Value Cache Quantization★ 80
Hugging Face Blog747d agoTutorial隨著 LLM 上下文長度增加，KV Cache 佔用的記憶體成為推論瓶頸。Hugging Face 探討了 KV Cache 量化技術（如 INT8 和 INT4），這項技術能減少高達 75% 的快取記憶體佔用。這不僅能顯著提升推論的批次大小（Batch Size），還能在不犧牲太多精度的情況下，讓消費級顯卡也能運行超長文本生成。
Understanding BigBird's Block Sparse Attention
Hugging Face Blog1889d agoTutorialGoogle 提出的 BigBird 模型透過「區塊稀疏注意力機制」，成功將傳統 Transformer 的二次方複雜度降至線性複雜度。該機制結合了全域標記、滑動窗口與隨機注意力，並以「區塊（Block）」為單位進行運算以優化 GPU/TPU 效能。這使得 BigBird 能處理高達 4096 個標記的長文本，非常適合問答、摘要與長文本分析等任務。
Hugging Face Reads, Feb. 2021 - Long-range Transformers
Hugging Face Blog1911d agoCommentary本期 Hugging Face Reads 聚焦於解決標準 Transformer 處理長序列時面臨的 O(N²) 計算與記憶體瓶頸。文章回顧了多種「長文本 Transformer」（Long-range Transformers）解決方案，包括 Longformer、BigBird 等。這些模型透過稀疏注意力、滑動窗口及全域標記等機制，成功將複雜度降至線性，使處理數千甚至數萬個 token 的長文本成為可能。
The Reformer - Pushing the limits of language modeling
Hugging Face Blog2160d agoPaperReformer 是一種旨在解決標準 Transformer 處理長序列時記憶體與計算瓶頸的改進架構。它引入了局部敏感雜湊（LSH）注意力機制，將計算複雜度從平方級降至對數線性級，並採用可逆殘差層，在反向傳播時無需儲存激活值。這些技術讓 Reformer 能夠在有限的硬體資源下，高效處理極長的文本序列。