[AINews] The End of Finetuning★ 75
Latent Space20d agoOpinion在一個相對平靜的新聞日，Latent Space 帶領讀者反思「微調（Fine-tuning）的終結」這一命題。 隨著長上下文視窗、高效 RAG 以及上下文內學習（In-context Learning）的成熟，許多原本需要微調的場景已被取代。 未來微調可能退化為僅用於調整輸出格式、風格或進行模型蒸餾的工具，而非首選的知識注入手段。
Introducing NVIDIA Nemotron 3 Nano Omni: Long-Context Multimodal Intelligence for Documents, Audio and Video Agents★ 75
Hugging Face Blog35d agoReleaseNVIDIA 推出全新輕量級多模態模型 Nemotron 3 Nano Omni，主打「長文本」與「多模態」處理能力。該模型專為文件分析、語音與影片理解的 AI Agent 所設計，能在資源受限的設備上運行。這標誌著邊緣端（On-device）多模態 Agent 應用的重大突破。
DeepSeek-V4: a million-token context that agents can actually use★ 85
Hugging Face Blog39d agoReleaseHugging Face 介紹全新 DeepSeek-V4 模型，具備 100 萬 Token 的超長上下文能力。不同於以往流於形式的長文本模型，DeepSeek-V4 專為 Agent 設計，在長文本召回率與指令遵循上表現優異。本文探討其技術突破、在 Hugging Face 生態系的部署方式，以及如何實際應用於複雜的 Agent 工作流中。
Kimi K2.6 on AI Gateway
Vercel Changelog43d agoReleaseVercel 於 Changelog 宣布其 AI Gateway 已正式支援 Moonshot AI 的最新模型 Kimi K2.6。開發者現在可以透過 Vercel 的統一 API 介面，輕鬆整合 Kimi K2.6 的強大長文本與推理能力，並同時享有 Vercel AI Gateway 提供的快取、速率限制與效能監控等企業級功能，大幅降低多模型部署的複雜度。
Build knowledge agents without embeddings★ 75
Vercel Changelog75d agoTutorialVercel 發布最新技術指南，探討如何不使用傳統的向量嵌入（Embeddings）與向量資料庫來構建知識型 AI Agent。隨著大語言模型（LLM）的上下文視窗大幅擴大，以及 Tool Calling（工具調用）技術的成熟，開發者可以直接利用長上下文、傳統全文檢索（如 BM25）或動態 API 查詢來實現精準的知識檢索。這不僅能大幅簡化系統架構，還能顯著降低維護向量資料庫的成本與開發門檻。
Ulysses Sequence Parallelism: Training with Million-Token Contexts★ 78
Hugging Face Blog85d agoTutorialHugging Face 詳細介紹了 Ulysses 序列平行化（USP）技術。該技術透過在注意力計算前後進行 All-to-All 集合通訊，將序列維度與注意力頭維度進行轉置，使每個 GPU 能在本地高效計算完整序列的子集注意力。相較於傳統的 Megatron-SP 或 Ring Attention，Ulysses SP 具有極低的通訊開銷，並能與 ZeRO-3 完美結合，是訓練百萬級（Million-Token）超長上下文大模型的高效首選方案。
Kimi K2.5 is live on AI Gateway
Vercel Changelog127d agoReleaseVercel 宣布其 AI Gateway 服務已正式支援 Moonshot AI（月之暗面）最新推出的 Kimi K2.5 模型。這項更新讓開發者能夠透過 Vercel 的統一 API 閘道，輕鬆調用 Kimi K2.5，並享有快取、速率限制及監控等功能。這對於需要處理超長文本或針對中文市場開發 AI 應用的團隊來說，提供了更便利且穩定的部署選擇。
Differential Transformer V2★ 80
Hugging Face Blog133d agoReleaseMicrosoft 於 Hugging Face 發表 Differential Transformer V2（Diff-Transformer V2）。延續 V1 透過雙注意力地圖相減來消除雜訊的設計，V2 重點解決了計算與記憶體開銷問題。新版本引入了高度優化的 CUDA 核心與 FlashAttention 整合，並釋出預訓練模型與 Hugging Face 整合，讓開發者能以更低成本部署具備強大長文本與抗噪能力的模型。
Moonshot AI's Kimi K2 0905 model is now supported in Vercel AI Gateway
Vercel Changelog271d agoReleaseVercel 宣布其 AI Gateway 服務已正式支援月之暗面（Moonshot AI）推出的 Kimi K2 0905 模型。開發者現在可以透過 Vercel AI Gateway 統一管理 Kimi K2 的 API 呼叫，並享有快取、限流與分析等功能。此更新為需要長文本處理能力的開發者提供了更便利的整合管道，進一步擴展了 Vercel 的多模型生態系。
Claude Sonnet 4 now supports 1M token context in Vercel AI Gateway★ 75
Vercel Changelog294d agoReleaseVercel 宣布其 AI Gateway 已正式支援 Claude Sonnet 4 的 100 萬（1M）Token 上下文視窗。這項更新讓開發者能夠透過 Vercel 的託管網關，輕鬆處理極大規模的程式碼庫、長篇文件或複雜的對話歷史。此舉將大幅提升基於 Vercel 部署的 AI 應用在處理長文本任務時的效能與便利性。
TimeScope: How Long Can Your Video Large Multimodal Model Go?★ 75
Hugging Face Blog314d agoReleaseHugging Face 介紹了全新的影片多模態基準測試「TimeScope」，旨在評估 Video LMM 處理長影片的能力。現有基準多侷限於短影片，而 TimeScope 挑戰模型在長時段影片中的時間推理、事件排序與資訊檢索。測試結果顯示，多數現行模型在影片長度增加時，理解與推理能力會顯著下降，揭示了現有技術的瓶頸。
Moonshot AI's Kimi K2 model is now supported in Vercel AI Gateway
Vercel Changelog322d agoReleaseVercel 宣布其 AI Gateway 正式支援 Moonshot AI（月之暗面）的 Kimi K2 模型。開發者現在可以透過 Vercel 的統一網關，輕鬆調用 Kimi K2 並享有快取、限流與監控等功能。這為需要處理超長上下文（Long Context）的應用開發者提供了更便利的整合選擇。
Introducing HELMET: Holistically Evaluating Long-context Language Models★ 80
Hugging Face Blog412d agoReleaseHugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。
Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM★ 90
Hugging Face Blog447d agoReleaseGoogle 推出全新一代開源模型 Gemma 3，具備強大的多模態（視覺與語音）理解能力、廣泛的多語言支持以及長文本處理能力。本次發布涵蓋多種參數規格，並與 Hugging Face 生態系統深度整合，開發者可立即透過 Transformers、vLLM 等工具進行部署與微調，為開源社群注入強大動力。
Mastering Long Contexts in LLMs with KVPress★ 75
Hugging Face Blog495d agoNew Tool隨著大語言模型（LLM）處理的上下文長度不斷增加，KV Cache（鍵值快取）已成為記憶體與推理速度的主要瓶頸。NVIDIA 與 Hugging Face 合作推出了開源庫 KVPress，旨在簡化各種 KV Cache 壓縮技術的實現與評估。KVPress 提供統一的 API，支援多種剪枝與壓縮策略，能有效降低長文本推理時的硬體門檻，並與 Hugging Face transformers 生態系無縫整合。
Bamba: Inference-Efficient Hybrid Mamba2 Model★ 75
Hugging Face Blog531d agoReleaseHugging Face 聯合普林斯頓大學、Together AI 等機構，正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型（SSM）與 Transformer 注意力機制的混合架構（1:7 比例）。在保有與同量級純 Transformer 模型（如 Llama 3）相當性能的同時，顯著降低了長文本推論時的記憶體佔用與延遲，並以 Apache 2.0 協議開源，為長文本應用提供高效的新選擇。
A failed experiment: Infini-Attention, and why we should keep trying?★ 75
Hugging Face Blog657d agoCommentaryGoogle 提出的 Infini-Attention 曾承諾能實現無限長度上下文，但 Hugging Face 團隊在實際重現與測試後發現效果不如預期。實驗顯示，該技術採用的「壓縮記憶體」機制存在嚴重的資訊損失，在精確檢索任務（如大海撈針）中表現不佳，且訓練過程極不穩定。儘管這是一次失敗的嘗試，但團隊強調分享「負面結果」對於 AI 社群避免重蹈覆轍、探索更有效的長上下文解決方案至關重要。
Welcome Falcon Mamba: The first strong attention-free 7B model★ 85
Hugging Face Blog659d agoRelease阿布達比技術創新研究所（TII）推出 Falcon Mamba 7B，這是首個在效能上能與主流 Transformer 抗衡的無注意力機制（Attention-free）模型。基於 Mamba 狀態空間模型（SSM）架構，它在處理極長文本時具有記憶體佔用恆定與推論速度極快的優勢，並以 Apache 2.0 協議開源。
Unlocking Longer Generation with Key-Value Cache Quantization★ 80
Hugging Face Blog747d agoTutorial隨著 LLM 上下文長度增加，KV Cache 佔用的記憶體成為推論瓶頸。Hugging Face 探討了 KV Cache 量化技術（如 INT8 和 INT4），這項技術能減少高達 75% 的快取記憶體佔用。這不僅能顯著提升推論的批次大小（Batch Size），還能在不犧牲太多精度的情況下，讓消費級顯卡也能運行超長文本生成。
Understanding BigBird's Block Sparse Attention
Hugging Face Blog1889d agoTutorialGoogle 提出的 BigBird 模型透過「區塊稀疏注意力機制」，成功將傳統 Transformer 的二次方複雜度降至線性複雜度。該機制結合了全域標記、滑動窗口與隨機注意力，並以「區塊（Block）」為單位進行運算以優化 GPU/TPU 效能。這使得 BigBird 能處理高達 4096 個標記的長文本，非常適合問答、摘要與長文本分析等任務。
Hugging Face Reads, Feb. 2021 - Long-range Transformers
Hugging Face Blog1911d agoCommentary本期 Hugging Face Reads 聚焦於解決標準 Transformer 處理長序列時面臨的 O(N²) 計算與記憶體瓶頸。文章回顧了多種「長文本 Transformer」（Long-range Transformers）解決方案，包括 Longformer、BigBird 等。這些模型透過稀疏注意力、滑動窗口及全域標記等機制，成功將複雜度降至線性，使處理數千甚至數萬個 token 的長文本成為可能。
The Reformer - Pushing the limits of language modeling
Hugging Face Blog2160d agoPaperReformer 是一種旨在解決標準 Transformer 處理長序列時記憶體與計算瓶頸的改進架構。它引入了局部敏感雜湊（LSH）注意力機制，將計算複雜度從平方級降至對數線性級，並採用可逆殘差層，在反向傳播時無需儲存激活值。這些技術讓 Reformer 能夠在有限的硬體資源下，高效處理極長的文本序列。