KV Cache from scratch in nanoVLM★ 75
Hugging Face Blog363d agoTutorial本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎，從原理出發，逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理，並特別解析了多模態情境下視覺 Token 的快取優化，是理解 Transformer 推理底層邏輯的極佳教材。
You could have designed state of the art positional encoding★ 75
Hugging Face Blog554d agoTutorialHugging Face 釋出深度科普文章，帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼（APE）的缺陷出發，指出其無法應對長文本外推的痛點，進而引入相對位置編碼（RPE）的概念。最終，透過簡單的複數與 2D 旋轉矩陣，一步步推導出當前主流大模型（如 Llama、Mistral）標配的 RoPE（旋轉位置編碼），證明這項最先進技術其實符合直覺且人人都能推導出來。
Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent★ 75
Hugging Face Blog771d agoReleaseHugging Face 發表通用型代理人 JAT（Jack of All Trades），採用統一的 Transformer 架構，在 Atari、BabyAI、Meta-World 等多種強化學習環境與文字任務上進行聯合訓練。此研究展示了單一模型如何同時掌握多種不同領域的技能，並開源了數據集與模型權重，推動具身智能發展。
Patch Time Series Transformer in Hugging Face★ 75
Hugging Face Blog852d agoReleaseHugging Face 宣布在其 transformers 函式庫中整合 PatchTST 模型。該模型採用「補丁（Patching）」技術保留局部語義並降低計算複雜度，並結合「通道獨立」處理多變量數據。開發者現在可以透過熟悉的 Hugging Face API 輕鬆進行高效的時間序列預測與微調。
Introducing RWKV - An RNN with the advantages of a transformer★ 75
Hugging Face Blog1114d agoReleaseHugging Face 官方部落格介紹了 RWKV 架構並宣布將其整合至 transformers 函式庫。RWKV 是一種新型態的深度學習架構，它在訓練時能像 Transformer 一樣進行並行化計算，但在推論時則展現出 RNN 的特性，具備恆定的記憶體與時間複雜度。這項整合讓開發者能以極低的硬體資源部署與運行大規模語言模型。
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
Hugging Face Blog1400d agoReleaseHugging Face 官方部落格介紹了 Nyströmformer 模型。該模型旨在解決傳統 Transformer 在處理長序列時面臨的平方級（O(n²)）時間與記憶體複雜度限制。透過引入數學上的 Nyström 方法，Nyströmformer 能夠以線性（O(n)）的複雜度高效逼近標準的 Self-Attention 機制，並已整合至 Hugging Face transformers 庫中，方便開發者直接調用。
Habana Labs and Hugging Face Partner to Accelerate Transformer Model Training
Hugging Face Blog1512d agoReleaseHugging Face 宣布與 Intel 旗下的 Habana Labs 展開合作，旨在提升 Transformer 模型的訓練與部署效率。 雙方共同推出了 `optimum-habana` 開源庫，讓開發者能輕鬆將 Hugging Face 模型遷移至 Habana Gaudi 處理器（HPU）上運行。 此合作為開發者提供除了傳統 GPU 之外，更具性價比的高性能深度學習硬體選擇，僅需修改幾行程式碼即可啟用。
BERT 101 - State Of The Art NLP Model Explained
Hugging Face Blog1553d agoTutorial本指南深入淺出地解析了 Google 提出的革命性 NLP 模型 BERT。文章詳細介紹了其基於 Transformer Encoder 的雙向架構，並剖析了「遮罩語言模型 (MLM)」與「下一句預測 (NSP)」兩大核心預訓練機制。最後，展示了如何透過 Hugging Face 輕鬆將 BERT 應用於各種下游自然語言處理任務。
Perceiver IO: a scalable, fully-attentional model that works on any modality★ 70
Hugging Face Blog1630d agoReleaseDeepMind 提出的 Perceiver IO 已正式整合至 Hugging Face。該模型透過引入「潛在瓶頸」與「輸出查詢」機制，成功將 Transformer 的二次方複雜度降至線性，使其能高效處理高維度的多模態數據（如圖像、音訊、3D 點雲）。Perceiver IO 不僅能接收任意輸入，還能靈活輸出各種結構的數據，是邁向通用 AI 架構的重要一步。
Block Sparse Matrices for Smaller and Faster Language Models
Hugging Face Blog2091d agoTutorialHugging Face 探討如何透過區塊稀疏（Block Sparse）技術優化 Transformer 模型。傳統的稠密矩陣計算在處理長文本時會面臨平方級的複雜度瓶頸，而區塊稀疏化能將矩陣劃分為多個區塊，僅對非零區塊進行計算。此方法不僅能與 GPU 硬體高效協作，還能大幅降低記憶體消耗並加速推理與訓練，為開發更輕量、更快速的語言模型提供新途徑。
The Reformer - Pushing the limits of language modeling
Hugging Face Blog2160d agoPaperReformer 是一種旨在解決標準 Transformer 處理長序列時記憶體與計算瓶頸的改進架構。它引入了局部敏感雜湊（LSH）注意力機制，將計算複雜度從平方級降至對數線性級，並採用可逆殘差層，在反向傳播時無需儲存激活值。這些技術讓 Reformer 能夠在有限的硬體資源下，高效處理極長的文本序列。