本教學深入探討大語言模型推理加速的核心技術——KV Cache。文章以輕量級視覺語言模型 nanoVLM 為基礎,從原理出發,逐步引導讀者用 PyTorch 從頭實作 KV Cache。內容涵蓋 Prefill 與 Decode 階段的快取處理,並特別解析了多模態情境下視覺 Token 的快取優化,是理解 Transformer 推理底層邏輯的極佳教材。
Hugging Face 釋出深度科普文章,帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼(APE)的缺陷出發,指出其無法應對長文本外推的痛點,進而引入相對位置編碼(RPE)的概念。最終,透過簡單的複數與 2D 旋轉矩陣,一步步推導出當前主流大模型(如 Llama、Mistral)標配的 RoPE(旋轉位置編碼),證明這項最先進技術其實符合直覺且人人都能推導出來。
本指南深入淺出地解析了 Google 提出的革命性 NLP 模型 BERT。文章詳細介紹了其基於 Transformer Encoder 的雙向架構,並剖析了「遮罩語言模型 (MLM)」與「下一句預測 (NSP)」兩大核心預訓練機制。最後,展示了如何透過 Hugging Face 輕鬆將 BERT 應用於各種下游自然語言處理任務。