Universal Assisted Generation: Faster Decoding with Any Assistant Model★ 85
Hugging Face Blog581d agoReleaseHugging Face 發表「通用輔助生成 (UAG)」技術，解決了傳統投機解碼（Speculative Decoding）必須要求大小模型使用相同 Tokenizer 的限制。UAG 透過跨 Tokenizer 的對齊機制，讓開發者能自由搭配任意輕量模型（如 Gemma-2B）來加速大型目標模型（如 Llama-3-70B）。此技術已整合至 Hugging Face 的 Transformers 庫中，能顯著降低推論延遲並節省運算成本。
A Deepdive into Aya Expanse: Advancing the Frontier of Multilinguality★ 75
Hugging Face Blog586d agoReleaseCohere For AI 發表全新開源多語言模型家族 Aya Expanse（包含 8B 與 32B 參數版本），支援 23 種語言。該模型透過創新的資料套利、合成資料生成與多語言偏好對齊技術，在多項基準測試中擊敗了 Llama 3.1、Gemma 2 等同級甚至更大規模的模型，為全球多語言 AI 研究樹立了新標竿。
Introducing SynthID Text★ 85
Hugging Face Blog587d agoReleaseGoogle 與 Hugging Face 宣布將 SynthID Text 技術整合至 Transformers 庫中。這項技術能在不影響文本生成品質的前提下，於 LLM 輸出的機率分佈中嵌入隱形浮水印。開發者現在可以輕鬆在自己的模型中啟用此功能，以識別和追蹤 AI 生成的文本，應對虛假訊息與版權爭議。
A Short Summary of Chinese AI Global Expansion★ 75
Hugging Face Blog607d agoCommentary隨著 Qwen、DeepSeek、Yi 等中國開源模型在 Hugging Face 排行榜上名列前茅，中國 AI 勢力正加速全球擴張。這些模型憑藉強大的多語言能力、數學與程式碼推理性能，以及極高的性價比，成為全球開發者在 Llama 之外的重要選擇。本文總結了中國 AI 透過開源生態系打破地理限制、走向國際的關鍵策略與面臨的挑戰。
Welcome Falcon Mamba: The first strong attention-free 7B model★ 85
Hugging Face Blog659d agoRelease阿布達比技術創新研究所（TII）推出 Falcon Mamba 7B，這是首個在效能上能與主流 Transformer 抗衡的無注意力機制（Attention-free）模型。基於 Mamba 狀態空間模型（SSM）架構，它在處理極長文本時具有記憶體佔用恆定與推論速度極快的優勢，並以 Apache 2.0 協議開源。
Replicate Intelligence #8★ 75
Replicate Blog676d agoReleaseReplicate 發布第 8 期技術情報。本次更新重點包括：全面支援 Meta 最新發布的頂級開源模型 Llama 3.1（包含 405B 旗艦模型）；推出全新的安全分類器（如 Llama Guard 3），協助開發者過濾有害內容；以及正式開放「模型搜尋 API」，讓開發者能透過程式碼輕鬆檢索與篩選 Replicate 上的數萬個 AI 模型。
Run Meta Llama 3.1 405B with an API★ 85
Replicate Blog679d agoReleaseMeta 推出最強開源模型 Llama 3.1 405B，Replicate 隨即宣布全面支援其 API 運行。開發者無需自行準備昂貴的 GPU 基礎設施，即可透過 Replicate 的雲端平台，以極低的延遲與簡單的一行程式碼整合該模型。此服務支援 128k 脈絡長度，並提供結構化輸出等功能，大幅降低了企業與開發者應用頂級開源 AI 的門檻。
Llama 3.1 - 405B, 70B & 8B with multilinguality and long context★ 95
Hugging Face Blog679d agoReleaseMeta 正式發布 Llama 3.1 系列，包含 8B、70B 及首款能與頂級閉源模型媲美的 405B 旗艦模型。此版本將上下文視窗大幅提升至 128k，並增強了多語言能力。Hugging Face 同步推出完整生態系支援，涵蓋 Transformers 整合、TGI 推論優化、TRL 微調以及 FP8 量化，降低 405B 的部署門檻。
Welcome Gemma 2 - Google’s new open LLM★ 85
Hugging Face Blog705d agoReleaseGoogle 聯合 Hugging Face 推出新一代開源模型 Gemma 2，提供 9B 與 27B 兩種參數規格。27B 版本在同量級中表現極為優異，甚至能與體積兩倍大的模型競爭；9B 版本也超越了 Llama 3 8B。此系列模型採用知識蒸餾與混合注意力機制，並已在 Hugging Face 生態系中獲得全面支援。
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages★ 75
Hugging Face Blog739d agoRelease阿布達比技術創新研究所（TII）推出全新開源模型 Falcon 2 11B，包含預訓練語言模型與視覺語言模型（VLM）。該模型在超過 5 兆（5000B）Token 的高質量數據上進行訓練，支援 11 種語言。其性能在同量級模型中表現亮眼，並採用 Apache 2.0 授權，對開源社群與開發者極具吸引力。
Run Snowflake Arctic with an API
Replicate Blog770d agoNew ToolSnowflake 推出全新開源企業級大語言模型 Arctic，採用 MoE（混合專家）架構。Replicate 迅速跟進，提供託管 API 服務。開發者現在無需自行配置昂貴的 GPU 硬體，只需透過 Replicate 的 API 或 SDK，即可用極低的成本與簡單的程式碼，在雲端部署並運行這款強大的開源模型。
Welcome Llama 3 - Meta's new open LLM★ 95
Hugging Face Blog775d agoReleaseMeta 正式推出全新一代開源大型語言模型 Llama 3，首波釋出 8B 與 70B 兩種參數版本。此版本採用 128k 詞彙量的新分詞器、支援 8K 上下文長度，並在超過 15 兆 Token 的超大資料集上進行訓練，程式碼與推理能力皆有飛躍性提升。Hugging Face 生態系已在第一時間全面整合，支援 Llama 3 的部署、微調與推論，為開源 AI 社群注入強大動力。
CodeGemma - an official Google release for code LLMs★ 80
Hugging Face Blog784d agoReleaseGoogle 官方正式發布 CodeGemma 程式碼模型系列，基於 Gemma 架構。提供專攻 IDE 程式碼補全（Fill-in-the-Middle）的 2B 版本，以及適合程式碼生成與對話的 7B 版本。該系列模型已深度整合至 Hugging Face 生態系，支援多種主流程式語言，為開發者提供高效且可本地運行的開源 AI 助手選擇。
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models★ 85
Hugging Face Blog804d agoReleaseHugging Face 發布了當時最大的開源合成數據集 Cosmopedia，內含 250 億 Token。該項目利用 Mixtral-8x7B 模型，根據精心設計的提示詞與主題生成教科書、部落格和教學等多元內容。實驗證明，使用此合成數據預訓練的 1.8B 模型（Cosmo-1.8B）在多項基準測試中超越了同量級的知名模型，為 LLM 預訓練提供了全新的合成數據生成範式。
Quanto: a PyTorch quantization backend for Optimum★ 75
Hugging Face Blog806d agoReleaseHugging Face 發表全新開源 PyTorch 量化工具庫 Quanto，現已整合至 Optimum 生態系。Quanto 支援權重與激活值的量化（包括 int4、int8 與 float8），且具備跨平台相容性，可在 CPU、GPU 及 Apple Silicon (MPS) 上運行。開發者只需幾行程式碼即可對 Transformers 和 Diffusers 模型進行訓練後量化（PTQ）或量化感知訓練（QAT）。
Easily Train Models with H100 GPUs on NVIDIA DGX Cloud★ 75
Hugging Face Blog806d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，將 DGX Cloud 的強大算力直接引入平台。開發者現在可以輕鬆調用 NVIDIA H100 GPU 來訓練與微調大型語言模型，無需自行管理複雜的底層基礎設施。這項合作大幅降低了獲取頂級 AI 算力的門檻，加速了企業與研究人員的模型開發流程。
StarCoder2 and The Stack v2★ 80
Hugging Face Blog825d agoRelease由 Hugging Face 與 ServiceNow 主導的 BigCode 社群，聯合 NVIDIA 正式發布了新一代開源程式碼大語言模型 StarCoder2。該系列提供 3B、7B 和 15B 三種參數版本，並同步推出全新升級的 The Stack v2 資料集。StarCoder2 支援超過 600 種程式語言，並在程式碼生成、補全與修復等任務上展現出同量級模型中的頂尖性能，持續推動負責任且開放的 AI 開發。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog827d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
Fine-Tuning Gemma Models in Hugging Face★ 80
Hugging Face Blog830d agoTutorial本指南介紹如何在 Hugging Face 生態系中微調 Google 的 Gemma 開源模型（2B 與 7B）。文章詳細說明了如何利用 PEFT（參數高效微調）技術，特別是 QLoRA（4-bit 量化微調），在消費級 GPU 上進行訓練。透過結合 transformers、peft 與 trl（SFTTrainer）等套件，開發者可以輕鬆載入模型、設定 LoRA 參數、格式化數據集，並將微調後的權重上傳至 Hugging Face Hub，是實作 Gemma 微調的必讀教學。
Welcome Gemma - Google’s new open LLM★ 85
Hugging Face Blog832d agoReleaseGoogle 正式推出全新開源模型家族 Gemma，包含 2B 與 7B 兩種參數大小，並提供預訓練與指令微調版本。 Gemma 採用與 Gemini 相同的技術與架構，在多項基準測試中表現優於同尺寸的 Llama 2 與 Mistral。 Hugging Face 已同步支援 Gemma，開發者可直接透過 Transformers、TGI、PEFT 等工具進行部署與微調。
2023, year of open LLMs★ 75
Hugging Face Blog897d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face★ 90
Hugging Face Blog904d agoReleaseMistral AI 發表全新混合專家（MoE）模型 Mixtral 8x7B，總參數 46.7B 但每次 token 僅啟用 12.9B，速度極快。其在多項基準測試中超越 Llama 2 70B 及 GPT-3.5，並支援 32k 脈絡長度。Hugging Face 已於 Transformers、TGI 及推理終端全面整合，並採 Apache 2.0 開源授權。
Mixture of Experts Explained★ 85
Hugging Face Blog904d agoTutorial本指南深入解析混合專家模型（MoE）的核心技術。MoE 透過門控網路（Router）將輸入 token 分流至不同的專家網路（FFN），實現「高參數量、低計算量」的優勢。文中探討了 MoE 的歷史、訓練挑戰（如負載均衡與記憶體佔用），以及如何高效部署與微調此類模型。
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code★ 80
Hugging Face Blog910d agoReleaseHugging Face 與 NVIDIA 合作推出 Optimum-NVIDIA 庫，旨在簡化 TensorRT-LLM 的使用門檻。開發者只需將原本的 Transformers 模型載入程式碼替換為 Optimum-NVIDIA 的對應類別，即可在 NVIDIA GPU 上獲得極致的推理加速與顯存優化，並支援 FP8 等低精度量化。
Make your llama generation time fly with AWS Inferentia2★ 72
Hugging Face Blog938d agoTutorialHugging Face 介紹如何使用 AWS Inferentia2（Inf2 執行個體）來加速 Llama 2 模型的推理。透過 Optimum Neuron 整合庫，開發者可以輕鬆將 Llama 2 編譯並部署至 AWS 自研晶片上。這不僅能顯著提升文字生成速度（降低延遲），還能大幅降低雲端部署的硬體成本，是 NVIDIA GPU 之外的高性價比替代方案。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog994d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
Spread Your Wings: Falcon 180B is here★ 75
Hugging Face Blog1000d agoRelease阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。
Code Llama: Llama 2 learns to code★ 85
Hugging Face Blog1012d agoReleaseMeta 正式發布專為程式碼任務設計的開源模型 Code Llama，提供 7B、13B 與 34B 三種尺寸，並包含 Python 專用版與指令微調版。該模型支援高達 100k 的上下文視窗，在多項程式碼基準測試中表現優異。Hugging Face 已同步支援該系列模型的推理、部署與微調。
Run Llama 2 with an API
Replicate Blog1041d agoTutorialReplicate 宣布支援 Meta 的開源大語言模型 Llama 2。開發者現在無需自行管理繁雜的 GPU 基礎設施，只需透過 Replicate 提供的 API，用一行程式碼就能在雲端快速呼叫並運行 Llama 2。這大幅降低了開源模型的使用門檻，讓開發者能更輕鬆地將其整合至應用中。
What happened with Llama 2 in the last 24 hours? 🦙★ 80
Replicate Blog1049d agoReleaseMeta 推出新一代開源大語言模型 Llama 2（包含 7B、13B、70B 參數版本）後，在 AI 社群引發連鎖反應。Replicate 在第一時間託管了這些模型並提供 API 服務。本文彙整了發布後 24 小時內，包含雲端部署、API 呼叫及社群生態的最新進展，展現開源 AI 領域的驚人迭代速度。