Introducing smolagents: simple agents that write actions in code.★ 85
Hugging Face Blog519d agoReleaseHugging Face 發表輕量級 AI Agent 框架「smolagents」，核心概念為「Code Agents」。與傳統輸出 JSON 的 Agent 不同，它讓 LLM 直接生成 Python 程式碼來執行複雜任務，大幅提升表達力與靈活性。該框架程式碼極簡（約千行），並內置安全的 Python 執行沙箱，支援多種主流 LLM 供應商。
Controlling Language Model Generation with NVIDIA's LogitsProcessorZoo★ 75
Hugging Face Blog527d agoNew ToolNVIDIA 與 Hugging Face 合作介紹 LogitsProcessorZoo，這是一個專為控制大語言模型（LLM）生成行為而設計的工具庫。透過在 Token 生成階段直接干預 Logits（未歸一化的機率值），開發者能輕鬆實現 JSON 結構化輸出、正則表達式約束及自定義解碼策略。該工具與 Hugging Face Transformers 深度整合，大幅提升了生成內容的可靠性與安全性。
Evaluating Audio Reasoning with Big Bench Audio★ 75
Hugging Face Blog530d agoReleaseHugging Face 發表了「Big Bench Audio」基準測試，旨在評估多模態模型在音訊領域的推理能力。傳統評估多著重於語音辨識（ASR），而此基準則涵蓋語音、音樂、環境音等多元任務，考驗模型進行邏輯推理與情境理解的深度。這項開源工具將協助開發者與研究人員更精準地衡量語音大模型的實際應用實力。
Finally, a Replacement for BERT: Introducing ModernBERT★ 85
Hugging Face Blog531d agoReleaseHugging Face 與 LightOn 等團隊聯合推出 ModernBERT，旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構，將上下文長度從 512 提升至 8192 標記，並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時，其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3，為 RAG 與搜尋系統注入全新動力。
Bamba: Inference-Efficient Hybrid Mamba2 Model★ 75
Hugging Face Blog532d agoReleaseHugging Face 聯合普林斯頓大學、Together AI 等機構，正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型（SSM）與 Transformer 注意力機制的混合架構（1:7 比例）。在保有與同量級純 Transformer 模型（如 Llama 3）相當性能的同時，顯著降低了長文本推論時的記憶體佔用與延遲，並以 Apache 2.0 協議開源，為長文本應用提供高效的新選擇。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog533d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
Welcome to the Falcon 3 Family of Open Models!★ 80
Hugging Face Blog533d agoRelease阿布達比技術創新研究所（TII）正式發布 Falcon 3 系列開源模型，提供 1B、3B、7B 及 10B MoE 等多種參數規格。Falcon 3 在多項基準測試中表現優異，其 7B 版本在性能上甚至超越了 Llama 3.1 8B 與 Gemma 2 9B。此系列模型對硬體友善，極適合邊緣運算與本地部署，並已深度整合至 Hugging Face 生態系統。
AI video is having its Stable Diffusion moment★ 80
Replicate Blog534d agoOpinionReplicate 指出，AI 影片生成領域正經歷類似當年 Stable Diffusion 顛覆圖像生成的「開源時刻」。 目前市場上已出現多款效果足以媲美 OpenAI Sora 的開源影片生成模型。 這意味著開發者與創作者不再受限於封閉的 API，能以更低成本、更高自由度在本地或雲端部署高品質影片生成。
Introducing the Synthetic Data Generator - Build Datasets with Natural Language★ 82
Hugging Face Blog534d agoNew ToolHugging Face 發表「Synthetic Data Generator」工具，旨在降低 AI 模型訓練資料集的構建門檻。用戶只需用自然語言描述需求，系統便會利用 distilabel 框架與開源大模型（如 Llama 3.1）自動生成高品質的指令微調（SFT）或偏好對齊（DPO）資料集。生成的資料可直接上傳至 Hugging Face Hub，並支援匯出至 Argilla 進行人工標註與微調。
Hugging Face models in Amazon Bedrock★ 78
Hugging Face Blog541d agoReleaseHugging Face 宣布與 AWS 達成新合作，將其平台上的熱門開源模型整合至 Amazon Bedrock。開發者無需自行管理複雜的底層基礎設施，即可透過 Bedrock 的託管服務與 API 快速呼叫、部署並擴展 Hugging Face 上的模型。此舉大幅降低了企業在 AWS 生態系中使用開源 AI 模型的門檻，並簡化了計費與安全合規流程。
Open Preference Dataset for Text-to-Image Generation by the 🤗 Community★ 75
Hugging Face Blog541d agoReleaseHugging Face 宣布推出由社群共同協作完成的文字生成圖像（Text-to-Image）開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分，收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF（人類回饋強化學習）或 DPO（直接偏好優化）的門檻，推動更具美感與對齊能力的開源圖像模型發展。
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs★ 75
Hugging Face Blog545d agoCommentary本文介紹了 Hugging Face、Keras 與 Google TPU 團隊合作的最新實驗，旨在評估大語言模型（LLM）在被指出錯誤後的「自我糾錯」能力。實驗採用類似 Chatbot Arena 的雙盲測試，利用 Keras 的多後端優勢與 TPU 的強大算力，測試多款開源模型。結果顯示，多數模型在沒有外部具體反饋的情況下，自我糾錯能力仍有極大提升空間。
Welcome PaliGemma 2 – New vision language models by Google★ 80
Hugging Face Blog545d agoReleaseGoogle 發表全新一代輕量級視覺語言模型 PaliGemma 2，基於 SigLIP 視覺編碼器與 Gemma 2 文本解碼器。本次釋出包含 3B、10B 與 28B 三種參數規模，並提供多種輸入解析度（最高達 896x896）。PaliGemma 2 在圖像描述、視覺問答、目標檢測與文件理解等任務上表現優異，且已全面整合至 Hugging Face 生態系，支援快速微調與部署。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog546d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
Investing in Performance: Fine-tune small models with LLM insights - a CFM case study★ 75
Hugging Face Blog547d agoBusiness量化資產管理公司 CFM 與 Hugging Face 合作，探索如何在金融領域高效應用 AI。他們並未直接在生產環境部署昂貴的大型 LLM，而是利用大模型生成高質量的標註數據與洞察，進而微調專門的小型模型（SLM）。這種「知識蒸餾」策略不僅大幅降低了推理成本與延遲，還在特定金融 NLP 任務上保持了極高的準確度。
Open Source Developers Guide to the EU AI Act★ 75
Hugging Face Blog548d agoTutorial歐盟《AI 法案》（EU AI Act）已正式生效，Hugging Face 針對開源社群推出實用指南。文章釐清了開源模型在何種情況下可享有豁免（如釋出權重與架構），並指出當模型運算量超過 10^25 FLOPs 或被用於高風險領域時，開發者仍需承擔合規義務。此指南旨在幫助開源開發者在推動創新的同時，避免觸犯法律紅線。
FLUX fine-tunes are now fast★ 75
Replicate Blog554d agoReleaseAI 雲端託管平台 Replicate 宣布大幅提升 FLUX.1 圖像生成模型的微調（Fine-tuning）速度。透過底層優化，用戶現在能以極快的速度訓練出專屬的 FLUX LoRA 模型。最重要的是，Replicate 將這些優化技術與訓練程式碼完全開源，讓開發者不僅能在其平台上快速部署，也能在自己的硬體上實現高效訓練。
Rearchitecting Hugging Face Uploads and Downloads★ 75
Hugging Face Blog554d agoRelease隨著託管的模型與數據集規模暴增，Hugging Face 傳統的 Git-LFS 架構面臨元數據處理緩慢和鎖定等瓶頸。為此，他們重構了上傳與下載架構，將文件存儲與 Git 解耦，改用自研的 HTTP 傳輸機制、Rust 編寫的 `hf-transfer` 工具，並優化 S3 直連與 CDN 緩存。這項變革大幅提升了數百 GB 級大模型與數百萬文件數據集的傳輸速度與穩定性。
SmolVLM - small yet mighty Vision Language Model★ 80
Hugging Face Blog554d agoReleaseHugging Face 發表全新輕量級視覺語言模型 SmolVLM（約 2.2B 參數），專為本機與邊緣設備設計。該模型結合了 SigLIP 視覺編碼器與 SmolLM2 語言模型，不僅支援多圖輸入與影片分析，在多項基準測試中更展現出媲美更大尺寸模型的性能。SmolVLM 採 Apache 2.0 開源授權，極低記憶體佔用使其成為開發者在終端裝置部署 VLM 的理想選擇。
You could have designed state of the art positional encoding★ 75
Hugging Face Blog555d agoTutorialHugging Face 釋出深度科普文章，帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼（APE）的缺陷出發，指出其無法應對長文本外推的痛點，進而引入相對位置編碼（RPE）的概念。最終，透過簡單的複數與 2D 旋轉矩陣，一步步推導出當前主流大模型（如 Llama、Mistral）標配的 RoPE（旋轉位置編碼），證明這項最先進技術其實符合直覺且人人都能推導出來。
FLUX.1 Tools – Control and steerability for FLUX★ 75
Replicate Blog559d agoReleaseReplicate 宣布為開源影像生成模型 FLUX.1 推出全新工具集「FLUX.1 Tools」。此更新引入了 Inpainting（局部重繪）、Outpainting（影像外繪）、Canny 邊緣檢測以及 Depth（深度圖）等控制功能。開發者與創作者現在可以透過 API 更精準地引導與修改 FLUX 生成的影像，解決了過去 FLUX 在精細控制與編輯上的痛點。
Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog560d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Introducing the Open Leaderboard for Japanese LLMs!★ 75
Hugging Face Blog560d agoNew ToolHugging Face 宣布推出專為日語設計的「開放式日語 LLM 排行榜」。該排行榜旨在解決現有英文基準無法準確評估日語能力的問題，採用了多個日語標準評測數據集。這將為開發者與研究人員提供一個公開、透明且可重複驗證的平台，用以評估與比較各類開源日語大語言模型的表現。
From Files to Chunks: Improving HF Storage Efficiency★ 75
Hugging Face Blog560d agoReleaseHugging Face 發表全新的儲存優化方案，將傳統的檔案級儲存（如 Git LFS）轉型為「分塊儲存（Chunk-based Storage）」。透過內容定義分塊（CDC）與內容定址儲存（CAS）技術，Hub 能跨儲存庫進行資料去重。這對於微調（Fine-tune）與合併（Merge）模型的儲存能節省極大空間，並顯著加快上傳與下載速度。
Faster Text Generation with Self-Speculative Decoding★ 78
Hugging Face Blog560d agoReleaseHugging Face 介紹了 Meta 的 LayerSkip 技術，該技術透過「自投機解碼（Self-Speculative Decoding）」來加速 LLM 推理。傳統投機解碼需要額外的草稿模型，而 LayerSkip 讓單一模型在推理時自我預測與驗證。透過在訓練時加入層丟棄與早期退出損失，模型能用前幾層快速生成草稿，再由完整模型驗證，顯著降低記憶體佔用並提升速度。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog561d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
Share your open ML datasets on Hugging Face Hub!
Hugging Face Blog568d agoReleaseHugging Face 官方發文鼓勵機器學習研究人員將其開源數據集託管至 Hugging Face Hub。透過 Hub 提供的強大工具（如數據集瀏覽器、版本控制與 metadata 標記），研究人員能更輕鬆地推廣其研究成果。此舉旨在降低數據集獲取門檻，進一步推動全球開源 AI 社群的協作與創新。
Hugging Face + PyCharm★ 75
Hugging Face Blog575d agoNew ToolJetBrains PyCharm 與 Hugging Face 展開合作，在最新版本中提供原生整合。開發者現在無需離開編輯器，即可直接瀏覽 Hugging Face Hub 上的數十萬個開源模型與資料集。此整合還支援程式碼自動補全、模型卡片預覽以及快速生成載入程式碼，大幅提升 AI 與機器學習的開發效率。
Argilla 2.4: Easily Build Fine-Tuning and Evaluation Datasets on the Hub — No Code Required★ 75
Hugging Face Blog576d agoRelease開源數據標註平台 Argilla 發布 2.4 版本，主打與 Hugging Face Hub 的深度無程式碼整合。用戶現在可以直接在 Hugging Face Spaces 上部署 Argilla，並透過直觀的 UI 介面進行數據導入、協作標註與導出。這大幅降低了為大語言模型（LLM）準備指令微調（SFT）和偏好對齊（DPO）數據集的門檻，讓非技術背景的領域專家也能輕鬆參與數據策劃。
Universal Assisted Generation: Faster Decoding with Any Assistant Model★ 85
Hugging Face Blog582d agoReleaseHugging Face 發表「通用輔助生成 (UAG)」技術，解決了傳統投機解碼（Speculative Decoding）必須要求大小模型使用相同 Tokenizer 的限制。UAG 透過跨 Tokenizer 的對齊機制，讓開發者能自由搭配任意輕量模型（如 Gemma-2B）來加速大型目標模型（如 Llama-3-70B）。此技術已整合至 Hugging Face 的 Transformers 庫中，能顯著降低推論延遲並節省運算成本。