SmolVLM Grows Smaller – Introducing the 256M & 500M Models!★ 75
Hugging Face Blog496d agoReleaseHugging Face 發表了 SmolVLM 家族的最新成員：256M 和 500M 參數的超小型視覺語言模型（VLM）。這兩款模型體積極小，旨在讓多模態 AI 能在手機、物聯網設備或瀏覽器中流暢運行。儘管尺寸迷你，它們在基礎圖像描述與問答任務上仍展現出實用的性能，為邊緣端多模態應用開闢新路徑。
Hugging Face and FriendliAI partner to supercharge model deployment on the Hub★ 70
Hugging Face Blog497d agoReleaseHugging Face 宣布與 FriendliAI 建立合作夥伴關係，旨在加速 Hugging Face Hub 上的模型部署。透過整合 FriendliAI 的高效能推理技術，開發者將能以更低的延遲和更低的成本部署大型語言模型（LLM）。此合作簡化了從 Hub 到生產環境的部署流程，為企業提供更具成本效益的 AI 服務方案。
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference★ 85
Hugging Face Blog503d agoReleaseHugging Face 的 Text Generation Inference (TGI) 宣布支援多後端架構，正式整合 NVIDIA TensorRT-LLM 與 vLLM。這項更新讓開發者無需在 TGI 的生產級功能（如 Tokenizer、工具調用、安全防護）與其他引擎的極致效能之間做抉擇。現在，用戶可以透過簡單的設定，直接在 TGI 中調用 TRT-LLM 的硬體優化或 vLLM 的高吞吐量優勢。
Timm ❤️ Transformers: Use any timm model with transformers★ 80
Hugging Face Blog503d agoReleaseHugging Face 宣布將著名的 PyTorch 圖像模型庫 `timm` 與 `transformers` 進行深度整合。現在開發者可以直接使用 `AutoModel` 和 `AutoImageProcessor` 等標準 API，輕鬆載入並使用 `timm` 中的數千個電腦視覺模型。這項更新不僅簡化了工作流程，還讓 `timm` 模型能完美融入 Hugging Face 的生態系，包括 Trainer、Pipelines 以及各類部署工具。
AI Agents Are Here. What Now?★ 75
Hugging Face Blog506d agoCommentary本文為 Hugging Face 倫理與社會小組的專題探討，指出 AI Agent（智慧代理）已從理論走向實用。文章深入分析了 Agent 在自主決策、工具調用中所帶來的安全隱患、責任歸屬及社會衝擊，並強調開源社群在建立安全評估與「人類協同（Human-in-the-loop）」機制中的關鍵角色。
Visual Document Retrieval Goes Multilingual★ 80
Hugging Face Blog509d agoReleaseHugging Face 發表全新的 VDR-2B-multilingual 模型，專為視覺文件檢索（VDR）設計。傳統檢索依賴繁瑣的 OCR 步驟，而該模型能直接將文件頁面視為圖像進行向量化，保留排版、圖表與插圖資訊。本次更新重點在於擴展至多語言支持（包含中英日韓等），大幅提升跨國企業與多語系文檔的檢索效率與準確度。
CO₂ Emissions and Models Performance: Insights from the Open LLM Leaderboard
Hugging Face Blog510d agoCommentaryHugging Face 發表 Open LLM Leaderboard 的碳排放分析報告，探討模型評估過程中的能源消耗與 CO₂ 排放。研究指出，雖然大型模型性能優異，但其碳足跡也呈指數增長；相反地，透過模型量化與參數優化，能在大幅降低能耗的同時保持高水準性能。此報告呼籲社群在追求高分之餘，也應重視「綠色 AI」與運算效率。
Introducing smolagents: simple agents that write actions in code.★ 85
Hugging Face Blog519d agoReleaseHugging Face 發表輕量級 AI Agent 框架「smolagents」，核心概念為「Code Agents」。與傳統輸出 JSON 的 Agent 不同，它讓 LLM 直接生成 Python 程式碼來執行複雜任務，大幅提升表達力與靈活性。該框架程式碼極簡（約千行），並內置安全的 Python 執行沙箱，支援多種主流 LLM 供應商。
Controlling Language Model Generation with NVIDIA's LogitsProcessorZoo★ 75
Hugging Face Blog527d agoNew ToolNVIDIA 與 Hugging Face 合作介紹 LogitsProcessorZoo，這是一個專為控制大語言模型（LLM）生成行為而設計的工具庫。透過在 Token 生成階段直接干預 Logits（未歸一化的機率值），開發者能輕鬆實現 JSON 結構化輸出、正則表達式約束及自定義解碼策略。該工具與 Hugging Face Transformers 深度整合，大幅提升了生成內容的可靠性與安全性。
Evaluating Audio Reasoning with Big Bench Audio★ 75
Hugging Face Blog530d agoReleaseHugging Face 發表了「Big Bench Audio」基準測試，旨在評估多模態模型在音訊領域的推理能力。傳統評估多著重於語音辨識（ASR），而此基準則涵蓋語音、音樂、環境音等多元任務，考驗模型進行邏輯推理與情境理解的深度。這項開源工具將協助開發者與研究人員更精準地衡量語音大模型的實際應用實力。
Finally, a Replacement for BERT: Introducing ModernBERT★ 85
Hugging Face Blog531d agoReleaseHugging Face 與 LightOn 等團隊聯合推出 ModernBERT，旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構，將上下文長度從 512 提升至 8192 標記，並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時，其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3，為 RAG 與搜尋系統注入全新動力。
Bamba: Inference-Efficient Hybrid Mamba2 Model★ 75
Hugging Face Blog532d agoReleaseHugging Face 聯合普林斯頓大學、Together AI 等機構，正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型（SSM）與 Transformer 注意力機制的混合架構（1:7 比例）。在保有與同量級純 Transformer 模型（如 Llama 3）相當性能的同時，顯著降低了長文本推論時的記憶體佔用與延遲，並以 Apache 2.0 協議開源，為長文本應用提供高效的新選擇。
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face Blog533d agoCommentaryHugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器，內建 Intel AMX 加速技術。測試顯示，透過 Optimum Intel 與 IPEX 優化，CPU 在中小型開源模型（如 Llama 3）的推論上展現出極佳的延遲表現與高性價比，為 GPU 短缺或預算有限的企業提供強大的替代方案。
Welcome to the Falcon 3 Family of Open Models!★ 80
Hugging Face Blog533d agoRelease阿布達比技術創新研究所（TII）正式發布 Falcon 3 系列開源模型，提供 1B、3B、7B 及 10B MoE 等多種參數規格。Falcon 3 在多項基準測試中表現優異，其 7B 版本在性能上甚至超越了 Llama 3.1 8B 與 Gemma 2 9B。此系列模型對硬體友善，極適合邊緣運算與本地部署，並已深度整合至 Hugging Face 生態系統。
Introducing the Synthetic Data Generator - Build Datasets with Natural Language★ 82
Hugging Face Blog534d agoNew ToolHugging Face 發表「Synthetic Data Generator」工具，旨在降低 AI 模型訓練資料集的構建門檻。用戶只需用自然語言描述需求，系統便會利用 distilabel 框架與開源大模型（如 Llama 3.1）自動生成高品質的指令微調（SFT）或偏好對齊（DPO）資料集。生成的資料可直接上傳至 Hugging Face Hub，並支援匯出至 Argilla 進行人工標註與微調。
AI video is having its Stable Diffusion moment★ 80
Replicate Blog534d agoOpinionReplicate 指出，AI 影片生成領域正經歷類似當年 Stable Diffusion 顛覆圖像生成的「開源時刻」。 目前市場上已出現多款效果足以媲美 OpenAI Sora 的開源影片生成模型。 這意味著開發者與創作者不再受限於封閉的 API，能以更低成本、更高自由度在本地或雲端部署高品質影片生成。
Hugging Face models in Amazon Bedrock★ 78
Hugging Face Blog541d agoReleaseHugging Face 宣布與 AWS 達成新合作，將其平台上的熱門開源模型整合至 Amazon Bedrock。開發者無需自行管理複雜的底層基礎設施，即可透過 Bedrock 的託管服務與 API 快速呼叫、部署並擴展 Hugging Face 上的模型。此舉大幅降低了企業在 AWS 生態系中使用開源 AI 模型的門檻，並簡化了計費與安全合規流程。
Open Preference Dataset for Text-to-Image Generation by the 🤗 Community★ 75
Hugging Face Blog541d agoReleaseHugging Face 宣布推出由社群共同協作完成的文字生成圖像（Text-to-Image）開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分，收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF（人類回饋強化學習）或 DPO（直接偏好優化）的門檻，推動更具美感與對齊能力的開源圖像模型發展。
Welcome PaliGemma 2 – New vision language models by Google★ 80
Hugging Face Blog545d agoReleaseGoogle 發表全新一代輕量級視覺語言模型 PaliGemma 2，基於 SigLIP 視覺編碼器與 Gemma 2 文本解碼器。本次釋出包含 3B、10B 與 28B 三種參數規模，並提供多種輸入解析度（最高達 896x896）。PaliGemma 2 在圖像描述、視覺問答、目標檢測與文件理解等任務上表現優異，且已全面整合至 Hugging Face 生態系，支援快速微調與部署。
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs★ 75
Hugging Face Blog545d agoCommentary本文介紹了 Hugging Face、Keras 與 Google TPU 團隊合作的最新實驗，旨在評估大語言模型（LLM）在被指出錯誤後的「自我糾錯」能力。實驗採用類似 Chatbot Arena 的雙盲測試，利用 Keras 的多後端優勢與 TPU 的強大算力，測試多款開源模型。結果顯示，多數模型在沒有外部具體反饋的情況下，自我糾錯能力仍有極大提升空間。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog546d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
Investing in Performance: Fine-tune small models with LLM insights - a CFM case study★ 75
Hugging Face Blog547d agoBusiness量化資產管理公司 CFM 與 Hugging Face 合作，探索如何在金融領域高效應用 AI。他們並未直接在生產環境部署昂貴的大型 LLM，而是利用大模型生成高質量的標註數據與洞察，進而微調專門的小型模型（SLM）。這種「知識蒸餾」策略不僅大幅降低了推理成本與延遲，還在特定金融 NLP 任務上保持了極高的準確度。
Open Source Developers Guide to the EU AI Act★ 75
Hugging Face Blog548d agoTutorial歐盟《AI 法案》（EU AI Act）已正式生效，Hugging Face 針對開源社群推出實用指南。文章釐清了開源模型在何種情況下可享有豁免（如釋出權重與架構），並指出當模型運算量超過 10^25 FLOPs 或被用於高風險領域時，開發者仍需承擔合規義務。此指南旨在幫助開源開發者在推動創新的同時，避免觸犯法律紅線。
SmolVLM - small yet mighty Vision Language Model★ 80
Hugging Face Blog554d agoReleaseHugging Face 發表全新輕量級視覺語言模型 SmolVLM（約 2.2B 參數），專為本機與邊緣設備設計。該模型結合了 SigLIP 視覺編碼器與 SmolLM2 語言模型，不僅支援多圖輸入與影片分析，在多項基準測試中更展現出媲美更大尺寸模型的性能。SmolVLM 採 Apache 2.0 開源授權，極低記憶體佔用使其成為開發者在終端裝置部署 VLM 的理想選擇。
FLUX fine-tunes are now fast★ 75
Replicate Blog554d agoReleaseAI 雲端託管平台 Replicate 宣布大幅提升 FLUX.1 圖像生成模型的微調（Fine-tuning）速度。透過底層優化，用戶現在能以極快的速度訓練出專屬的 FLUX LoRA 模型。最重要的是，Replicate 將這些優化技術與訓練程式碼完全開源，讓開發者不僅能在其平台上快速部署，也能在自己的硬體上實現高效訓練。
Rearchitecting Hugging Face Uploads and Downloads★ 75
Hugging Face Blog554d agoRelease隨著託管的模型與數據集規模暴增，Hugging Face 傳統的 Git-LFS 架構面臨元數據處理緩慢和鎖定等瓶頸。為此，他們重構了上傳與下載架構，將文件存儲與 Git 解耦，改用自研的 HTTP 傳輸機制、Rust 編寫的 `hf-transfer` 工具，並優化 S3 直連與 CDN 緩存。這項變革大幅提升了數百 GB 級大模型與數百萬文件數據集的傳輸速度與穩定性。
You could have designed state of the art positional encoding★ 75
Hugging Face Blog555d agoTutorialHugging Face 釋出深度科普文章，帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼（APE）的缺陷出發，指出其無法應對長文本外推的痛點，進而引入相對位置編碼（RPE）的概念。最終，透過簡單的複數與 2D 旋轉矩陣，一步步推導出當前主流大模型（如 Llama、Mistral）標配的 RoPE（旋轉位置編碼），證明這項最先進技術其實符合直覺且人人都能推導出來。
Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog560d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Introducing the Open Leaderboard for Japanese LLMs!★ 75
Hugging Face Blog560d agoNew ToolHugging Face 宣布推出專為日語設計的「開放式日語 LLM 排行榜」。該排行榜旨在解決現有英文基準無法準確評估日語能力的問題，採用了多個日語標準評測數據集。這將為開發者與研究人員提供一個公開、透明且可重複驗證的平台，用以評估與比較各類開源日語大語言模型的表現。
From Files to Chunks: Improving HF Storage Efficiency★ 75
Hugging Face Blog560d agoReleaseHugging Face 發表全新的儲存優化方案，將傳統的檔案級儲存（如 Git LFS）轉型為「分塊儲存（Chunk-based Storage）」。透過內容定義分塊（CDC）與內容定址儲存（CAS）技術，Hub 能跨儲存庫進行資料去重。這對於微調（Fine-tune）與合併（Merge）模型的儲存能節省極大空間，並顯著加快上傳與下載速度。