StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation★ 75
Hugging Face Blog765d agoReleaseHugging Face 與 BigCode 社群推出 StarCoder2-Instruct-15B。該模型最大特色在於採用「完全透明」與「寬鬆授權」的自我對齊流程。傳統指令模型常依賴 GPT-4 生成數據導致商用受限，而 StarCoder2-Instruct 完全使用開源模型自身生成數據進行訓練，在確保商用合規的同時，於 HumanEval 等基準測試中展現優異性能。
Introducing the Open Chain of Thought Leaderboard★ 75
Hugging Face Blog771d agoReleaseHugging Face 發表「Open Chain of Thought (CoT) 排行榜」，旨在解決傳統基準測試無法有效評估模型推理過程的問題。該排行榜專注於數學、邏輯與科學等需要多步驟思考的任務，並提供公開透明的評測標準。這將幫助開發者與研究人員深入了解開源模型在複雜推理上的真實實力與瓶頸。
Run Snowflake Arctic with an API
Replicate Blog771d agoNew ToolSnowflake 推出全新開源企業級大語言模型 Arctic，採用 MoE（混合專家）架構。Replicate 迅速跟進，提供託管 API 服務。開發者現在無需自行配置昂貴的 GPU 硬體，只需透過 Replicate 的 API 或 SDK，即可用極低的成本與簡單的程式碼，在雲端部署並運行這款強大的開源模型。
The Open Medical-LLM Leaderboard: Benchmarking Large Language Models in Healthcare★ 75
Hugging Face Blog775d agoReleaseHugging Face 與 Open Life Science AI 等機構合作推出「Open Medical-LLM Leaderboard」。該排行榜整合了 MedQA、MedMCQA、PubMedQA 及 MMLU 醫學子集等基準測試，旨在客觀評估 LLM 在醫療與臨床任務上的表現。這為醫療領域的 AI 研究人員與開發者提供了一個公開、標準化且易於比較的評估平台，有助於推動安全且精確的醫療 AI 發展。
Ryght’s Journey to Empower Healthcare and Life Sciences with Expert Support from Hugging Face
Hugging Face Blog778d agoBusiness生醫 AI 平台 Ryght 宣布與 Hugging Face 專家支援團隊合作。面對醫療領域嚴格的 HIPAA 合規性、複雜的醫學術語與高昂的模型微調成本，Ryght 透過 Hugging Face 的技術指導，優化了開源模型的微調與推理效率。此合作成功讓 Ryght 快速推出專為臨床研究與數據分析設計的安全 AI 助理，大幅降低運算成本並縮短產品上市時間。
Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs★ 75
Hugging Face Blog778d agoReleaseHugging Face 宣布上線 LiveCodeBench 排行榜，旨在解決傳統程式碼評估基準（如 HumanEval）容易遭受數據污染的問題。LiveCodeBench 透過持續收集 LeetCode、AtCoder 等平台的全新編程競賽題目，確保模型在未曾接觸過的數據上進行測試。該基準不僅評估程式碼生成，還涵蓋程式碼修復、測試案例生成及執行等多維度能力，為 Code LLM 提供更客觀、動態的實力排名。
Introducing Idefics2: A Powerful 8B Vision-Language Model for the community★ 80
Hugging Face Blog779d agoReleaseHugging Face 正式發布 Idefics2，這是一款擁有 80 億參數的開源視覺語言模型（VLM）。它基於 Mistral-7B 與 SigLIP 構建，顯著提升了 OCR、圖表理解及多圖對話能力。Idefics2 支援原生解析度與長寬比，並以 Apache 2.0 授權釋出，極適合開發者進行微調與商業部署。
Vision Language Models Explained★ 80
Hugging Face Blog783d agoTutorialHugging Face 發布視覺語言模型（VLM）科普指南，詳解其結合圖像編碼器與文字解碼器的架構設計。文章涵蓋了從多模態預訓練到指令微調的完整訓練流程，並介紹了 LLaVA、Idefics 等主流開源模型。此外，也提供了如何使用 Hugging Face transformers 庫進行推理的實用程式碼範例，是理解多模態 AI 的必讀教材。
Making thousands of open LLMs bloom in the Vertex AI Model Garden★ 75
Hugging Face Blog784d agoReleaseHugging Face 宣布與 Google Cloud 合作，將其平台上數千個開源大語言模型（LLM）整合至 Vertex AI Model Garden。開發者現在無需複雜的設定，即可直接在 Google Cloud 環境中一鍵部署、微調及管理這些開源模型。此舉大幅降低了企業在雲端部署開源 AI 模型的門檻，並提升了運算資源的利用效率。
CodeGemma - an official Google release for code LLMs★ 80
Hugging Face Blog785d agoReleaseGoogle 官方正式發布 CodeGemma 程式碼模型系列，基於 Gemma 架構。提供專攻 IDE 程式碼補全（Fill-in-the-Middle）的 2B 版本，以及適合程式碼生成與對話的 7B 版本。該系列模型已深度整合至 Hugging Face 生態系，支援多種主流程式語言，為開發者提供高效且可本地運行的開源 AI 助手選擇。
Public Policy at Hugging Face
Hugging Face Blog786d agoOpinionHugging Face 宣布其公共政策（Public Policy）倡議，旨在橋接 AI 社群與全球政策制定者。他們強調開源 AI 對於安全性、市場競爭與創新至關重要。未來將持續參與歐盟 AI 法案、美國行政命令等政策討論，確保開源開發者的聲音被聽見，避免過度監管扼殺創新。
Text2SQL using Hugging Face Dataset Viewer API and Motherduck DuckDB-NSQL-7B★ 75
Hugging Face Blog790d agoTutorial這篇 Hugging Face 部落格文章介紹了一種實用的 Text2SQL（自然語言轉 SQL）解決方案。透過 Hugging Face Dataset Viewer API 獲取數據集的結構與 Schema，並利用 MotherDuck 開源的 DuckDB-NSQL-7B 模型，將使用者的提問轉化為 DuckDB 兼容的 SQL 查詢。這讓開發者與數據分析師無需手動下載數據，即可直接對 Hugging Face 上的海量數據集進行即時的自然語言數據分析。
Bringing serverless GPU inference to Hugging Face users★ 75
Hugging Face Blog792d agoReleaseHugging Face 宣布與 Cloudflare 深度整合，推出無伺服器 GPU 推理服務。開發者現在可以直接在 Hugging Face Hub 上，一鍵將熱門的開源模型（如 Llama 和 Mistral）部署至 Cloudflare Workers AI。這項合作免除了管理 GPU 基礎設施的繁瑣工作，並利用 Cloudflare 的全球邊緣網路提供低延遲、高彈性的 AI 推理能力。
Total noob’s intro to Hugging Face Transformers★ 75
Hugging Face Blog803d agoTutorial本指南是 Hugging Face 專為零基礎新手撰寫的 Transformers 入門教學。文章深入淺出地介紹了 Hugging Face Hub 的生態系，並透過最簡單的 pipeline API 示範如何進行情感分析、文本生成等任務。讀者無需深厚的機器學習背景，即可快速學會如何載入並運行開源 AI 模型。
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval★ 85
Hugging Face Blog803d agoTutorialHugging Face 詳細解析了「二進位（Binary）」與「純量（Scalar）」嵌入向量量化技術，能將向量大小分別壓縮 32 倍與 4 倍。 透過將 float32 轉換為 int8 或 1-bit，不僅能顯著減少向量資料庫的記憶體（RAM）開銷，還能利用硬體加速大幅提升檢索速度。 此技術已整合至 sentence-transformers 庫中，並支援「重排（Rescoring）」機制，在極低精度損失下實現高效能的 RAG 檢索。
A Chatbot on your Laptop: Phi-2 on Intel Meteor Lake★ 70
Hugging Face Blog805d agoTutorialHugging Face 發布技術指南，展示如何在搭載 Intel Meteor Lake（Core Ultra）處理器的筆電上本機部署微軟 Phi-2（2.7B）模型。透過 Optimum Intel 與 OpenVINO 進行 INT4 量化，開發者能充分利用筆電的 CPU、GPU 或 NPU 進行低延遲、隱私安全的本機 AI 推理，為 AI PC 的個人助理應用提供實踐範例。
GaLore: Advancing Large Model Training on Consumer-grade Hardware★ 85
Hugging Face Blog805d agoReleaseHugging Face 介紹了 GaLore（梯度低秩投影）技術，這是一種新型的記憶體優化訓練方法。與 LoRA 不同，GaLore 透過將梯度投影到低秩空間，大幅減少了優化器狀態的記憶體佔用。這使得開發者可以直接在單張 24GB 記憶體的消費級顯卡（如 RTX 4090）上，進行 7B 模型的全參數微調甚至從頭預訓練。
Quanto: a PyTorch quantization backend for Optimum★ 75
Hugging Face Blog807d agoReleaseHugging Face 發表全新開源 PyTorch 量化工具庫 Quanto，現已整合至 Optimum 生態系。Quanto 支援權重與激活值的量化（包括 int4、int8 與 float8），且具備跨平台相容性，可在 CPU、GPU 及 Apple Silicon (MPS) 上運行。開發者只需幾行程式碼即可對 Transformers 和 Diffusers 模型進行訓練後量化（PTQ）或量化感知訓練（QAT）。
Easily Train Models with H100 GPUs on NVIDIA DGX Cloud★ 75
Hugging Face Blog807d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，將 DGX Cloud 的強大算力直接引入平台。開發者現在可以輕鬆調用 NVIDIA H100 GPU 來訓練與微調大型語言模型，無需自行管理複雜的底層基礎設施。這項合作大幅降低了獲取頂級 AI 算力的門檻，加速了企業與研究人員的模型開發流程。
Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset★ 75
Hugging Face Blog810d agoReleaseHugging Face 宣布推出 WebSight 數據集，專為訓練視覺語言模型（VLM）進行「截圖轉網頁程式碼（Screenshot-to-Code）」而設計。該數據集包含約 200 萬個由合成技術產生的網頁截圖及其對應的乾淨 HTML/CSS 程式碼。透過 WebSight，開發者與研究人員能更有效率地微調多模態模型，加速自動化前端開發與設計稿轉程式碼的技術落地。
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG★ 70
Hugging Face Blog810d agoTutorialHugging Face 與 Intel 合作展示如何使用 Optimum Intel 和 fastRAG 框架優化 CPU 上的嵌入向量（Embeddings）計算。透過 OpenVINO 和 Intel Extension for PyTorch (IPEX) 等技術，開發者無需昂貴的 GPU，即可在標準 Intel CPU 上實現高效能、低延遲的 RAG 檢索系統，顯著降低企業部署成本。
Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?★ 75
Hugging Face Blog820d agoReleaseHugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型（MLLM）在處理「富含文本的圖像」（如圖表、資訊圖表、街景招牌等）時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別，更考驗模型結合視覺上下文與文本進行深度推理的實力，為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。
Data is better together: Enabling communities to collectively build better datasets together using Argilla and Hugging Face Spaces★ 75
Hugging Face Blog821d agoNew ToolHugging Face 宣布與開源數據標註平台 Argilla 深度整合。使用者現在可以一鍵在 Hugging Face Spaces 上部署 Argilla，邀請社群成員共同進行數據標註、反饋與篩選（如 RLHF/DPO 數據）。這項合作降低了社群協作建構高品質數據集的門檻，有助於推動開源 AI 模型的對齊與優化。
Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator
Hugging Face Blog825d agoReleaseHugging Face 宣布在 optimum-habana 中支援文字生成 Pipeline，使開發者能輕鬆在 Intel Gaudi 2 AI 加速器上部署大語言模型。此更新簡化了程式碼，並針對 Gaudi 2 硬體進行優化，提供極佳的推理效能與性價比，是 NVIDIA GPU 之外的強大替代方案。
StarCoder2 and The Stack v2★ 80
Hugging Face Blog826d agoRelease由 Hugging Face 與 ServiceNow 主導的 BigCode 社群，聯合 NVIDIA 正式發布了新一代開源程式碼大語言模型 StarCoder2。該系列提供 3B、7B 和 15B 三種參數版本，並同步推出全新升級的 The Stack v2 資料集。StarCoder2 支援超過 600 種程式語言，並在程式碼生成、補全與修復等任務上展現出同量級模型中的頂尖性能，持續推動負責任且開放的 AI 開發。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog828d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
Fine-Tuning Gemma Models in Hugging Face★ 80
Hugging Face Blog831d agoTutorial本指南介紹如何在 Hugging Face 生態系中微調 Google 的 Gemma 開源模型（2B 與 7B）。文章詳細說明了如何利用 PEFT（參數高效微調）技術，特別是 QLoRA（4-bit 量化微調），在消費級 GPU 上進行訓練。透過結合 transformers、peft 與 trl（SFTTrainer）等套件，開發者可以輕鬆載入模型、設定 LoRA 參數、格式化數據集，並將微調後的權重上傳至 Hugging Face Hub，是實作 Gemma 微調的必讀教學。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog831d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
🪆 Introduction to Matryoshka Embedding Models★ 85
Hugging Face Blog831d agoTutorialMatryoshka 嵌入模型（MRL）允許單一模型輸出多種不同維度的向量，如同俄羅斯套娃般大包小。 這項技術能讓開發者在不重新訓練模型的情況下，自由截斷維度，大幅降低向量資料庫的儲存與檢索成本。 Hugging Face 的 sentence-transformers 庫已原生支援此技術，為 RAG 與向量檢索提供極高的部署彈性。
Welcome Gemma - Google’s new open LLM★ 85
Hugging Face Blog833d agoReleaseGoogle 正式推出全新開源模型家族 Gemma，包含 2B 與 7B 兩種參數大小，並提供預訓練與指令微調版本。 Gemma 採用與 Gemini 相同的技術與架構，在多項基準測試中表現優於同尺寸的 Llama 2 與 Mistral。 Hugging Face 已同步支援 Gemma，開發者可直接透過 Transformers、TGI、PEFT 等工具進行部署與微調。