Deploy LLMs with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1066d agoTutorialHugging Face 介紹了其託管服務 Inference Endpoints，旨在簡化大型語言模型（LLM）的部署流程。開發者只需在 Hugging Face Hub 選擇模型，即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術，支援動態批處理與張量並行，大幅提升推理效率並降低成本。
Making a web app generator with open ML models
Hugging Face Blog1067d agoTutorialHugging Face 介紹了如何使用開源程式碼模型（如 StarCoder）構建「文字轉網頁應用（Text-to-Web-App）」產生器。文章詳細說明了系統架構，包括如何透過 Prompt 工程引導模型輸出包含 HTML、Tailwind CSS 與 JavaScript 的單一網頁檔案。此專案展示了開源模型在快速原型設計與程式碼生成上的強大潛力，並提供了在 Hugging Face Spaces 上的實作範例。
Leveraging Hugging Face for complex generative AI use cases
Hugging Face Blog1069d agoBusiness本案例研究探討了企業級生成式 AI 平台 Writer 如何與 Hugging Face 深度合作。Writer 透過 Hugging Face 的 Transformers、Accelerate 以及 Text Generation Inference (TGI) 等技術，成功開發並部署了專為企業設計的 Palmyra 系列模型。這不僅大幅降低了模型訓練與推論的成本，更在確保數據隱私與合規性的前提下，為企業客戶提供了高度客製化的 AI 解決方案。
Accelerating Vision-Language Models: BridgeTower on Habana Gaudi2
Hugging Face Blog1071d agoTutorial本技術文章介紹如何將視覺語言模型 BridgeTower 部署於 Intel 的 Habana Gaudi2 晶片上。透過 Hugging Face 的 optimum-habana 整合套件，開發者只需修改極少代碼，即可在 Gaudi2 上實現高效能的跨模態模型訓練與推理。相較於傳統 GPU，Gaudi2 在處理此類複雜的多模態任務時展現出極佳的性價比與加速表現。
Ethics and Society Newsletter #4: Bias in Text-to-Image Models
Hugging Face Blog1074d agoCommentary本期 Hugging Face 倫理與社會電子報聚焦於文字生成圖像（Text-to-Image）模型的偏見。文章指出，這些模型在生成職業、社會角色等圖像時，常顯露出嚴重的性別與種族刻板印象。這源於訓練數據中不均衡的代表性，Hugging Face 呼籲社群透過開發評估工具與推動數據透明化來共同應對此挑戰。
What's going on with the Open LLM Leaderboard?★ 75
Hugging Face Blog1077d agoCommentary本文探討 Hugging Face Open LLM 排行榜上模型分數（特別是 MMLU）與官方論文宣稱不一致的原因。Hugging Face 指出，評測對 Prompt 格式、Few-shot 設定及 Token 機率計算方式極為敏感。為了確保公平與可重複性，排行榜統一採用 EleutherAI 的 lm-evaluation-harness，呼籲社群建立標準化評測規範。
Panel on Hugging Face
Hugging Face Blog1078d agoReleaseHugging Face 宣布在其 Spaces 平台中正式整合 Panel 框架。Panel 是由 HoloViz 開發的強大 Python 庫，專為建立複雜的資料面板與 Web 應用而設計。此整合讓開發者能利用 Panel 的豐富組件與雙向綁定功能，在 Hugging Face 上快速部署、分享並展示他們的 AI 與機器學習模型，為 Gradio 和 Streamlit 之外提供了更具彈性的新選擇。
AI Policy @🤗: Response to the U.S. NTIA's Request for Comment on AI Accountability
Hugging Face Blog1080d agoOpinionHugging Face 針對美國國家電信和資訊管理局（NTIA）的 AI 問責制徵求意見書提交了官方回應。HF 主張，開放科學與開源生態系對於 AI 的安全與問責至關重要，能促進外部審計與研究。他們建議推廣 Model Cards 等標準化文件，並呼籲建立因地制宜、分擔責任的監管框架，避免對開源創新造成過度限制。
Fine-Tune MMS Adapter Models for low-resource ASR★ 70
Hugging Face Blog1081d agoTutorialMeta 的 MMS（大規模多語言語音）模型支援超千種語言。Hugging Face 官方部落格詳細教學如何透過「轉接器（Adapter）」技術，在凍結基礎模型的前提下僅微調極少參數。這項技術非常適合預算有限、缺乏運算資源或資料量極少的「低資源語言」語音辨識（ASR）任務，能大幅降低訓練成本並避免過擬合。
Yes, Transformers are Effective for Time Series Forecasting (+ Autoformer)★ 70
Hugging Face Blog1084d agoRelease針對學術界對 Transformer 是否適用於時間序列預測的質疑，Hugging Face 撰文平反。文章重點介紹已整合至其函式庫的 Autoformer 模型，該模型透過「序列分解」與「自相關機制」克服傳統 Transformer 的效能瓶頸。這證明了只要設計得當，Transformer 在長期時間序列預測（LSTF）上依然能展現卓越的準確度。
Faster Stable Diffusion with Core ML on iPhone, iPad, and Mac★ 75
Hugging Face Blog1085d agoTutorial本文介紹如何利用 Core ML 技術在 Apple Silicon 晶片上加速 Stable Diffusion。透過模型量化（如 6-bit/8-bit）與 Apple 神經網路引擎（ANE）的優化，開發者能顯著降低記憶體佔用，在 iPhone、iPad 和 Mac 上實現本地端超快速的圖像生成，有效解決行動裝置記憶體不足（OOM）的痛點。
Deploy Livebook notebooks as apps to Hugging Face Spaces
Hugging Face Blog1085d agoNew ToolHugging Face 與 Livebook 合作，現在開發者可以直接將 Elixir 的 Livebook 互動式筆記本一鍵部署至 Hugging Face Spaces。這項功能讓 Elixir 社群能更輕鬆地展示機器學習模型與互動式儀表板。透過 Docker 模板，使用者無需複雜設定即可託管並分享他們的 Elixir AI 專案，進一步擴大 Elixir 在 AI 生態系的影響力。
Announcing our new Content Guidelines and Policy
Hugging Face Blog1085d agoReleaseHugging Face 宣布更新其「內容指南與政策」，旨在為開源 AI 社群建立更安全、透明的環境。新政策明確禁止仇恨言論、惡意軟體、非自願性色情及旨在產生有害內容的模型。此外，官方也優化了社群檢舉流程與侵權（DMCA）處理機制，以確保平台上的模型與數據集符合安全合規標準。
Hugging Face and AMD partner on accelerating state-of-the-art models for CPU and GPU platforms★ 70
Hugging Face Blog1087d agoBusinessHugging Face 宣佈與 AMD 展開深度合作，旨在為 AMD 的 CPU 和 GPU 平台（包括 Ryzen、EPYC、Radeon 及 Instinct 系列）提供頂級的 AI 模型加速。雙方將共同優化 Hugging Face 的 Optimum 庫，讓開發者能無縫地在 AMD 硬體上部署與訓練 Transformer 模型。此舉為 AI 社群提供了 NVIDIA 之外的高性價比硬體選擇，促進開源 AI 生態的多樣性。
The Hugging Face Hub for Galleries, Libraries, Archives and Museums
Hugging Face Blog1088d agoTutorialHugging Face 發布針對 GLAM（美術館、圖書館、檔案館與博物館）領域的應用指南，介紹如何利用 Hugging Face Hub 託管、分享並協作開發文化遺產相關的數據集、機器學習模型與互動式 Spaces 應用。此指南旨在推動文化機構的數位轉型，促進開放科學與文化遺產的 AI 研究。
Can foundation models label data like humans?★ 75
Hugging Face Blog1088d agoCommentary隨著 RLHF 成為微調大模型的關鍵，高昂的人工標記成本成為瓶頸。研究顯示，基座模型（如 GPT-4）在許多文本分類與偏好標記任務上，已能達到甚至超越普通群眾外包人員的準確度，且成本僅為百分之一。然而，AI 標記仍存在自我偏好、字數偏見等系統性誤差，未來將走向 AI 輔助與人類協同的混合模式。
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub★ 75
Hugging Face Blog1093d agoReleaseHugging Face 宣布與嵌入式 SQL 資料庫 DuckDB 整合。現在開發者無需下載整個數據集，即可直接使用 SQL 語法查詢和分析 Hugging Face Hub 上超過 50,000 個數據集。這項功能結合了 Hugging Face 的 Datasets Server 與 DuckDB 的高效查詢能力，大幅提升了數據探索與預處理的效率。
Welcome fastText to the Hugging Face Hub
Hugging Face Blog1094d agoReleaseHugging Face Hub 正式整合 Meta 開源的經典 NLP 工具 fastText。現在開發者可以直接在 Hub 上託管、版本控制並分享 fastText 模型（.bin 格式）。此外，官方也上架了支援 157 種語言的預訓練詞向量與語言識別模型，並支援線上推理 API，大幅降低了輕量級 NLP 應用的部署與使用門檻。
The Falcon has landed in the Hugging Face ecosystem★ 75
Hugging Face Blog1095d agoRelease阿布達比技術創新研究所（TII）推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅，並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker★ 75
Hugging Face Blog1100d agoReleaseHugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器（DLC），用於部署大型語言模型（LLM）。該容器整合了 Text Generation Inference (TGI) 技術，支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量，在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Introducing BERTopic Integration with the Hugging Face Hub
Hugging Face Blog1100d agoRelease熱門主題模型工具 BERTopic 宣布與 Hugging Face Hub 達成深度整合。開發者現在可以使用簡單的 API，將訓練好的 BERTopic 模型直接推送到 Hub 上，並能隨時在其他環境中輕鬆載入。此整合不僅簡化了主題模型的分享、部署與版本控制，還會自動生成包含主題資訊的模型卡片（Model Cards），讓 NLP 社群能更方便地進行協作與模型重用。
Make any large language model a better poet
Replicate Blog1105d agoTutorialReplicate 釋出技術教學，指出除了 Prompt 工程和微調之外，控制 LLM 輸出的另一種強大方法是「約束解碼（Constrained Decoding）」。透過在模型預測下一個 Token 時，利用自定義的 Logits Processor 修改機率分佈（Logits），可以強制模型 100% 遵守特定的押韻格式與音節限制。這種方法能讓任何開源 LLM 寫出結構完美的詩歌，且完全不需要重新訓練。
Optimizing Stable Diffusion for Intel CPUs with NNCF and 🤗 Optimum
Hugging Face Blog1106d agoTutorial本文介紹 Hugging Face 與 Intel 合作的優化方案。透過 Optimum Intel 與神經網路壓縮框架（NNCF），開發者可以輕鬆對 Stable Diffusion 進行訓練後量化（PTQ）。這項技術能將模型壓縮至 INT8 精度，在顯著降低記憶體佔用的同時，大幅加速 Intel CPU 上的圖像生成速度，且幾乎不損失圖像品質。
Hugging Face Collaborates with Microsoft to launch Hugging Face Model Catalog on Azure★ 75
Hugging Face Blog1107d agoReleaseHugging Face 宣布與微軟 Azure 展開深度合作，於 Azure 機器學習平台推出 Hugging Face Model Catalog。這項整合讓開發者能直接在 Azure 安全且合規的基礎設施中，一鍵部署與微調數萬個 Hugging Face 的開源模型。此舉大幅降低了企業採用開源 AI 技術的門檻，並強化了 Azure 的開源生態系。
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA★ 90
Hugging Face Blog1107d agoReleaseHugging Face 宣布與 bitsandbytes 合作，將 4-bit 量化技術直接整合至 Transformers 庫中，並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器，大幅降低顯存需求，使 65B 參數模型能在單張 48GB GPU 上進行微調，且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。
Instruction-tuning Stable Diffusion with InstructPix2Pix★ 70
Hugging Face Blog1108d agoTutorialHugging Face 介紹了如何利用 InstructPix2Pix 對 Stable Diffusion 進行指令微調（Instruction-tuning）。該方法結合了 GPT-3 生成的編輯指令與 Stable Diffusion 生成的成對圖像，訓練出能理解「將蘋果換成橘子」等指令的圖像編輯模型。文章提供了完整的訓練流程、Diffusers 程式碼範例以及優化技巧，幫助開發者輕鬆上手圖像編輯任務。
🐶Safetensors audited as really safe and becoming the default★ 75
Hugging Face Blog1108d agoReleaseHugging Face 宣布其開發的 Safetensors 格式已成功通過專業安全公司 Trail of Bits 的審計，確認其安全性。相較於傳統具有任意程式碼執行風險的 Pickle 格式，Safetensors 不僅安全，還具備極速載入（Zero-copy）的優勢。Hugging Face 已正式將其設為平台上的預設模型儲存格式，推動開源 AI 社群邁向更安全的生態。
Hugging Face and IBM partner on watsonx.ai, the next-generation enterprise studio for AI builders
Hugging Face Blog1108d agoBusinessHugging Face 與 IBM 宣布建立合作夥伴關係，將 Hugging Face 的開源 AI 模型與工具整合至 IBM 全新的 watsonx.ai 平台。此合作旨在為企業提供安全、合規且靈活的 AI 開發環境，讓企業開發者能輕鬆運用開源社群的數千個模型，並結合 IBM 的企業級技術進行微調與部署。
Large-scale Near-deduplication Behind BigCode★ 75
Hugging Face Blog1115d agoTutorial在訓練程式碼大語言模型（如 StarCoder）時，重複資料會嚴重影響模型效能。本文詳細介紹了 BigCode 專案如何利用 MinHash 和局部敏感雜湊（LSH）進行大規模的「近乎重複資料刪除（Near-deduplication）」。透過開源工具 `text-dedup`，BigCode 團隊成功處理了數 TB 的程式碼數據，不僅大幅減少了訓練資料量，還顯著降低了模型對特定程式碼的記憶效應，提升了泛化能力。
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
Hugging Face Blog1115d agoReleaseHugging Face 介紹了與 Intel 合作的 Q8-Chat 專案，展示在 Intel Xeon 處理器上高效運行生成式 AI 的可行性。透過 optimum-intel 庫與 SmoothQuant 技術，將模型進行 8-bit (INT8) 量化，大幅降低記憶體佔用並提升推理速度。此方案結合第四代 Intel Xeon 的 AMX 加速技術，證明無需昂貴的 GPU，利用現有 CPU 架構也能部署低延遲的聊天機器人。