Synthetic data: save money, time and carbon with open source★ 75
Hugging Face Blog838d agoOpinionHugging Face 指出，利用開源模型與工具（如 distilabel）生成合成數據（Synthetic Data），已成為現代 AI 開發的重要趨勢。這種方法不僅能將數據準備成本降低數倍，還能大幅縮短開發週期。更重要的是，透過蒸餾技術訓練小型專屬模型，能顯著減少推論與訓練過程中的碳排放，實現更永續的 AI 生態。
Run Code Llama 70B with an API
Replicate Blog855d agoTutorialMeta 推出的 Code Llama 70B 是目前最強大的開源程式碼生成模型之一。Replicate 現在支援透過 API 託管該模型，讓開發者無需自行管理 GPU 基礎設施。只需一行程式碼，即可在雲端快速呼叫並整合至現有的開發工作流中。
Hugging Face and Google partner for open AI collaboration★ 80
Hugging Face Blog860d agoBusinessHugging Face 與 Google 宣布建立戰略合作夥伴關係，旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施（如 Vertex AI、GKE 和 TPU）深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型，大幅降低 AI 開發與運算門檻。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog875d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
2023, year of open LLMs★ 75
Hugging Face Blog898d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face★ 90
Hugging Face Blog905d agoReleaseMistral AI 發表全新混合專家（MoE）模型 Mixtral 8x7B，總參數 46.7B 但每次 token 僅啟用 12.9B，速度極快。其在多項基準測試中超越 Llama 2 70B 及 GPT-3.5，並支援 32k 脈絡長度。Hugging Face 已於 Transformers、TGI 及推理終端全面整合，並採 Apache 2.0 開源授權。
Businesses are building on open-source AI★ 75
Replicate Blog911d agoBusinessAI 模型託管平台 Replicate 宣布完成 4,000 萬美元的 B 輪融資，由知名創投 a16z 領投。這筆資金將用於擴展其雲端基礎設施，幫助更多企業與開發者透過簡單的 API 運行、微調及部署開源 AI 模型。此融資反映出企業級市場對於開源 AI（如 Llama、Stable Diffusion）的需求正迎來爆發性成長。
Ethics and Society Newsletter #5: Hugging Face Goes To Washington and Other Summer 2023 Musings
Hugging Face Blog978d agoCommentaryHugging Face 發布 2023 夏季倫理與社會簡報，重點介紹其團隊前往華盛頓特區向美國國會倡導開源 AI 與開放科學價值的經歷。簡報同時涵蓋了 AI 問責制、歐盟 AI 法案的政策回應，以及在模型卡片（Model Cards）、資料集透明度與環境影響評估等技術倫理工具上的最新研究進展。
Inference for PROs★ 70
Hugging Face Blog985d agoReleaseHugging Face 宣布為每月 9 美元的 PRO 訂閱用戶升級 Serverless 推理 API 服務。PRO 用戶將享有更高的速率限制、更低的延遲，並能直接調用 Llama 2、Falcon 與 StarCoder 等熱門大型開源模型。這項升級讓開發者在部署專屬端點前，能以極低成本進行高效的原型開發與測試。
Spread Your Wings: Falcon 180B is here★ 75
Hugging Face Blog1001d agoRelease阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。
Code Llama: Llama 2 learns to code★ 85
Hugging Face Blog1013d agoReleaseMeta 正式發布專為程式碼任務設計的開源模型 Code Llama，提供 7B、13B 與 34B 三種尺寸，並包含 Python 專用版與指令微調版。該模型支援高達 100k 的上下文視窗，在多項程式碼基準測試中表現優異。Hugging Face 已同步支援該系列模型的推理、部署與微調。
Making LLMs lighter with AutoGPTQ and transformers★ 85
Hugging Face Blog1015d agoReleaseHugging Face 正式將 AutoGPTQ 整合進 transformers 生態系，支援直接載入與運行 4-bit GPTQ 量化模型。此更新大幅降低了 LLM 的 GPU 記憶體門檻（如 70B 模型可在單張消費級 GPU 運行），並提供極佳的推理加速。開發者只需簡單修改程式碼即可啟用，並能無縫使用 Hub 上數千個現成的 GPTQ 模型。
A guide to prompting Llama 2
Replicate Blog1024d agoTutorial本指南由 Replicate 團隊撰寫，深入解析 Llama 2 的官方提示詞（Prompt）格式。文章詳細說明了如何使用 `[INST]`、`<<SYS>>` 等特殊標記來結構化系統提示詞與用戶指令。遵循此標準模板能有效避免模型輸出混亂或不聽從指令的問題，是開發者部署與微調 Llama 2 的必讀基礎教學。
Run Llama 2 with an API
Replicate Blog1042d agoTutorialReplicate 宣布支援 Meta 的開源大語言模型 Llama 2。開發者現在無需自行管理繁雜的 GPU 基礎設施，只需透過 Replicate 提供的 API，用一行程式碼就能在雲端快速呼叫並運行 Llama 2。這大幅降低了開源模型的使用門檻，讓開發者能更輕鬆地將其整合至應用中。
Introducing React Tweet
Vercel Changelog1043d agoNew ToolVercel 宣布推出全新開源套件 react-tweet，旨在解決傳統 Twitter 嵌入元件載入緩慢且影響網頁效能的問題。該套件完全不使用 iframe，並原生支援 React Server Components (RSC)，能大幅提升 Core Web Vitals 效能指標。開發者無需申請 Twitter API 金鑰即可使用，並能輕鬆自訂樣式，非常適合 Next.js、Remix 等現代前端框架。
AI Policy @🤗: Open ML Considerations in the EU AI Act★ 72
Hugging Face Blog1045d agoOpinion隨著歐盟《AI 法案》進入立法關鍵期，Hugging Face 發表政策倡議，探討法案對開源機器學習（Open ML）的潛在衝擊。文章強調開源在提升 AI 安全性與透明度上的關鍵作用，呼籲立法者應區分商業部署與非商業研究，避免對開源開發者與託管平台施加不切實際的合規負擔，以維護歐洲的創新活力。
A comprehensive guide to running Llama 2 locally★ 70
Replicate Blog1047d agoTutorial本指南為開發者與 AI 愛好者提供在各種平台上本地運行 Llama 2 的實用方法。內容涵蓋適合 Mac 用戶的 Ollama、跨平台的 llama.cpp、圖形介面的 LM Studio，以及能在手機上運行 Llama 2 的 MLC LLM。透過這些工具，使用者無需依賴雲端 API 即可保護隱私並降低成本。
Fine-tune Llama 2 on Replicate
Replicate Blog1049d agoTutorialReplicate 宣布支援 Llama 2（包含 7B、13B 與 70B）的微調服務。開發者只需準備 JSONL 格式的訓練資料，即可透過 Replicate API 在 A100 GPU 上進行高效訓練。微調完成後，模型會自動部署為私有的 API 端點，方便直接整合至應用程式中，大幅降低了開源大模型微調與部署的門檻。
Happy 1st anniversary 🤗 Diffusers!
Hugging Face Blog1049d agoReleaseHugging Face 慶祝旗下核心開源庫 Diffusers 推出一週年。在過去一年中，Diffusers 憑藉直覺的 API 設計，成功降低了 Stable Diffusion 等擴散模型的技術門檻。該庫不僅支援了 ControlNet、LoRA 等多種前沿技術，還透過記憶體優化與硬體加速，讓生成式 AI 走入消費級硬體，成為開源 AI 生態系中不可或缺的基石。
What happened with Llama 2 in the last 24 hours? 🦙★ 80
Replicate Blog1050d agoReleaseMeta 推出新一代開源大語言模型 Llama 2（包含 7B、13B、70B 參數版本）後，在 AI 社群引發連鎖反應。Replicate 在第一時間託管了這些模型並提供 API 服務。本文彙整了發布後 24 小時內，包含雲端部署、API 呼叫及社群生態的最新進展，展現開源 AI 領域的驚人迭代速度。
Llama 2 is here - get it on Hugging Face★ 95
Hugging Face Blog1051d agoReleaseMeta 正式發布開源大型語言模型 Llama 2，包含 7B、13B 和 70B 三種參數規模，並允許商用。Hugging Face 與 Meta 深度合作，第一時間在 Hub 上架所有 Llama 2 模型，並全面支援 Transformers、TGI、PEFT 等工具。開發者可以直接在 Hugging Face 平台上進行 Llama 2 的推論、微調（Fine-tuning）與部署，並透過 Spaces 體驗 Chat 版本。
AI Policy @🤗: Response to the U.S. NTIA's Request for Comment on AI Accountability
Hugging Face Blog1079d agoOpinionHugging Face 針對美國國家電信和資訊管理局（NTIA）的 AI 問責制徵求意見書提交了官方回應。HF 主張，開放科學與開源生態系對於 AI 的安全與問責至關重要，能促進外部審計與研究。他們建議推廣 Model Cards 等標準化文件，並呼籲建立因地制宜、分擔責任的監管框架，避免對開源創新造成過度限制。
Announcing our new Content Guidelines and Policy
Hugging Face Blog1084d agoReleaseHugging Face 宣布更新其「內容指南與政策」，旨在為開源 AI 社群建立更安全、透明的環境。新政策明確禁止仇恨言論、惡意軟體、非自願性色情及旨在產生有害內容的模型。此外，官方也優化了社群檢舉流程與侵權（DMCA）處理機制，以確保平台上的模型與數據集符合安全合規標準。
The Falcon has landed in the Hugging Face ecosystem★ 75
Hugging Face Blog1094d agoRelease阿布達比技術創新研究所（TII）推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅，並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Announcing the Open Source AI Game Jam 🎮
Hugging Face Blog1098d agoReleaseHugging Face 宣布舉辦「Open Source AI Game Jam」，邀請全球開發者在限定時間內，利用開源 AI 工具與模型（如 Hugging Face 上的各類模型）來創作遊戲。此活動旨在探索 AI 在遊戲開發（如美術生成、NPC 對話、音效等）的實際應用，並促進遊戲與 AI 社群的跨界交流。
Introducing BERTopic Integration with the Hugging Face Hub
Hugging Face Blog1099d agoRelease熱門主題模型工具 BERTopic 宣布與 Hugging Face Hub 達成深度整合。開發者現在可以使用簡單的 API，將訓練好的 BERTopic 模型直接推送到 Hub 上，並能隨時在其他環境中輕鬆載入。此整合不僅簡化了主題模型的分享、部署與版本控制，還會自動生成包含主題資訊的模型卡片（Model Cards），讓 NLP 社群能更方便地進行協作與模型重用。
Hugging Face Collaborates with Microsoft to launch Hugging Face Model Catalog on Azure★ 75
Hugging Face Blog1106d agoReleaseHugging Face 宣布與微軟 Azure 展開深度合作，於 Azure 機器學習平台推出 Hugging Face Model Catalog。這項整合讓開發者能直接在 Azure 安全且合規的基礎設施中，一鍵部署與微調數萬個 Hugging Face 的開源模型。此舉大幅降低了企業採用開源 AI 技術的門檻，並強化了 Azure 的開源生態系。
🐶Safetensors audited as really safe and becoming the default★ 75
Hugging Face Blog1107d agoReleaseHugging Face 宣布其開發的 Safetensors 格式已成功通過專業安全公司 Trail of Bits 的審計，確認其安全性。相較於傳統具有任意程式碼執行風險的 Pickle 格式，Safetensors 不僅安全，還具備極速載入（Zero-copy）的優勢。Hugging Face 已正式將其設為平台上的預設模型儲存格式，推動開源 AI 社群邁向更安全的生態。
Hugging Face and IBM partner on watsonx.ai, the next-generation enterprise studio for AI builders
Hugging Face Blog1107d agoBusinessHugging Face 與 IBM 宣布建立合作夥伴關係，將 Hugging Face 的開源 AI 模型與工具整合至 IBM 全新的 watsonx.ai 平台。此合作旨在為企業提供安全、合規且靈活的 AI 開發環境，讓企業開發者能輕鬆運用開源社群的數千個模型，並結合 IBM 的企業級技術進行微調與部署。
Hugging Face Selected for the French Data Protection Agency Enhanced Support Program
Hugging Face Blog1115d agoBusiness法國資料保護監管機構 CNIL 宣布將 Hugging Face 納入其「加強支援計劃」。該計劃旨在協助具備系統重要性的數位創新企業符合 GDPR 規範。雙方將密切合作，針對開源 AI 模型訓練、數據集隱私及開源社群的合規性，共同探索並建立具體的最佳實踐指南。