Introducing NPC-Playground, a 3D playground to interact with LLM-powered NPCs★ 75
Hugging Face Blog727d agoReleaseHugging Face 聯合 Cubzh 與 Gigax 推出「NPC-Playground」3D 互動沙盒。該平台利用開源的大型語言模型（LLM）賦予 NPC 記憶、感知與決策能力，使其不僅能與玩家對話，還能在 3D 空間中執行撿拾、移動等實體動作。這項開源合作展示了 AI Agent 在遊戲領域的全新應用可能。
Replicate Intelligence #1★ 75
Replicate Blog739d agoCommentaryReplicate 發布首期技術精選，聚焦三大 AI 前沿進展：首先是引導開發者從零開始用 PyTorch 實作 Llama 3 架構；其次介紹了結合錄影與 AI 檢索的開源智慧眼鏡專案；最後深入探討了 Anthropic 利用「字典學習」（SAE）成功提取並控制 Claude 3 內部概念特徵的里程碑研究。
CyberSecEval 2 - A Comprehensive Evaluation Framework for Cybersecurity Risks and Capabilities of Large Language Models★ 75
Hugging Face Blog739d agoReleaseMeta 推出開源安全評估框架 CyberSecEval 2，並與 Hugging Face 合作推廣。該框架旨在量化大語言模型（LLM）在網路安全領域的雙重用途風險，新增了自動化漏洞利用、惡意軟體分析及提示詞注入（Prompt Injection）等測試維度。這項工具能幫助開發者與安全研究人員，客觀評估如 Llama Guard 等安全防護模型在實際對抗中的防禦表現。
Deploy models on AWS Inferentia2 from Hugging Face★ 75
Hugging Face Blog741d agoReleaseHugging Face 宣布其託管服務 Inference Endpoints 正式支援 AWS Inferentia2 (Inf2) 執行個體。這項整合讓開發者無需繁瑣的編譯設定，即可將 Llama、Mistral 等大型語言模型部署至 AWS 的專屬推論晶片上。相較於傳統 GPU，Inferentia2 能大幅降低推論成本並提升吞吐量，為企業提供更具成本效益的生產環境部署選擇。
Build AI on premise with Dell Enterprise Hub★ 75
Hugging Face Blog742d agoReleaseHugging Face 與 Dell 聯手推出 Dell Enterprise Hub，旨在簡化企業在地端（On-Premise）部署 AI 模型的流程。該平台提供針對 Dell PowerEdge 等硬體優化的容器與主流開源模型（如 Llama 3、Mistral），確保高效能與安全性。企業用戶可直接在熟悉的 Dell 基礎設施中一鍵部署、微調開源模型，完美解決資料隱私與合規性痛點。
From cloud to developers: Hugging Face and Microsoft Deepen Collaboration★ 75
Hugging Face Blog742d agoBusinessHugging Face 宣布與微軟深化合作，將其開源模型庫與 Azure AI Studio 進行深度整合。開發者現在可以直接在 Azure 上以無伺服器 API（Model-as-a-Service）形式部署熱門開源模型。此外，雙方也加強了對 Windows AI 本地端運算（如 ONNX Runtime）的支援，全面打通從雲端到邊緣端的開發流程。
Hugging Face on AMD Instinct MI300 GPU★ 75
Hugging Face Blog742d agoReleaseHugging Face 宣布與 AMD 展開深度合作，全面優化 AMD Instinct MI300X GPU。透過 AMD ROCm 軟體棧與 Hugging Face 核心庫（如 Transformers、TGI）的無縫整合，開發者無需修改程式碼即可在 MI300X 上運行 Llama 3 等大型模型。MI300X 憑藉 192GB HBM3 超大記憶體，為企業提供極具性價比且能擺脫單一晶片供應商依賴的高效能 AI 算力選擇。
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon★ 70
Hugging Face Blog754d agoTutorial本文介紹如何結合 Intel Gaudi 2 AI 加速器與 Intel Xeon 處理器，打造具成本效益的企業級檢索增強生成（RAG）應用。透過 Hugging Face 的 TEI 與 TGI 技術，企業能在 Xeon 上高效處理向量嵌入，並在 Gaudi 2 上加速大語言模型推理，為非 Nvidia 生態系提供強大的替代方案。
Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face★ 75
Hugging Face Blog760d agoNew ToolHugging Face 宣布與獨立評測機構 Artificial Analysis 合作，將其 LLM 效能排行榜引入平台。該榜單不僅評估模型品質，更著重於實際部署指標，如吞吐量（Tokens/sec）、首字延遲（TTFT）與每百萬 Token 的成本。這讓開發者在選擇模型與託管服務商（如 Groq、Together AI 等）時，能有更直觀且數據驅動的決策依據。
Improving Prompt Consistency with Structured Generations★ 75
Hugging Face Blog763d agoTutorial本文深入探討如何利用結構化生成（Structured Generations）解決 LLM 輸出格式不穩定的痛點。透過約束解碼（Constrained Decoding）技術（如 Outlines 或 TGI），能強迫模型輸出符合特定 JSON Schema 的內容。文章分析了這種技術的運作原理、如何進行評估，以及它對模型推理品質與生成速度的實際影響，是開發 Production-ready AI 應用的必讀指南。
The Open Medical-LLM Leaderboard: Benchmarking Large Language Models in Healthcare★ 75
Hugging Face Blog774d agoReleaseHugging Face 與 Open Life Science AI 等機構合作推出「Open Medical-LLM Leaderboard」。該排行榜整合了 MedQA、MedMCQA、PubMedQA 及 MMLU 醫學子集等基準測試，旨在客觀評估 LLM 在醫療與臨床任務上的表現。這為醫療領域的 AI 研究人員與開發者提供了一個公開、標準化且易於比較的評估平台，有助於推動安全且精確的醫療 AI 發展。
Welcome Llama 3 - Meta's new open LLM★ 95
Hugging Face Blog775d agoReleaseMeta 正式推出全新一代開源大型語言模型 Llama 3，首波釋出 8B 與 70B 兩種參數版本。此版本採用 128k 詞彙量的新分詞器、支援 8K 上下文長度，並在超過 15 兆 Token 的超大資料集上進行訓練，程式碼與推理能力皆有飛躍性提升。Hugging Face 生態系已在第一時間全面整合，支援 Llama 3 的部署、微調與推論，為開源 AI 社群注入強大動力。
Run Meta Llama 3 with an API★ 75
Replicate Blog775d agoNew ToolMeta 推出全新開源大語言模型 Llama 3，Replicate 平台已同步支援。開發者可透過 Replicate API 快速部署並運行 Llama 3 8B 與 70B 的 Instruct 版本。本文介紹如何使用 Python、JavaScript 或 cURL，僅需一行程式碼即可在雲端進行推理，並享受按秒計費與自動擴展的優勢。
Ryght’s Journey to Empower Healthcare and Life Sciences with Expert Support from Hugging Face
Hugging Face Blog777d agoBusiness生醫 AI 平台 Ryght 宣布與 Hugging Face 專家支援團隊合作。面對醫療領域嚴格的 HIPAA 合規性、複雜的醫學術語與高昂的模型微調成本，Ryght 透過 Hugging Face 的技術指導，優化了開源模型的微調與推理效率。此合作成功讓 Ryght 快速推出專為臨床研究與數據分析設計的安全 AI 助理，大幅降低運算成本並縮短產品上市時間。
Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs★ 75
Hugging Face Blog777d agoReleaseHugging Face 宣布上線 LiveCodeBench 排行榜，旨在解決傳統程式碼評估基準（如 HumanEval）容易遭受數據污染的問題。LiveCodeBench 透過持續收集 LeetCode、AtCoder 等平台的全新編程競賽題目，確保模型在未曾接觸過的數據上進行測試。該基準不僅評估程式碼生成，還涵蓋程式碼修復、測試案例生成及執行等多維度能力，為 Code LLM 提供更客觀、動態的實力排名。
Text2SQL using Hugging Face Dataset Viewer API and Motherduck DuckDB-NSQL-7B★ 75
Hugging Face Blog789d agoTutorial這篇 Hugging Face 部落格文章介紹了一種實用的 Text2SQL（自然語言轉 SQL）解決方案。透過 Hugging Face Dataset Viewer API 獲取數據集的結構與 Schema，並利用 MotherDuck 開源的 DuckDB-NSQL-7B 模型，將使用者的提問轉化為 DuckDB 兼容的 SQL 查詢。這讓開發者與數據分析師無需手動下載數據，即可直接對 Hugging Face 上的海量數據集進行即時的自然語言數據分析。
Bringing serverless GPU inference to Hugging Face users★ 75
Hugging Face Blog791d agoReleaseHugging Face 宣布與 Cloudflare 深度整合，推出無伺服器 GPU 推理服務。開發者現在可以直接在 Hugging Face Hub 上，一鍵將熱門的開源模型（如 Llama 和 Mistral）部署至 Cloudflare Workers AI。這項合作免除了管理 GPU 基礎設施的繁瑣工作，並利用 Cloudflare 的全球邊緣網路提供低延遲、高彈性的 AI 推理能力。
Introducing the Chatbot Guardrails Arena★ 75
Hugging Face Blog803d agoReleaseHugging Face 與 Lighthouz AI 合作推出「Chatbot Guardrails Arena」，這是一個專為評估大語言模型（LLM）安全防護網（Guardrails）而設計的開源社群平台。該平台旨在測試各大模型與防護系統在面對惡意提示、越獄攻擊及敏感話題時的防禦能力。透過標準化的基準測試，開發者可以直觀地比較不同防護方案的優劣，構建更安全可靠的 AI 應用。
GaLore: Advancing Large Model Training on Consumer-grade Hardware★ 85
Hugging Face Blog804d agoReleaseHugging Face 介紹了 GaLore（梯度低秩投影）技術，這是一種新型的記憶體優化訓練方法。與 LoRA 不同，GaLore 透過將梯度投影到低秩空間，大幅減少了優化器狀態的記憶體佔用。這使得開發者可以直接在單張 24GB 記憶體的消費級顯卡（如 RTX 4090）上，進行 7B 模型的全參數微調甚至從頭預訓練。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog830d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
Synthetic data: save money, time and carbon with open source★ 75
Hugging Face Blog837d agoOpinionHugging Face 指出，利用開源模型與工具（如 distilabel）生成合成數據（Synthetic Data），已成為現代 AI 開發的重要趨勢。這種方法不僅能將數據準備成本降低數倍，還能大幅縮短開發週期。更重要的是，透過蒸餾技術訓練小型專屬模型，能顯著減少推論與訓練過程中的碳排放，實現更永續的 AI 生態。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog851d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Hugging Face Text Generation Inference available for AWS Inferentia2★ 75
Hugging Face Blog852d agoReleaseHugging Face 宣佈旗下高效能大語言模型推理框架 Text Generation Inference (TGI) 正式支援 AWS Inferentia2 (Inf2) 執行個體。透過與 AWS Neuron SDK 的整合，開發者現在能以極具性價比的方式在 AWS 上部署 Llama 2、Mistral 等主流開源模型。此舉不僅簡化了專用硬體上的部署流程，更可望降低高達 50% 的推理成本。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog853d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
Run Code Llama 70B with an API
Replicate Blog854d agoTutorialMeta 推出的 Code Llama 70B 是目前最強大的開源程式碼生成模型之一。Replicate 現在支援透過 API 託管該模型，讓開發者無需自行管理 GPU 基礎設施。只需一行程式碼，即可在雲端快速呼叫並整合至現有的開發工作流中。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog855d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog858d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Open-source LLMs as LangChain Agents★ 80
Hugging Face Blog860d agoTutorial本文介紹如何使用開源 LLM（如 Mixtral-8x7B）作為 LangChain Agent。過去 Agent 多依賴 GPT-4，但隨著開源模型推理能力提升，透過正確的 Prompt 格式（如 ReAct 框架）與 Hugging Face TGI 整合，開源模型也能穩定執行工具調用與多步驟推理，提供高隱私且低成本的替代方案。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog874d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。
2023, year of open LLMs★ 75
Hugging Face Blog897d agoCommentary2023 年是開源大語言模型（LLM）的黃金時代。從 Meta 發布 LLaMA 奠定基礎，到 Mistral 推出高效的 MoE 模型，開源社群在模型架構、量化技術（QLoRA）與對齊方法（DPO）上取得突破。Hugging Face 的 Open LLM Leaderboard 更成為推動這波開源浪潮的核心樞紐，縮短了開源與閉源模型之間的差距。