We removed 80% of our agent’s tools★ 85
Vercel Changelog162d agoOpinionVercel 在建構生產級 AI Agent 時發現，給予過多工具會導致模型混淆、延遲飆升與成本暴增。他們透過「動態工具載入」、「多 Agent 架構」與「程式碼硬編碼路由」等策略，成功精簡了 80% 的工具。這項優化不僅讓 Agent 的任務成功率顯著提升，更大幅改善了用戶體驗，證明了在 AI 應用開發中「少即是多」的硬道理。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face★ 75
Hugging Face Blog760d agoNew ToolHugging Face 宣布與獨立評測機構 Artificial Analysis 合作，將其 LLM 效能排行榜引入平台。該榜單不僅評估模型品質，更著重於實際部署指標，如吞吐量（Tokens/sec）、首字延遲（TTFT）與每百萬 Token 的成本。這讓開發者在選擇模型與託管服務商（如 Groq、Together AI 等）時，能有更直觀且數據驅動的決策依據。
Accelerating over 130,000 Hugging Face models with ONNX Runtime★ 75
Hugging Face Blog972d agoNew ToolHugging Face 宣布與微軟 ONNX Runtime 深度整合，Hub 上超過 13 萬個模型現在能輕鬆轉換並加速。開發者只需透過 Hugging Face Optimum 庫，即可在 CPU 和 GPU 上實現顯著的推理延遲降低與吞吐量提升。此舉大幅降低了開源模型在生產環境中的部署門檻與硬體成本。
Fetch Cuts ML Processing Latency by 50% Using Amazon SageMaker & Hugging Face
Hugging Face Blog1005d agoBusiness美國知名消費回饋平台 Fetch 每日需處理數百萬張發票收據。為了提升 OCR、商品匹配與商家分類等 NLP 任務的效率，Fetch 採用了 Amazon SageMaker 與 Hugging Face 的整合方案。此舉不僅讓機器學習模型的推理延遲大幅降低 50%，同時也優化了運算成本與部署流程。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1118d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
Hugging Face Blog1601d agoNew Tool本案例研究探討了 Hugging Face Infinity 在現代 CPU（如 Intel Xeon）上的效能表現。透過硬體加速與優化技術，Infinity 能在 CPU 上實現單數位毫秒級的推理延遲。這為企業提供了一種高性價比、無需依賴昂貴 GPU 的 Transformer 模型部署選擇，特別適合文本分類與特徵提取等任務。