Agent responsibly★ 75
Vercel Changelog64d agoOpinionVercel 針對日益普及的 AI Agent 開發提出「Agent responsibly」倡議。文章聚焦於開發者在部署 Agent 時面臨的挑戰，包括無限循環、高昂成本、安全漏洞（如提示詞注入）以及用戶隱私問題。Vercel 結合其 AI SDK 與平台特性，提供了防護欄（Guardrails）、速率限制、可觀測性等實用解決方案，幫助開發者構建既強大又安全的 Agent 應用。
GPT 5.4 is now on AI Gateway★ 75
Vercel Changelog89d agoReleaseVercel 於 Changelog 宣布其 AI Gateway 服務已正式加入對 OpenAI 最新 GPT 5.4 模型的支援。開發者現在可以透過 Vercel 的統一 API 介面，輕鬆呼叫 GPT 5.4，並享有 AI Gateway 提供的自動重試、快取、速率限制（Rate Limiting）以及詳細的用量監控功能。這項更新將幫助開發者更安全、高效地將 GPT 5.4 整合至其 Web 應用程式中。
Introducing Daggr: Chain apps programmatically, inspect visually★ 75
Hugging Face Blog124d agoNew ToolHugging Face 發表全新開源工具 Daggr，旨在解決 AI 應用（如 LLM 鏈、Agent 工作流）開發中的痛點。開發者可以用純程式碼（Programmatic）定義複雜的有向無環圖（DAG）工作流，同時透過直觀的視覺化介面（Visual Inspection）進行執行追蹤與除錯。這項工具完美結合了程式碼的靈活性與視覺化工具的易讀性。
We removed 80% of our agent’s tools★ 85
Vercel Changelog162d agoOpinionVercel 在建構生產級 AI Agent 時發現，給予過多工具會導致模型混淆、延遲飆升與成本暴增。他們透過「動態工具載入」、「多 Agent 架構」與「程式碼硬編碼路由」等策略，成功精簡了 80% 的工具。這項優化不僅讓 Agent 的任務成功率顯著提升，更大幅改善了用戶體驗，證明了在 AI 應用開發中「少即是多」的硬道理。
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference★ 85
Hugging Face Blog502d agoReleaseHugging Face 的 Text Generation Inference (TGI) 宣布支援多後端架構，正式整合 NVIDIA TensorRT-LLM 與 vLLM。這項更新讓開發者無需在 TGI 的生產級功能（如 Tokenizer、工具調用、安全防護）與其他引擎的極致效能之間做抉擇。現在，用戶可以透過簡單的設定，直接在 TGI 中調用 TRT-LLM 的硬體優化或 vLLM 的高吞吐量優勢。
Hugging Face models in Amazon Bedrock★ 78
Hugging Face Blog540d agoReleaseHugging Face 宣布與 AWS 達成新合作，將其平台上的熱門開源模型整合至 Amazon Bedrock。開發者無需自行管理複雜的底層基礎設施，即可透過 Bedrock 的託管服務與 API 快速呼叫、部署並擴展 Hugging Face 上的模型。此舉大幅降低了企業在 AWS 生態系中使用開源 AI 模型的門檻，並簡化了計費與安全合規流程。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog587d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Eval-driven development: Build better AI faster★ 80
Vercel Changelog593d agoOpinionVercel 提出「評估驅動開發（EDD）」概念，解決 AI 輸出不確定性帶來的測試難題。 EDD 類似於軟體工程的測試驅動開發（TDD），強調在調整提示詞或模型前先建立評估數據集。 透過自動化評估（如 LLM-as-a-judge），開發者能更具信心且快速地優化 AI 產品，避免改動導致效能倒退。
Accelerate 1.0.0★ 80
Hugging Face Blog627d agoReleaseHugging Face 旗下熱門的分散式訓練工具庫 Accelerate 正式迎來 1.0.0 版本。此版本標誌著 API 的全面穩定與成熟，大幅優化了 PyTorch FSDP 和 DeepSpeed 的整合，並提升了大模型推理（Big Model Inference）的資源調配效率。對於需要跨 GPU/TPU 進行模型微調或部署的開發者與研究人員而言，這是一次關鍵的重大升級。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog734d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Making thousands of open LLMs bloom in the Vertex AI Model Garden★ 75
Hugging Face Blog783d agoReleaseHugging Face 宣布與 Google Cloud 合作，將其平台上數千個開源大語言模型（LLM）整合至 Vertex AI Model Garden。開發者現在無需複雜的設定，即可直接在 Google Cloud 環境中一鍵部署、微調及管理這些開源模型。此舉大幅降低了企業在雲端部署開源 AI 模型的門檻，並提升了運算資源的利用效率。
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker★ 75
Hugging Face Blog1098d agoReleaseHugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器（DLC），用於部署大型語言模型（LLM）。該容器整合了 Text Generation Inference (TGI) 技術，支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量，在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Why we’re switching to Hugging Face Inference Endpoints, and maybe you should too
Hugging Face Blog1203d agoOpinionMantis NLP 團隊分享了他們將 NLP 模型部署全面轉向 Hugging Face Inference Endpoints 的實戰經驗。相較於傳統自建 AWS SageMaker 或 EC2 基礎設施，Hugging Face 提供極低的維護門檻、靈活的自動縮放（包括縮減至零）以及極具競爭力的價格。這項轉變不僅大幅縮短了產品上線時間，也讓團隊能更專注於模型本身的研發而非繁雜的運維工作。