Vercel and AWS partner on AI tools and experiences★ 75
Vercel Changelog540d agoBusinessVercel 宣布與 AWS 達成合作，旨在為前端開發者提供更流暢的 AI 開發體驗。 雙方將 Amazon Bedrock 的模型庫與 Vercel AI SDK 進行深度整合，支援 Claude、Llama 等多款熱門模型。 此合作讓開發者能結合 AWS 的企業級安全基礎設施與 Vercel 的極致開發體驗，快速構建並擴展 AI 網頁應用。
How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs★ 75
Hugging Face Blog544d agoCommentary本文介紹了 Hugging Face、Keras 與 Google TPU 團隊合作的最新實驗，旨在評估大語言模型（LLM）在被指出錯誤後的「自我糾錯」能力。實驗採用類似 Chatbot Arena 的雙盲測試，利用 Keras 的多後端優勢與 TPU 的強大算力，測試多款開源模型。結果顯示，多數模型在沒有外部具體反饋的情況下，自我糾錯能力仍有極大提升空間。
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Hugging Face Blog545d agoReleaseHugging Face 宣布推出針對阿拉伯語大語言模型（LLM）的全新評估基準「AraGen」及其排行榜。該基準採用創新的「3C3H」評估框架，從文化（Culture）、語境（Context）、能力（Capability）以及實用（Helpfulness）、誠實（Honesty）、無害（Harmlessness）六大維度進行評估。此舉旨在解決過去阿拉伯語評估過度依賴英文翻譯數據集、忽略在地文化與語言特性的問題，為多語言 AI 評估樹立新標竿。
You could have designed state of the art positional encoding★ 75
Hugging Face Blog554d agoTutorialHugging Face 釋出深度科普文章，帶領讀者從零開始設計 Transformer 的位置編碼。文章從傳統絕對位置編碼（APE）的缺陷出發，指出其無法應對長文本外推的痛點，進而引入相對位置編碼（RPE）的概念。最終，透過簡單的複數與 2D 旋轉矩陣，一步步推導出當前主流大模型（如 Llama、Mistral）標配的 RoPE（旋轉位置編碼），證明這項最先進技術其實符合直覺且人人都能推導出來。
Letting Large Models Debate: The First Multilingual LLM Debate Competition★ 75
Hugging Face Blog559d agoRelease本文介紹了首屆多語言大型語言模型（LLM）辯論賽。傳統的靜態評估方法（如多選題）已難以衡量模型的深層推理與說服力，因此研究人員設計了讓模型針對特定議題進行多輪多語言辯論的機制。透過這種動態對抗，不僅能更精準地評估模型在非英語環境下的邏輯一致性，也為 LLM 的安全性和對齊（Alignment）提供了全新的評估維度。
Faster Text Generation with Self-Speculative Decoding★ 78
Hugging Face Blog559d agoReleaseHugging Face 介紹了 Meta 的 LayerSkip 技術，該技術透過「自投機解碼（Self-Speculative Decoding）」來加速 LLM 推理。傳統投機解碼需要額外的草稿模型，而 LayerSkip 讓單一模型在推理時自我預測與驗證。透過在訓練時加入層丟棄與早期退出損失，模型能用前幾層快速生成草稿，再由完整模型驗證，顯著降低記憶體佔用並提升速度。
Judge Arena: Benchmarking LLMs as Evaluators★ 80
Hugging Face Blog560d agoReleaseHugging Face 與 AI 評估新創公司 Atla 合作推出「Judge Arena」基準測試。該項目旨在解決「LLM 作為裁判（LLM-as-a-judge）」時常見的偏見與失真問題，透過與人類專家評分進行對齊，系統化評估各家大模型在擔任裁判時的表現，為 AI 評估自動化提供更具公信力的參考標準。
AI SDK 4.0★ 85
Vercel Changelog561d agoReleaseVercel 推出 AI SDK 4.0，帶來重大架構變革。本次更新宣布將舊有的 React Server Components (RSC) 方案列為棄用，改為推薦使用更簡單、穩定的 AI SDK Core（如 streamText）與 AI SDK UI（如 useChat）組合。此外，新版本全面整合了 OpenTelemetry 監控，並優化了多模態與工具調用（Tool Calling）的開發體驗。
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge★ 75
Hugging Face Blog582d agoTutorial非營利組織 Digital Green 為了向農民提供精確的農業建議，開發了基於 RAG 的問答系統。透過 Hugging Face 專家支援服務，他們導入了「LLM-as-a-Judge」自動化評估框架。此方案不僅能有效衡量回答的真實性與相關性，還透過開源模型替代昂貴的專有模型，在維持高評估準確度的同時大幅降低了營運成本。
Introducing HUGS - Scale your AI with Open Models★ 85
Hugging Face Blog587d agoReleaseHugging Face 推出全新微服務 HUGS（Hugging Face Microservices），旨在簡化開源 AI 模型的部署流程。HUGS 提供經過高度優化且開箱即用的 Docker 容器，支援 Llama、Mistral 等熱門模型，並針對 NVIDIA、AMD 及 AWS 等硬體進行效能優化。開發者可以透過與 OpenAI 相容的 API 快速整合，在私有雲或主流雲端平台上輕鬆擴展 AI 應用。
Transformers.js v3: WebGPU Support, New Models & Tasks, and More…★ 85
Hugging Face Blog588d agoReleaseHugging Face 正式發布 Transformers.js v3，最大亮點為引進 WebGPU 支援，使瀏覽器端模型推論速度較以往的 CPU/WASM 提升達 100 倍。此版本也將 npm 套件重新命名為 @huggingface/transformers，並新增支援 Llama 3、Gemma、Phi-3 等熱門模型。此外，新版本擴展了語音合成（TTS）與多模態任務，為網頁開發者提供更強大的無伺服器端（Serverless）AI 解決方案。
“Llama 3.2 in Keras”★ 75
Hugging Face Blog589d agoReleaseHugging Face 與 Keras 團隊宣布 Llama 3.2 模型正式登陸 Keras 生態系。開發者現在可以透過 KerasNLP 輕鬆載入 Llama 3.2 的 1B 與 3B 輕量級模型。得益於 Keras 3 的多後端架構，使用者能自由切換 JAX、PyTorch 或 TensorFlow，並利用 LoRA 等技術進行高效微調與跨平台部署。
Eval-driven development: Build better AI faster★ 80
Vercel Changelog593d agoOpinionVercel 提出「評估驅動開發（EDD）」概念，解決 AI 輸出不確定性帶來的測試難題。 EDD 類似於軟體工程的測試驅動開發（TDD），強調在調整提示詞或模型前先建立評估數據集。 透過自動化評估（如 LLM-as-a-judge），開發者能更具信心且快速地優化 AI 產品，避免改動導致效能倒退。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog600d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Llama can now see and run on your device - welcome Llama 3.2★ 95
Hugging Face Blog615d agoReleaseMeta 正式發布 Llama 3.2，最大亮點為首次推出 11B 和 90B 的視覺多模態模型，能理解圖像與圖表；同時推出專為手機與邊緣裝置設計的 1B 和 3B 超輕量文字模型，支援 128k 脈絡長度。Hugging Face 已在 Transformers、TGI 及微調工具中全面支援，方便開發者即刻部署與應用。
Fine-tuning LLMs to 1.58bit: extreme quantization made easy★ 85
Hugging Face Blog622d agoTutorialHugging Face 釋出最新指南，介紹如何將現有的預訓練大語言模型（LLM）微調至 1.58-bit（三進制模型）。傳統的 BitNet 1.58B 需要極為昂貴的從頭預訓練，而此方法允許開發者直接對現有開源模型（如 Llama）進行極限非線性量化微調。這項技術將權重限制在 -1、0、1 三個值，極大降低了顯存佔用與計算頻寬，讓大模型在消費級硬體甚至 CPU 上也能高效運行。
Introducing Community Tools on HuggingChat★ 75
Hugging Face Blog624d agoReleaseHugging Face 宣布在 HuggingChat 中推出「社群工具 (Community Tools)」功能。這項更新讓 HuggingChat 上的開源模型（如 Llama 3.1、Command R+）能夠調用由社群開發的各種工具，例如圖像生成、網頁抓取、計算機等。開發者可以使用 Python 輕鬆建立並分享工具，使開源 AI 助理具備更強大的 Agent 實用能力。
Deploy Meta Llama 3.1 405B on Google Cloud Vertex AI★ 75
Hugging Face Blog652d agoReleaseHugging Face 推出全新整合功能，允許用戶將 Meta 的 Llama 3.1 405B 模型直接部署至 Google Cloud Vertex AI。此舉簡化了超大型開源模型的企業級部署流程，提供高擴展性與安全性。開發者可透過 Hugging Face Hub 或 Vertex AI Model Garden 輕鬆啟用，並利用 Google Cloud 的強大算力（如 H100 GPU 或 TPU）進行高效推理。
Introduction to ggml★ 80
Hugging Face Blog658d agoTutorial本篇 Hugging Face 部落格文章深入介紹了由 Georgi Gerganov 開發的輕量級 C/C++ 張量庫 GGML。GGML 是 llama.cpp 的底層核心，專為消費級硬體（如 CPU 和 Apple Silicon）優化。文章解析了其無依賴性、高效量化（4-bit/8-bit）以及如何演進至現今主流的 GGUF 格式，是理解本地端 LLM 部署的必讀指南。
Tool Use, Unified★ 85
Hugging Face Blog659d agoReleaseHugging Face 推出統一的工具調用（Tool Use）標準，解決了過去不同開源模型工具格式不一的痛點。現在開發者只需定義標準 Python 函數，即可透過 `apply_chat_template` 自動轉換並傳遞給 Llama 3.1、Mistral 等支援的模型。此更新全面整合至 `transformers`、`huggingface_hub` 與 TGI，大幅降低了 AI Agent 的開發與切換門檻。
How to integrate AI into your business★ 75
Vercel Changelog665d agoTutorialVercel 發布企業 AI 整合指南，指引企業如何從 AI 概念驗證走向生產環境。指南強調不應綁定單一模型，而應利用 Vercel AI SDK 建立多模型架構。此外，優秀的 AI 體驗需超越傳統聊天對話框，導入 Generative UI 與即時串流技術，並透過 Serverless 基礎設施與邊緣運算解決延遲與逾時問題，最後搭配完善的安全評估機制，確保企業級應用的穩定與安全。
Serverless Inference with Hugging Face and NVIDIA NIM★ 82
Hugging Face Blog673d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動，開發者無需管理複雜的 GPU 基礎設施，即可一鍵部署 Llama 3、Mistral 等熱門開源模型，並享有 TensorRT 優化帶來的極致效能與低延遲。
Replicate Intelligence #8★ 75
Replicate Blog676d agoReleaseReplicate 發布第 8 期技術情報。本次更新重點包括：全面支援 Meta 最新發布的頂級開源模型 Llama 3.1（包含 405B 旗艦模型）；推出全新的安全分類器（如 Llama Guard 3），協助開發者過濾有害內容；以及正式開放「模型搜尋 API」，讓開發者能透過程式碼輕鬆檢索與篩選 Replicate 上的數萬個 AI 模型。
Llama 3.1 - 405B, 70B & 8B with multilinguality and long context★ 95
Hugging Face Blog679d agoReleaseMeta 正式發布 Llama 3.1 系列，包含 8B、70B 及首款能與頂級閉源模型媲美的 405B 旗艦模型。此版本將上下文視窗大幅提升至 128k，並增強了多語言能力。Hugging Face 同步推出完整生態系支援，涵蓋 Transformers 整合、TGI 推論優化、TRL 微調以及 FP8 量化，降低 405B 的部署門檻。
Run Meta Llama 3.1 405B with an API★ 85
Replicate Blog679d agoReleaseMeta 推出最強開源模型 Llama 3.1 405B，Replicate 隨即宣布全面支援其 API 運行。開發者無需自行準備昂貴的 GPU 基礎設施，即可透過 Replicate 的雲端平台，以極低的延遲與簡單的一行程式碼整合該模型。此服務支援 128k 脈絡長度，並提供結構化輸出等功能，大幅降低了企業與開發者應用頂級開源 AI 的門檻。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog684d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
How we leveraged distilabel to create an Argilla 2.0 Chatbot★ 75
Hugging Face Blog686d agoTutorial為了協助用戶上手全新發布的 Argilla 2.0，Argilla 團隊利用其開源合成數據生成框架 distilabel 打造了專屬技術支持機器人。他們將官方文件切片，透過 distilabel 驅動 LLM 自動生成高質量的「問題-答案」對，並進行演化與過濾。最後利用這些合成數據微調開源模型，在不依賴人工標註下，快速構建出能精準回答產品技術問題的 AI 助理。
Announcing New Hugging Face and KerasHub integration★ 75
Hugging Face Blog692d agoReleaseHugging Face 宣布與 KerasHub（前身為 KerasNLP 與 KerasCV）達成全新整合。開發者現在可以使用簡單的 API，直接在 Hugging Face Hub 上儲存與載入 KerasHub 模型。這項整合支援 Keras 3 的多後端特性，讓使用者能無縫在 JAX、PyTorch 或 TensorFlow 之間切換，大幅簡化了跨框架模型的部署與微調流程。
Our Transformers Code Agent beats the GAIA benchmark 🏅★ 80
Hugging Face Blog701d agoReleaseHugging Face 發表全新的 Transformers Code Agent，透過讓 AI 撰寫並執行 Python 程式碼來解決複雜任務。該方法在評估通用 AI 助理能力的 GAIA 基準測試上取得了 SOTA（當前最佳）表現，證明了「程式碼執行」作為 Agent 推理工具，遠比傳統的 JSON 工具調用（Tool Calling）更具彈性與效率。此專案已完全開源，為開發者提供構建高效能 Agent 的新選擇。
Replicate Intelligence #3
Replicate Blog725d agoCommentary本期 Replicate Intelligence 彙整了三大看點：首先是結合地方特色的微調模型「Garden State Llama」；其次是社群大推、由多位專家撰寫的「實用 LLM 應用指南（Applied LLMs Guide）」，系統化整理了落地心法；最後探討了如何利用 Replicate 實現極速的即時影像生成。