Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers★ 82
Hugging Face Blog265d agoTutorialHugging Face 官方解析了 OpenAI 最新開源項目 `gpt-oss` 的核心加速技術，並教導開發者如何將這些優化手段移植到現有的 `transformers` 庫中。重點技巧包含：利用 `torch.compile` 配合「靜態 KV 快取」消除 Python 執行期開銷、引入「投機性解碼」實現多倍速生成，以及透過 FP8/INT4 量化與 Triton 自訂核心緩解記憶體頻寬瓶頸。這些方法能讓開發者在不犧牲精度的情況下，極大化 GPU 的推論效率。
Fine-tune Any LLM from the Hugging Face Hub with Together AI★ 75
Hugging Face Blog265d agoReleaseHugging Face 宣布與 Together AI 深度整合，推出全新微調解決方案。開發者現在可以直接從 Hugging Face Hub 選擇任何開源大語言模型，並利用 Together AI 的高效能 GPU 叢集與微調 API 進行訓練。此合作大幅簡化了微調的工作流程，免去繁瑣的硬體設定，並提供極具成本效益的無伺服器微調體驗。
Jupyter Agents: training LLMs to reason with notebooks★ 78
Hugging Face Blog266d agoReleaseHugging Face 發表 Jupyter Agents 研究，專注於訓練大型語言模型（LLM）在 Jupyter Notebook 環境中進行推理。透過整合程式碼執行反饋（REPL），模型能像人類資料科學家一樣，一邊執行程式碼、一邊根據錯誤訊息進行自我修正。此方法顯著提升了開源模型在數學、科學及程式設計等複雜任務上的表現。
mmBERT: ModernBERT goes Multilingual★ 78
Hugging Face Blog267d agoReleaseHugging Face 與社群合作推出 mmBERT，這是基於 ModernBERT 架構的多語言版本。mmBERT 繼承了 ModernBERT 的現代化改進（如 FlashAttention、RoPE 與 8192 token 長文本支持），旨在取代傳統的 mBERT 與 XLM-RoBERTa。它能顯著提升多語言文本分類、命名實體識別（NER）及檢索（RAG）等任務的運算效率，為開發者提供更強大且省資源的開源選擇。
Torch compile caching for inference speed★ 75
Replicate Blog268d agoTutorialPyTorch 的 torch.compile 能顯著提升模型推論速度，但首次編譯的「冷啟動」時間往往令人頭痛。Replicate 介紹了如何透過快取（Caching）編譯後的模型成品，避免每次容器啟動時重複編譯。這項技術能有效縮短伺服器無預載（Serverless）部署時的啟動延遲，讓開發者在享受高效能推論的同時，也能擁有極速的部署與反應時間。
Welcome EmbeddingGemma, Google's new efficient embedding model★ 75
Hugging Face Blog272d agoReleaseGoogle 正式推出全新開源嵌入模型 EmbeddingGemma。該模型基於強大的 Gemma 2 架構，專為檢索、語意搜尋與 RAG（檢索增強生成）等任務設計。EmbeddingGemma 在 MTEB 等主流基準測試中表現優異，並提供高效的推理能力。目前已全面整合至 Hugging Face 生態系統，開發者可透過 transformers 與 sentence-transformers 輕鬆部署與微調。
Open SDK strategy★ 75
Vercel Changelog272d agoOpinionVercel 發表其「開放 SDK 策略」（Open SDK strategy），強調 Vercel AI SDK 的開放性與互操作性。該策略專注於提供跨模型供應商（如 OpenAI、Anthropic、Gemini）的統一 API，並支援多種前端框架與執行環境。透過社群驅動的 Provider 機制與標準化的工具調用（Tool Calling）及結構化輸出，Vercel 旨在降低 AI 應用的開發門檻，建立去中心化的 AI 開發生態系。
NVIDIA Releases 6 Million Multi-Lingual Reasoning Dataset★ 78
Hugging Face Blog286d agoReleaseNVIDIA 在 Hugging Face 上正式發布了包含 600 萬個樣本的全新「多語言推理數據集」（Multi-Lingual Reasoning Dataset）。 該數據集旨在解決當前 AI 模型在非英語系語言中邏輯推理能力不足的痛點，提供大規模且高質量的訓練素材。 此開源資源將顯著降低開發多語言推理模型（如 Reasoning LLM）的門檻，對開源社群具有重要推動作用。
Generate Images with Claude and Hugging Face★ 85
Hugging Face Blog288d agoNew ToolHugging Face 宣布與 Anthropic 的 MCP（Model Context Protocol）深度整合。用戶現在可以透過配置 Hugging Face MCP 伺服器，讓 Claude Desktop 具備調用 Hugging Face 平台上各式開源影像生成模型（例如 FLUX.1 或 Stable Diffusion）的能力。這解決了 Claude 原生無法生成圖片的痛點，為創作者與開發者提供更無縫的工作流。
MCP for Research: How to Connect AI to Research Tools★ 75
Hugging Face Blog289d agoTutorialHugging Face 發表最新指南，展示如何利用 Model Context Protocol (MCP) 將 AI 模型與學術研究工具無縫串接。文章介紹了如何建立 MCP 伺服器來連接 arXiv、Semantic Scholar 及 Zotero 等文獻資料庫，讓 AI 能夠直接檢索、閱讀並整理最新學術論文。這項技術不僅能大幅降低 AI 的幻覺，還能自動化文獻回顧與資料分析流程，是科研人員與開發者構建智慧學術助理的實用指南。
Kimina-Prover-RL★ 80
Hugging Face Blog292d agoReleaseHugging Face 的 AI-MO（AI 數學奧林匹亞）團隊發表全新項目 Kimina-Prover-RL，專注於自動定理證明（ATP）。該項目透過強化學習（RL）引導模型在 Lean 等形式化環境中進行證明搜尋，是開源社群追趕 DeepMind AlphaProof 的重要里程碑，為複雜數學推理與形式化驗證提供了可重現的 RL 訓練框架與模型。
Arm & ExecuTorch 0.7: Bringing Generative AI to the masses★ 80
Hugging Face Blog293d agoReleaseHugging Face 介紹 Arm 與 PyTorch 團隊在 ExecuTorch 0.7 的最新合作成果。此版本專為 Arm 架構（如手機、AI PC）優化生成式 AI 效能，透過先進的量化技術與核心優化（如 Arm KleidiAI），讓開發者能更輕鬆地在邊緣裝置上部署低延遲、低功耗的輕量化大語言模型。
Neural Super Sampling is here!★ 75
Hugging Face Blog294d agoReleaseArm 與 Hugging Face 合作宣布「Neural Super Sampling (NSS)」技術正式上線。這項技術旨在利用神經網路，在行動裝置與邊緣設備上實現即時的圖像與遊戲畫面超取樣（類似行動版 DLSS）。透過 Hugging Face 平台，開發者現在可以輕鬆獲取優化後的 NSS 模型與工具鏈，大幅提升手遊與 XR 應用的畫面流暢度並降低能耗。
🇵🇭 FilBench - Can LLMs Understand and Generate Filipino?
Hugging Face Blog295d agoReleaseHugging Face 發表全新評測基準「FilBench」，旨在評估 LLM 在菲律賓語上的理解與生成能力。由於菲律賓語在 NLP 領域常被視為資源較匱乏的語言，此基準填補了評測空白。FilBench 涵蓋多種任務，能協助研究人員與開發者客觀評估並優化模型在東南亞在地化應用的表現。
TextQuests: How Good are LLMs at Text-Based Video Games?★ 75
Hugging Face Blog295d agoReleaseHugging Face 發表全新基準測試「TextQuests」，旨在評估大型語言模型（LLM）在文字冒險遊戲（如 Zork）中的表現。這類遊戲要求模型具備強大的自然語言理解、常識推理、長期規劃與狀態追蹤能力。測試結果顯示，儘管現今 LLM 在傳統基準上表現優異，但在面對需要多步驟決策與試錯的文字遊戲時仍面臨極大挑戰。
Announcing Replicate's remote MCP server★ 75
Replicate Blog297d agoNew ToolReplicate 宣布推出遠端 MCP（Model Context Protocol）伺服器，將其平台上的數萬個開源模型直接接入開發工作流。使用者現在無需離開編輯器或聊天介面，即可在 Claude Desktop、Cursor 和 VS Code 等工具中，直接搜尋、比較並執行 Replicate 上的模型。這項更新大幅簡化了開發者測試與整合各種開源 AI 模型（如 Llama、Flux 等）的流程，提升開發效率。
Introducing AI Sheets: a tool to work with datasets using open AI models!★ 75
Hugging Face Blog299d agoNew ToolHugging Face 發表全新工具「AI Sheets」，旨在降低數據集處理的門檻。使用者無需編寫複雜代碼，即可在類似 Excel 的試算表介面中導入數據，並調用 Hugging Face 上的開源 AI 模型進行批量文本分類、翻譯、情感分析或數據增強。這項工具結合了開源生態系的靈活性與直觀的無程式碼操作，大幅提升了數據準備與標記的效率。
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training★ 80
Hugging Face Blog299d agoTutorialHugging Face 釋出最新指南，介紹 `accelerate` 的 N 維並行（ND-Parallel）技術，解決單一並行模式在超大模型訓練時的瓶頸。 文章深入探討如何有機結合數據並行（DP）、張量並行（TP）與流水線並行（PP），並透過簡單的設定檔啟用。 本指南特別適合需要跨多節點、多 GPU 進行 LLM 微調或預訓練的開發者與研究人員，能顯著提升硬體利用率（MFU）。
Vision Language Model Alignment in TRL ⚡️★ 80
Hugging Face Blog300d agoReleaseHugging Face 旗下的 TRL（Transformer Reinforcement Learning）套件迎來重大更新，正式支援視覺語言模型（VLM）的對齊訓練。開發者現在可以直接使用 DPOTrainer 或 ORPOTrainer 來處理包含圖像與文字的偏好資料集。此更新簡化了 LLaVA、PaliGemma 等主流多模態模型的微調流程，並支援 QLoRA 與 DeepSpeed 等顯存優化技術，大幅降低了 VLM 對齊的門檻。
gpt-oss-20b and gpt-oss-120b are now supported in Vercel AI Gateway
Vercel Changelog301d agoReleaseVercel 官方 Changelog 宣布，其 AI Gateway 服務已正式支援 gpt-oss-20b 與 gpt-oss-120b 兩款開源大語言模型。開發者現在可以透過 Vercel AI Gateway 統一的 API 介面，輕鬆將這些高效能的開源模型整合至應用程式中，並享有內建的快取、監控與速率限制等生產級功能。
Welcome GPT OSS, the new open-source model family from OpenAI!★ 95
Hugging Face Blog302d agoReleaseHugging Face 官方宣布迎來 OpenAI 的全新開源模型家族「GPT OSS」。這項合作打破了 OpenAI 長期以來以閉源為主的策略，將其強大的 GPT 技術以開源形式提供給全球開發者。社群現在可以直接在 Hugging Face 上下載、微調並部署這些模型，預計將對開源 AI 生態系產生深遠的影響。
Open source video is back★ 75
Replicate Blog307d agoReleaseReplicate 宣布上線全新開源影片生成模型 Wan 2.2。該模型被定位為目前平台上速度最快且成本最低的影片生成選擇，標誌著開源影片生成技術（Open Source Video）的重大進展。這項更新將大幅降低開發者與創作者生成高品質影片的門檻與運算成本。
Implementing MCP Servers in Python: An AI Shopping Assistant with Gradio★ 75
Hugging Face Blog307d agoTutorialHugging Face 發布最新實戰教學，展示如何使用 Python 實作 Model Context Protocol (MCP) 伺服器。 此專案結合了 Gradio 互動介面與虛擬試穿（VTON）技術，建構出一個功能完整的 AI 購物助手。 開發者可藉此學習如何將 MCP 協議應用於實際的電商場景，讓 LLM 能夠動態調用視覺化試穿工具。
Introducing Trackio: A Lightweight Experiment Tracking Library from Hugging Face★ 75
Hugging Face Blog309d agoReleaseHugging Face 發表全新的輕量級開源實驗追蹤工具 Trackio。旨在解決現有 MLOps 工具過於臃腫的問題，Trackio 提供在地優先（Local-first）的架構與極簡 API，並能與 Hugging Face Hub 及 Transformers 生態系無縫整合。開發者只需幾行程式碼即可記錄參數、指標與模型權重，並能透過輕量網頁介面進行可視化，是 AI 研究者的全新輕量化選擇。
Model Context Protocol (MCP) explained: An FAQ★ 85
Vercel Changelog312d agoTutorialModel Context Protocol (MCP) 是一個開放標準，旨在解決 AI 應用程式與各種資料源、工具之間連接破碎化的問題。本文以問答（FAQ）形式，深入淺出地解釋 MCP 的核心架構（Client-Host-Server）、運作原理，以及開發者如何利用 Vercel 和 AI SDK 快速構建與部署 MCP 伺服器，實現更強大的 AI Agent 應用。
Qwen3-Coder is now supported in Vercel AI Gateway
Vercel Changelog312d agoReleaseVercel 宣布其 AI Gateway 正式支援最新一代的開源程式碼模型 Qwen3-Coder。開發者現在可以透過 Vercel AI Gateway 統一的 API 接口，進行 Qwen3-Coder 的調用、快取、速率限制與監控。這項更新為建構 AI 輔助編程應用的開發者提供了更具成本效益且高效的開源模型選擇。
TimeScope: How Long Can Your Video Large Multimodal Model Go?★ 75
Hugging Face Blog315d agoReleaseHugging Face 介紹了全新的影片多模態基準測試「TimeScope」，旨在評估 Video LMM 處理長影片的能力。現有基準多侷限於短影片，而 TimeScope 挑戰模型在長時段影片中的時間推理、事件排序與資訊檢索。測試結果顯示，多數現行模型在影片長度增加時，理解與推理能力會顯著下降，揭示了現有技術的瓶頸。
Fast LoRA inference for Flux with Diffusers and PEFT★ 80
Hugging Face Blog315d agoTutorial本文介紹如何利用 Hugging Face 的 Diffusers 與 PEFT 庫，大幅加速 Flux.1 圖像生成模型的 LoRA 推論。透過融合 LoRA 權重（Fusing）、使用 torch.compile 進行編譯優化，以及利用 PEFT 的動態適配器管理，開發者可以在不損失畫質的前提下，顯著降低推論延遲並實現多 LoRA 的快速切換，非常適合生產環境部署。
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM★ 80
Hugging Face Blog316d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，推出支援多種 LLM 的 NVIDIA NIM（推理微服務）。開發者現在可以直接在 Hugging Face 平台上，利用經 TensorRT-LLM 優化的 NIM 容器，輕鬆部署 Llama、Mistral 等熱門開源模型，大幅提升推理吞吐量並降低延遲，簡化企業級 AI 應用的落地流程。
OpenAI-compatible API endpoints now supported in AI Gateway★ 75
Vercel Changelog316d agoReleaseVercel 宣布其 AI Gateway 正式支援相容 OpenAI 的 API 端點。這項更新讓開發者能夠透過統一的 Gateway 介面，輕鬆整合並管理如 DeepSeek、Groq、Together AI 等提供 OpenAI 相容格式的第三方 AI 服務。開發者不僅能簡化多模型部署的架構，還能同時享有 Vercel AI Gateway 提供的快取、速率限制與監控功能。