Replicate Intelligence #6★ 75
Replicate Blog705d agoReleaseReplicate 發布第 6 期技術情報，重點介紹 Google 全新開源的 Gemma 2 模型（包含 9B 與 27B 版本）已可在平台運行，其性能逼近更大參數的模型。同時，本期也更新了語言模型排行榜，並針對熱門的 Stable Diffusion 3 提供具體的提示詞與參數優化指南，幫助創作者解決人體畸變等常見生成問題。
Welcome Gemma 2 - Google’s new open LLM★ 85
Hugging Face Blog706d agoReleaseGoogle 聯合 Hugging Face 推出新一代開源模型 Gemma 2，提供 9B 與 27B 兩種參數規格。27B 版本在同量級中表現極為優異，甚至能與體積兩倍大的模型競爭；9B 版本也超越了 Llama 3 8B。此系列模型採用知識蒸餾與混合注意力機制，並已在 Hugging Face 生態系中獲得全面支援。
XLSCOUT Unveils ParaEmbed 2.0: a Powerful Embedding Model Tailored for Patents and IP with Expert Support from Hugging Face
Hugging Face Blog708d agoRelease智慧財產權平台 XLSCOUT 在 Hugging Face 專家團隊支援下，推出專為專利與 IP 領域設計的嵌入模型 ParaEmbed 2.0。該模型針對專利文本特有的複雜法律與技術術語進行優化，能顯著提升專利相似度檢索與相關 RAG 應用的精準度。這項合作展示了如何透過領域特定（Domain-specific）的微調，解決通用模型在專業領域表現不佳的痛點。
Fine-tuning Florence-2 - Microsoft's Cutting-edge Vision Language Models★ 80
Hugging Face Blog709d agoTutorial微軟推出的 Florence-2 是一款強大且輕量的視覺語言模型（VLM），僅有 232M 與 770M 兩種參數版本，卻能高效處理 OCR、目標檢測、圖像描述等多種任務。Hugging Face 官方部落格發布了這篇實用指南，詳細教學如何使用 Hugging Face 的 transformers 與 peft 函式庫，在自訂資料集上對 Florence-2 進行微調（Fine-tuning），並利用 LoRA 技術降低顯示記憶體需求，非常適合想在邊緣裝置或有限資源下部署視覺 AI 的開發者。
Ethics and Society Newsletter #6: Building Better AI: The Importance of Data Quality★ 75
Hugging Face Blog709d agoOpinion本期 Hugging Face 倫理與社會通訊聚焦於「數據品質」。文章指出，高質量的數據不僅能提升 AI 模型的技術表現，更是減少偏見、避免幻覺與實踐倫理 AI 的基石。內容探討了數據標註、多樣性、倫理採購以及如何透過開源社群協作來建立更具代表性且安全的數據集。
Replicate Intelligence #5
Replicate Blog712d agoReleaseReplicate 發布最新技術情報，重點介紹在平台上架的超強開源程式碼模型 DeepSeek-Coder-V2，其性能在多項指標上超越 GPT-4 Turbo。此外，文章探討了 AI 搜尋技術的最新突破，以及 Replicate 如何利用自身平台技術構建 Discord 社群專用的自動化客服支援機器人，展示了開源 AI 在實際開發與社群營運中的強大應用潛力。
Data Is Better Together: A Look Back and Forward
Hugging Face Blog713d agoReleaseHugging Face 發表「Data Is Better Together (DIBT)」計劃的階段性回顧與展望。該計劃旨在透過社群協作，解決高品質開源對齊數據不足的痛點。過去一年中，DIBT 透過 Argilla 等工具成功匯聚全球開發者，共同標註與生成了多個高質量的偏好與提示詞數據集。未來，該計劃將進一步擴展任務類型，推動更具包容性與去中心化的 AI 數據生態。
Going multimodal: How Prezi is leveraging the Hub and the Expert Support Program to accelerate their ML roadmap
Hugging Face Blog714d agoBusiness知名簡報平台 Prezi 為了在產品中導入多模態 AI 功能，與 Hugging Face 展開深度合作。透過利用 Hugging Face Hub 的開源模型生態系，並加入「專家支持計畫（Expert Support Program）」，Prezi 獲得了 HF 頂尖工程師的直接技術指導。這項合作不僅解決了模型微調與推理優化的技術瓶頸，更大幅縮短了其機器學習路線圖的時程，實現高效的多模態功能落地。
BigCodeBench: The Next Generation of HumanEval★ 80
Hugging Face Blog715d agoRelease傳統的 HumanEval 程式碼評測基準已逐漸飽和且過於簡單。Hugging Face 與研究團隊合作推出新一代基準 BigCodeBench，包含 1,140 個實用編程任務，涵蓋 139 個第三方 Python 函式庫。此基準旨在考驗 LLM 在複雜、多步驟及真實開發場景下的程式碼生成與指令遵循能力，成為評估 Code LLM 的新一代標準。
Replicate Intelligence #4
Replicate Blog719d agoReleaseReplicate 發表最新技術週報，重點包括：1. 介紹如何透過稀疏自編碼器（SAE）在 GPT 模型中定位與提取特定概念；2. 展示利用瀏覽器進行低延遲、隱私安全的即時語音轉文字技術；3. 宣布 Replicate 平台即將迎來 NVIDIA H100 GPU，大幅提升開源模型推理與微調的速度。
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate★ 75
Hugging Face Blog720d agoTutorial本文探討如何利用 Hugging Face Accelerate 在 DeepSpeed 與 PyTorch FSDP 兩大分散式訓練框架之間無縫切換。這兩者皆是解決大模型（LLM）顯存不足的關鍵技術。透過 Accelerate 的高度抽象化，開發者無需修改核心訓練代碼，僅需調整設定檔即可自由切換，並針對不同硬體環境進行效能微調。文章也分析了兩者的優缺點與適用場景，為 AI 工程師提供實用的架構選擇指南。
Putting RL back in RLHF★ 80
Hugging Face Blog721d agoRelease近年 DPO 等直接對齊方法因免去強化學習（RL）的複雜度而大受歡迎，但線上 RL 仍有其獨特優勢。Hugging Face 發表部落格介紹在 TRL 庫中實現的 RLOO（REINFORCE Leave-One-Out）演算法。RLOO 透過生成多個樣本並計算「留一法」基準值來降低變異數，不僅免去了 PPO 龐大的 Critic 網路、節省顯存，還能達到與 PPO 相當甚至更好的對齊效果，讓線上 RL 重新成為實用選擇。
Diffusers welcomes Stable Diffusion 3★ 80
Hugging Face Blog721d agoReleaseHugging Face 宣布其 diffusers 函式庫已正式整合 Stability AI 的 Stable Diffusion 3 (SD3)。本次更新全面支援 SD3 Medium 模型，並引入多項關鍵的記憶體優化技術（如 CPU offloading、float16 精度與可選的 T5-XXL 編碼器），讓開發者能在消費級 GPU 上流暢運行。此外，官方也同步釋出了 DreamBooth 與 LoRA 的微調腳本，大幅降低了客製化圖像生成模型的門檻。
H100s are coming to Replicate
Replicate Blog721d agoReleaseAI 雲端託管平台 Replicate 宣佈即將引進強大的 NVIDIA H100 Tensor Core GPU。此硬體升級將全面支援平台上的模型推理（Predictions）與微調訓練（Training），為開發者帶來更低的延遲與更快的運算速度。目前官方已正式開放早期存取（Early Access）的申請管道，有高算力需求、想搶先體驗 H100 效能的開發者與企業，現在即可聯繫官方團隊加入測試名單。
Replicate Intelligence #3
Replicate Blog726d agoCommentary本期 Replicate Intelligence 彙整了三大看點：首先是結合地方特色的微調模型「Garden State Llama」；其次是社群大推、由多位專家撰寫的「實用 LLM 應用指南（Applied LLMs Guide）」，系統化整理了落地心法；最後探討了如何利用 Replicate 實現極速的即時影像生成。
Introducing the Hugging Face Embedding Container for Amazon SageMaker★ 75
Hugging Face Blog726d agoReleaseHugging Face 與 AWS 合作推出全新 Deep Learning Container (DLC)，專為 Amazon SageMaker 上的文字嵌入（Embedding）與序列分類模型進行優化。此容器基於 Hugging Face 的 Text Embeddings Inference (TEI) 技術，支援動態批處理與 Flash Attention，能顯著降低延遲並提高吞吐量，簡化了在 AWS 上部署 RAG 應用的流程。
Making sense of this mess
Hugging Face Blog726d agoReleaseHugging Face 針對其最受歡迎的開源庫 Transformers 進行了官方文件的全面重新設計。為了解決因支援數千個模型、多種框架（PyTorch/TF/JAX）及多模態任務而日益混亂的結構，新版文件採用了更清晰的分類法。這項更新大幅提升了開發者查找 API、教學與概念指南的效率。
Launching the Artificial Analysis Text to Image Leaderboard & Arena★ 75
Hugging Face Blog727d agoNew ToolHugging Face 宣布與 Artificial Analysis 合作推出「文字生成圖片排行榜與競技場」（Text to Image Leaderboard & Arena）。該平台結合了類似 LMSYS 的人類盲測對決（Arena Elo 評分）以及客觀的效能指標（如生成速度與成本）。這為開發者與創作者提供了一個透明、標準化的基準，用以評估與比較市面上主流的開源與閉源圖像生成模型。
Introducing NPC-Playground, a 3D playground to interact with LLM-powered NPCs★ 75
Hugging Face Blog728d agoReleaseHugging Face 聯合 Cubzh 與 Gigax 推出「NPC-Playground」3D 互動沙盒。該平台利用開源的大型語言模型（LLM）賦予 NPC 記憶、感知與決策能力，使其不僅能與玩家對話，還能在 3D 空間中執行撿拾、移動等實體動作。這項開源合作展示了 AI Agent 在遊戲領域的全新應用可能。
Faster assisted generation support for Intel Gaudi
Hugging Face Blog729d agoReleaseHugging Face 宣布在 Intel Gaudi 晶片上支援「輔助生成」（Assisted Generation，即投機解碼）。此技術透過小型草稿模型預測 Token，再由大型目標模型進行並行驗證，能顯著降低延遲並提高吞吐量。這項更新整合至 Optimum Habana 庫中，讓開發者能在 Gaudi 硬體上更高效地部署 LLM。
Replicate Intelligence #2★ 75
Replicate Blog733d agoCommentary本期 Replicate Intelligence 彙整了三大 AI 前沿進展：首先是 ByteDance 開源的 Hyper-SD 技術，實現了毫秒級的超快速圖像生成；其次是探討如 DIAMOND 等利用擴散模型構建的「世界模擬器」，展示了 AI 在虛擬環境模擬與強化學習中的潛力；最後深入分析了 AI 資料集複雜度，探討在數據漸趨飽和的當下，如何透過優化數據質量與結構來提升模型訓練效率。
Space secrets security update★ 85
Hugging Face Blog733d agoIncidentHugging Face 發布安全公告，指出其 Spaces 平台疑似遭受未授權存取，可能導致用戶儲存的 Secrets（如 API 金鑰）外洩。官方已主動撤銷受影響的用戶 Access Token，並透過郵件通知相關用戶。強烈建議所有在 Spaces 中使用敏感憑證的開發者，立即更換並重新生成其金鑰以確保安全。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog735d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Training and Finetuning Embedding Models with Sentence Transformers★ 80
Hugging Face Blog736d agoReleaseHugging Face 發布 Sentence Transformers v3.0，引入全新的 SentenceTransformerTrainer。此更新解決了以往微調嵌入模型時繁瑣的訓練流程，全面支援多 GPU 訓練、混合精度、損失函數整合以及與 Hugging Face Hub 的無縫對接。這對於需要為 RAG 或語意搜尋微調專屬 Embedding 模型的開發者與研究人員來說是一大突破。
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages★ 75
Hugging Face Blog740d agoRelease阿布達比技術創新研究所（TII）推出全新開源模型 Falcon 2 11B，包含預訓練語言模型與視覺語言模型（VLM）。該模型在超過 5 兆（5000B）Token 的高質量數據上進行訓練，支援 11 種語言。其性能在同量級模型中表現亮眼，並採用 Apache 2.0 授權，對開源社群與開發者極具吸引力。
CyberSecEval 2 - A Comprehensive Evaluation Framework for Cybersecurity Risks and Capabilities of Large Language Models★ 75
Hugging Face Blog740d agoReleaseMeta 推出開源安全評估框架 CyberSecEval 2，並與 Hugging Face 合作推廣。該框架旨在量化大語言模型（LLM）在網路安全領域的雙重用途風險，新增了自動化漏洞利用、惡意軟體分析及提示詞注入（Prompt Injection）等測試維度。這項工具能幫助開發者與安全研究人員，客觀評估如 Llama Guard 等安全防護模型在實際對抗中的防禦表現。
Replicate Intelligence #1★ 75
Replicate Blog740d agoCommentaryReplicate 發布首期技術精選，聚焦三大 AI 前沿進展：首先是引導開發者從零開始用 PyTorch 實作 Llama 3 架構；其次介紹了結合錄影與 AI 檢索的開源智慧眼鏡專案；最後深入探討了 Anthropic 利用「字典學習」（SAE）成功提取並控制 Claude 3 內部概念特徵的里程碑研究。
Shared network vulnerability disclosure★ 75
Replicate Blog741d agoIncidentAI 模型託管平台 Replicate 揭露了一項已修復的嚴重安全漏洞。該漏洞由雲端安全公司 Wiz 發現，源於多租戶環境下的共享網路配置缺陷。攻擊者可透過上傳惡意模型，繞過容器隔離並存取其他用戶的私有模型、輸入與輸出數據。Replicate 已於第一時間完成修復、加強網路隔離，並確認除研究人員的測試外，無其他用戶數據外洩。
Deploy models on AWS Inferentia2 from Hugging Face★ 75
Hugging Face Blog742d agoReleaseHugging Face 宣布其託管服務 Inference Endpoints 正式支援 AWS Inferentia2 (Inf2) 執行個體。這項整合讓開發者無需繁瑣的編譯設定，即可將 Llama、Mistral 等大型語言模型部署至 AWS 的專屬推論晶片上。相較於傳統 GPU，Inferentia2 能大幅降低推論成本並提升吞吐量，為企業提供更具成本效益的生產環境部署選擇。
Introducing Spaces Dev Mode for a seamless developer experience★ 75
Hugging Face Blog743d agoReleaseHugging Face 宣布推出「Spaces Dev Mode（開發者模式）」，解決過去開發 Spaces 需頻繁 Git push 的痛點。新模式支援 SSH 連線與本地 VS Code 整合，程式碼變更可即時同步並熱重載，大幅縮短 AI 應用的開發與除錯週期，提供更流暢的雲端開發體驗。