Latest in AI
Push a custom version of Stable Diffusion 3★ 70
Replicate Blog721d agoNew ToolReplicate 宣布支援用戶部署自定義版本的 Stable Diffusion 3 (SD3)。開發者可以使用開源工具 Cog 將微調後的 SD3 模型、自定義權重（如 LoRA）打包，並上傳至 Replicate 平台。部署完成後，即可透過直觀的網頁介面進行測試，或利用生產級的 API 進行大規模圖像生成，大幅降低了雲端 GPU 部署、自動擴展與維護的門檻，非常適合新創團隊與獨立開發者快速將 AI 應用落地。
Replicate Intelligence #4
Replicate Blog721d agoReleaseReplicate 發表最新技術週報，重點包括：1. 介紹如何透過稀疏自編碼器（SAE）在 GPT 模型中定位與提取特定概念；2. 展示利用瀏覽器進行低延遲、隱私安全的即時語音轉文字技術；3. 宣布 Replicate 平台即將迎來 NVIDIA H100 GPU，大幅提升開源模型推理與微調的速度。
Run Stable Diffusion 3 on your own machine with ComfyUI
Replicate Blog721d agoTutorialReplicate 發布了簡易教學，指導使用者如何在本地 GPU 設備上透過 ComfyUI 運行最新發布的 Stable Diffusion 3 (SD3)。讀者只需在終端機複製並貼上幾行指令，即可快速完成環境部署，開始體驗 SD3 的本地圖像生成能力。這對於想要避開雲端限制、進行本地客製化創作的設計師與開發者非常實用。
Getting started with AI: Advice from the experts at Vercel Ship★ 75
Vercel Changelog722d agoTutorial在 Vercel Ship 大會後，官方整理了專家們對於開發者如何入門 AI 的核心建議。文章強調開發者不需從頭訓練模型，應專注於利用現成 API 與 Vercel AI SDK 進行整合。專家指出，優化 AI 應用的關鍵在於提升使用者體驗（如串流輸出）與實作工具呼叫（Tool Calling），並建議從簡單的 Prompt 工程開始，逐步引入 RAG 與評估機制。
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate★ 75
Hugging Face Blog722d agoTutorial本文探討如何利用 Hugging Face Accelerate 在 DeepSpeed 與 PyTorch FSDP 兩大分散式訓練框架之間無縫切換。這兩者皆是解決大模型（LLM）顯存不足的關鍵技術。透過 Accelerate 的高度抽象化，開發者無需修改核心訓練代碼，僅需調整設定檔即可自由切換，並針對不同硬體環境進行效能微調。文章也分析了兩者的優缺點與適用場景，為 AI 工程師提供實用的架構選擇指南。
Demystifying INP: New tools and actionable insights
Vercel Changelog723d agoNew ToolGoogle 正式將 INP（Interaction to Next Paint）納入 Core Web Vitals 指標。Vercel 發表全新工具與指南，協助開發者透過 Vercel Speed Insights 實時監控使用者互動延遲。文章深入探討了如何定位造成 INP 飆高的 JavaScript 阻塞任務，並提供具體的程式碼優化建議，以提升網頁流暢度與 SEO 表現。
H100s are coming to Replicate
Replicate Blog723d agoReleaseAI 雲端託管平台 Replicate 宣佈即將引進強大的 NVIDIA H100 Tensor Core GPU。此硬體升級將全面支援平台上的模型推理（Predictions）與微調訓練（Training），為開發者帶來更低的延遲與更快的運算速度。目前官方已正式開放早期存取（Early Access）的申請管道，有高算力需求、想搶先體驗 H100 效能的開發者與企業，現在即可聯繫官方團隊加入測試名單。
Putting RL back in RLHF★ 80
Hugging Face Blog723d agoRelease近年 DPO 等直接對齊方法因免去強化學習（RL）的複雜度而大受歡迎，但線上 RL 仍有其獨特優勢。Hugging Face 發表部落格介紹在 TRL 庫中實現的 RLOO（REINFORCE Leave-One-Out）演算法。RLOO 透過生成多個樣本並計算「留一法」基準值來降低變異數，不僅免去了 PPO 龐大的 Critic 網路、節省顯存，還能達到與 PPO 相當甚至更好的對齊效果，讓線上 RL 重新成為實用選擇。
Run Stable Diffusion 3 with an API★ 70
Replicate Blog723d agoNew ToolStability AI 的最新文字生成圖像模型 Stable Diffusion 3 已正式上架雲端託管平台 Replicate。此版本模型在圖像生成品質、文字排版精準度、複雜提示詞理解能力以及資源運行效率上，皆比前代有顯著的提升。開發者現在可以透過 Replicate 提供的雲端 API，僅需編寫一行程式碼，就能輕鬆將其整合至應用程式中。
Diffusers welcomes Stable Diffusion 3★ 80
Hugging Face Blog723d agoReleaseHugging Face 宣布其 diffusers 函式庫已正式整合 Stability AI 的 Stable Diffusion 3 (SD3)。本次更新全面支援 SD3 Medium 模型，並引入多項關鍵的記憶體優化技術（如 CPU offloading、float16 精度與可選的 T5-XXL 編碼器），讓開發者能在消費級 GPU 上流暢運行。此外，官方也同步釋出了 DreamBooth 與 LoRA 的微調腳本，大幅降低了客製化圖像生成模型的門檻。
Never drop the illusion: How Frame.io builds fluid user experiences
Vercel Changelog724d agoOpinion本文探討影片協作平台 Frame.io 的前端設計哲學「永不破壞幻覺」（Never drop the illusion）。Frame.io 致力於在網頁端提供媲美原生桌面應用的流暢體驗，透過即時狀態同步、樂觀更新（Optimistic Updates）以及極致的效能優化，讓用戶在操作複雜的影片時間軸與協作功能時，感受不到任何延遲。這是一篇結合設計與前端工程的深度案例分享。
Introducing the Hugging Face Embedding Container for Amazon SageMaker★ 75
Hugging Face Blog728d agoReleaseHugging Face 與 AWS 合作推出全新 Deep Learning Container (DLC)，專為 Amazon SageMaker 上的文字嵌入（Embedding）與序列分類模型進行優化。此容器基於 Hugging Face 的 Text Embeddings Inference (TEI) 技術，支援動態批處理與 Flash Attention，能顯著降低延遲並提高吞吐量，簡化了在 AWS 上部署 RAG 應用的流程。
Making sense of this mess
Hugging Face Blog728d agoReleaseHugging Face 針對其最受歡迎的開源庫 Transformers 進行了官方文件的全面重新設計。為了解決因支援數千個模型、多種框架（PyTorch/TF/JAX）及多模態任務而日益混亂的結構，新版文件採用了更清晰的分類法。這項更新大幅提升了開發者查找 API、教學與概念指南的效率。
Replicate Intelligence #3
Replicate Blog728d agoCommentary本期 Replicate Intelligence 彙整了三大看點：首先是結合地方特色的微調模型「Garden State Llama」；其次是社群大推、由多位專家撰寫的「實用 LLM 應用指南（Applied LLMs Guide）」，系統化整理了落地心法；最後探討了如何利用 Replicate 實現極速的即時影像生成。
Launching the Artificial Analysis Text to Image Leaderboard & Arena★ 75
Hugging Face Blog729d agoNew ToolHugging Face 宣布與 Artificial Analysis 合作推出「文字生成圖片排行榜與競技場」（Text to Image Leaderboard & Arena）。該平台結合了類似 LMSYS 的人類盲測對決（Arena Elo 評分）以及客觀的效能指標（如生成速度與成本）。這為開發者與創作者提供了一個透明、標準化的基準，用以評估與比較市面上主流的開源與閉源圖像生成模型。
Introducing NPC-Playground, a 3D playground to interact with LLM-powered NPCs★ 75
Hugging Face Blog730d agoReleaseHugging Face 聯合 Cubzh 與 Gigax 推出「NPC-Playground」3D 互動沙盒。該平台利用開源的大型語言模型（LLM）賦予 NPC 記憶、感知與決策能力，使其不僅能與玩家對話，還能在 3D 空間中執行撿拾、移動等實體動作。這項開源合作展示了 AI Agent 在遊戲領域的全新應用可能。
Faster assisted generation support for Intel Gaudi
Hugging Face Blog731d agoReleaseHugging Face 宣布在 Intel Gaudi 晶片上支援「輔助生成」（Assisted Generation，即投機解碼）。此技術透過小型草稿模型預測 Token，再由大型目標模型進行並行驗證，能顯著降低延遲並提高吞吐量。這項更新整合至 Optimum Habana 庫中，讓開發者能在 Gaudi 硬體上更高效地部署 LLM。
Mintlify: Scaling a powerful documentation platform with Vercel
Vercel Changelog732d agoBusinessMintlify 作為領先的 docs-as-code 平台，需要為數千家客戶託管高流量且具備自訂網域的技術文件。 透過 Vercel 的 Edge 網路、增量靜態生成（ISR）以及強大的自訂網域 API，Mintlify 實現了極致的載入速度與無縫的部署體驗。 本案例研究展示了 Vercel 如何協助新創團隊專注於產品核心功能，同時輕鬆應對大規模擴展與全球分發的基礎設施挑戰。
Introducing bytecode caching for Vercel Functions★ 75
Vercel Changelog732d agoReleaseVercel 宣布為 Vercel Functions 導入「位元組碼快取（Bytecode Caching）」技術。此技術透過預先編譯 JavaScript 並快取 V8 位元組碼，讓 Node.js 執行環境在冷啟動時跳過解析與編譯階段。這項升級完全自動啟用，無須修改程式碼，能顯著減少冷啟動延遲，對依賴大型依賴庫的專案尤為有感。
Space secrets security update★ 85
Hugging Face Blog735d agoIncidentHugging Face 發布安全公告，指出其 Spaces 平台疑似遭受未授權存取，可能導致用戶儲存的 Secrets（如 API 金鑰）外洩。官方已主動撤銷受影響的用戶 Access Token，並透過郵件通知相關用戶。強烈建議所有在 Spaces 中使用敏感憑證的開發者，立即更換並重新生成其金鑰以確保安全。
Replicate Intelligence #2★ 75
Replicate Blog735d agoCommentary本期 Replicate Intelligence 彙整了三大 AI 前沿進展：首先是 ByteDance 開源的 Hyper-SD 技術，實現了毫秒級的超快速圖像生成；其次是探討如 DIAMOND 等利用擴散模型構建的「世界模擬器」，展示了 AI 在虛擬環境模擬與強化學習中的潛力；最後深入分析了 AI 資料集複雜度，探討在數據漸趨飽和的當下，如何透過優化數據質量與結構來提升模型訓練效率。
Benchmarking Text Generation Inference★ 75
Hugging Face Blog737d agoTutorialHugging Face 詳細介紹了其開源 LLM 推理框架 Text Generation Inference (TGI) 的基準測試方法。文章深入解析了首字延遲 (TTFT)、每 token 延遲 (TPOT) 與吞吐量等關鍵指標，並指導開發者如何使用 TGI 內建工具進行壓力測試。這對於需要在生產環境中部署與優化大模型、權衡成本與性能的工程師來說是必讀指南。
Training and Finetuning Embedding Models with Sentence Transformers★ 80
Hugging Face Blog738d agoReleaseHugging Face 發布 Sentence Transformers v3.0，引入全新的 SentenceTransformerTrainer。此更新解決了以往微調嵌入模型時繁瑣的訓練流程，全面支援多 GPU 訓練、混合精度、損失函數整合以及與 Hugging Face Hub 的無縫對接。這對於需要為 RAG 或語意搜尋微調專屬 Embedding 模型的開發者與研究人員來說是一大突破。
Vercel Ship 2024 recap★ 85
Vercel Changelog742d agoReleaseVercel 舉辦年度 Ship 2024 大會，釋出多項重量級更新。其中 Next.js 15 RC 率先支援 React 19 與全新快取機制；Vercel AI SDK 3.1 大幅簡化了 AI 應用的開發流程，支援強大的 Tool Calling 與 Agents 架構；此外，全新升級的 Vercel Toolbar 與 Web 應用程式防火牆（WAF）也同步亮相，旨在為開發者提供更高效、安全且具備 AI 能力的現代 Web 開發平台。
Replicate Intelligence #1★ 75
Replicate Blog742d agoCommentaryReplicate 發布首期技術精選，聚焦三大 AI 前沿進展：首先是引導開發者從零開始用 PyTorch 實作 Llama 3 架構；其次介紹了結合錄影與 AI 檢索的開源智慧眼鏡專案；最後深入探討了 Anthropic 利用「字典學習」（SAE）成功提取並控制 Claude 3 內部概念特徵的里程碑研究。
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages★ 75
Hugging Face Blog742d agoRelease阿布達比技術創新研究所（TII）推出全新開源模型 Falcon 2 11B，包含預訓練語言模型與視覺語言模型（VLM）。該模型在超過 5 兆（5000B）Token 的高質量數據上進行訓練，支援 11 種語言。其性能在同量級模型中表現亮眼，並採用 Apache 2.0 授權，對開源社群與開發者極具吸引力。
CyberSecEval 2 - A Comprehensive Evaluation Framework for Cybersecurity Risks and Capabilities of Large Language Models★ 75
Hugging Face Blog742d agoReleaseMeta 推出開源安全評估框架 CyberSecEval 2，並與 Hugging Face 合作推廣。該框架旨在量化大語言模型（LLM）在網路安全領域的雙重用途風險，新增了自動化漏洞利用、惡意軟體分析及提示詞注入（Prompt Injection）等測試維度。這項工具能幫助開發者與安全研究人員，客觀評估如 Llama Guard 等安全防護模型在實際對抗中的防禦表現。
Shipping safer and smarter: Integrating feature flags deeper in the Vercel workflow★ 70
Vercel Changelog743d agoReleaseVercel 宣布將 Feature Flags（功能旗標）深度整合至其工作流中。透過全新的 @vercel/flags SDK 與 Vercel Toolbar 升級，開發者可以直接在預覽環境中檢視與切換不同的功能狀態。此更新與 LaunchDarkly、Statsig 等主流旗標服務商無縫串接，大幅提升了動態功能控制、A/B 測試的安全性與開發效率。
Introducing the Vercel Web Application Firewall★ 70
Vercel Changelog743d agoReleaseVercel 宣布推出原生的 Web Application Firewall (WAF)，直接整合於其 Edge 網路中，無須額外配置第三方服務。該 WAF 提供針對 OWASP Top 10 漏洞（如 SQL 注入、XSS）的防護、自訂安全規則、速率限制以及 IP/地理位置阻擋。此功能旨在協助開發者與企業輕鬆提升應用程式安全性，降低惡意流量與 Bot 攻擊帶來的風險與成本。
Introducing new developer tools in the Vercel Toolbar★ 75
Vercel Changelog743d agoReleaseVercel 宣布在其網頁工具列（Vercel Toolbar）中推出一系列全新開發者工具。本次更新重點在於提升開發與除錯效率，新增了即時無障礙（a11y）審查、Interaction to Next Paint (INP) 效能指標監控，並強化了與 Headless CMS 的雙向聯動（Content Source Maps），讓前端開發者與內容團隊能在預覽環境中一鍵直達內容編輯後台。