Latest in AI
Edge Config: Ultra-low latency data at the edge
Vercel Changelog1291d agoReleaseVercel 發表全新的「Edge Config」服務，旨在為邊緣節點提供超低延遲的數據讀取。此服務允許開發者將配置數據（如功能開關、重定向規則等）儲存在邊緣，讀取時間通常僅需數毫秒。透過 Edge Config，開發者無需在每次請求時查詢傳統資料庫，大幅提升了邊緣函數的執行效能。
Director of Machine Learning Insights [Part 4]
Hugging Face Blog1291d agoOpinion本篇為 Hugging Face 探討機器學習團隊管理的系列文章第四部分。內容聚焦於 ML 總監在實際營運中面臨的三大核心挑戰：如何將技術指標轉化為業務 ROI、如何在高昂的 GPU 成本下進行預算與推論優化，以及在建構 MLOps 工具鏈時，如何權衡「自主研發（Build）」與「採購現成服務（Buy）」。這為正在規模化 ML 團隊的管理者提供了極具價值的實務指南。
Train and deploy a DreamBooth model on Replicate
Replicate Blog1293d agoNew ToolReplicate 宣布推出 DreamBooth API，大幅簡化了個人化圖像生成模型的訓練流程。開發者只需提供少數幾張特定主體的照片，並透過單次 API 呼叫，就能在雲端自動完成微調。訓練完成的模型會直接託管於 Replicate，並立即提供 API 端點供後續的圖像生成預測使用。
Accelerating Document AI★ 70
Hugging Face Blog1293d agoTutorial本文探討 Hugging Face 在文件 AI（Document AI）領域的加速方案。針對 LayoutLMv3 與免 OCR 的 Donut 等多模態模型，Hugging Face 介紹了如何利用 Optimum 庫、ONNX Runtime 及量化技術，克服多模態模型在生產環境中的高延遲與高成本挑戰，實現高效能的文件自動化處理。
An overview of inference solutions on Hugging Face★ 75
Hugging Face Blog1293d agoTutorial本文為 Hugging Face 官方發布的推理（Inference）解決方案指南，系統性介紹了四大核心方案：免費且即開即用的 Serverless Inference API、適合生產環境且安全可控的 Inference Endpoints、用於展示與應用的 Spaces，以及與 AWS/Azure 合作的雲端整合方案。旨在幫助開發者根據預算、延遲與隱私需求，選擇最適合的開源模型部署路徑。
Hugging Face Machine Learning Demos on arXiv★ 75
Hugging Face Blog1297d agoNew ToolHugging Face 宣布與學術論文平台 arXiv 展開合作，將 Hugging Face Spaces 的互動式機器學習 Demo 直接整合至 arXiv 論文頁面。讀者在閱讀論文時，可以直接點擊連結體驗模型效果，無需自行下載程式碼或配置環境。這項合作極大地提升了學術成果的可驗證性與傳播效率。
Sentiment Analysis on Encrypted Data with Homomorphic Encryption
Hugging Face Blog1297d agoTutorial本文介紹了如何使用全同態加密（FHE）技術對加密數據進行情緒分析。透過 Zama 開源的 Concrete ML 工具包，開發者可以將 Hugging Face 的機器學習模型轉化為 FHE 版本。這使得用戶可以將加密後的文本傳送到雲端進行推理，雲端伺服器在完全無法得知原文內容的情況下完成情緒分析，並回傳加密的預測結果，完美兼顧雲端運算便利性與用戶隱私。
Introducing our new pricing
Hugging Face Blog1306d agoReleaseHugging Face 宣布調整其平台定價機制。本次更新推出了每月 9 美元的 PRO 方案，為個人創作者與研究人員提供 GPU 額度與進階功能。同時，針對 Spaces 硬體升級、Inference Endpoints 與 AutoTrain 等付費服務，全面改為更靈活的按需計費（Pay-as-you-go）模式，而免費社群版功能則維持不變。
Generating Human-level Text with Contrastive Search in Transformers 🤗★ 70
Hugging Face Blog1306d agoReleaseHugging Face 介紹了全新解碼方法「對比搜索（Contrastive Search）」，現已整合至 Transformers 庫中。該方法透過引入「退化懲罰」機制，在保持模型預測概率的同時，避免生成與前文語意重複的詞彙。相比傳統的束搜索（Beam Search）或隨機採樣（Sampling），對比搜索能生成更具連貫性、多樣性且無重複的長文本，達到接近人類寫作的水準。
Training Stable Diffusion with Dreambooth using Diffusers★ 75
Hugging Face Blog1307d agoTutorial本指南為 Hugging Face 官方發布的 DreamBooth 訓練教學。透過 diffusers 函式庫，開發者與創作者只需提供 3 到 5 張特定主體的照片，即可微調 Stable Diffusion 模型。文中詳細介紹了訓練原理、先驗保持損失（Prior Preservation Loss）的重要性，以及如何利用 8-bit Adam 和 xFormers 等技術在消費級 GPU 上完成訓練。
Using Vercel comments to improve the Next.js 13 documentation
Vercel Changelog1311d agoOpinion在 Next.js 13 推出並帶來 App Router 等重大變革之際，官方文件的準確性至關重要。Vercel 分享了他們如何「吃自家狗糧」，利用 Vercel Comments 功能讓團隊與測試者直接在預覽版文件網頁上標註與討論。這不僅省去了去 GitHub 開 Issue 的繁瑣步驟，還透過與 Slack、Linear 等工具整合，大幅提升了文件迭代與除錯的效率。
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers★ 80
Hugging Face Blog1311d agoTutorial本教學詳細介紹如何使用 Hugging Face 的 `transformers` 庫微調 OpenAI 的 Whisper 語音辨識模型。內容涵蓋從載入 Common Voice 資料集、音訊預處理（重採樣至 16kHz 並轉換為 Log-Mel 聲譜圖）、設定 Tokenizer，到使用 `Seq2SeqTrainer` 進行訓練與評估（以 WER 為指標）的完整流程。這對於想在特定低資源語言或專業領域提升語音轉文字精準度的開發者與研究人員來說，是極具價值的實戰指南。
Accelerate your models with 🤗 Optimum Intel and OpenVINO
Hugging Face Blog1312d agoNew ToolHugging Face 介紹了 `optimum-intel` 與 Intel OpenVINO 的整合。開發者可使用簡單的 `OVModel` API 直接在 Intel CPU 和 GPU 上載入、優化並運行 Hugging Face 模型。此工具還整合了 NNCF 框架，支援將模型量化至 INT8，在極低精度損失下顯著提升推理效率並降低延遲，非常適合邊緣運算與伺服器部署。
Vercel acquires Splitbee to expand first-party analytics
Vercel Changelog1320d agoBusiness前端託管平台 Vercel 宣布收購分析工具新創 Splitbee。Splitbee 以其輕量級、隱私友好的網站分析及 A/B 測試功能聞名。此次收購旨在將 Splitbee 的技術整合至 Vercel 生態系中，為開發者提供更強大的第一方分析（First-party Analytics）與使用者行為追蹤服務，幫助開發者無需配置複雜的第三方工具即可優化網站效能與轉換率。
Introducing Turbopack★ 70
Vercel Changelog1320d agoNew ToolVercel 正式發表由 Webpack 創始人 Tobias Koppers 領軍開發的全新 Rust 增量打包工具 Turbopack。作為 Webpack 的繼任者，它專為 JS/TS 優化，並首發內建於 Next.js 13 中。官方數據指出其熱更新速度比 Webpack 快 700 倍、比 Vite 快 10 倍，大幅提升前端開發體驗。
Evaluating Language Model Bias with 🤗 Evaluate
Hugging Face Blog1321d agoTutorialHugging Face 推出 evaluate 函式庫，旨在簡化機器學習模型的評估流程。本文重點介紹如何利用該工具評估語言模型中的偏見與毒性，包含使用 regard、toxicity 等評估指標。透過標準化的評估流程，開發者能更輕易地量化模型在性別、種族等維度上的潛在社會偏見，從而打造更安全、公平的 AI 應用。
Building an interactive WebGL experience in Next.js
Vercel Changelog1324d agoTutorial本文探討如何在 Next.js 框架中整合 WebGL 技術。重點介紹如何利用 React Three Fiber (R3F) 建立 3D 場景，並透過 Next.js 的動態載入（Dynamic Imports）解決伺服器端渲染（SSR）的相容性問題。同時分享了優化 3D 資產載入與提升網頁互動效能的實務經驗。
From PyTorch DDP to Accelerate to Trainer, mastery of distributed training with ease★ 75
Hugging Face Blog1324d agoTutorial本指南深入探討了在 PyTorch 中進行分散式訓練的三種層次。首先介紹底層的 PyTorch DDP（Distributed Data Parallel），展示其強大但繁瑣的設定；接著引入 Hugging Face Accelerate，它保留了 PyTorch 的靈活性，同時簡化了多 GPU、TPU 與混合精度的設定；最後介紹高階的 Trainer API，讓開發者只需幾行程式碼就能自動處理完整的分散式訓練流程。這篇文章非常適合想優化模型訓練效率的機器學習工程師。
Regional execution for ultra-low latency rendering at the edge
Vercel Changelog1325d agoReleaseVercel 宣布推出「區域執行（Regional Execution）」功能，解決了邊緣運算中因資料庫距離過遠導致的延遲問題。以往邊緣函數在離使用者最近的節點執行，但若需頻繁存取遠端資料庫，反而會增加往返時間。現在開發者可以指定邊緣函數在靠近資料庫的特定區域執行，從而實現極低延遲的動態網頁渲染。
MTEB: Massive Text Embedding Benchmark★ 85
Hugging Face Blog1326d agoReleaseHugging Face 發表了「海量文字嵌入基準（MTEB）」，這是目前最全面的文字嵌入模型評估工具。MTEB 涵蓋了 8 種不同的任務類型（如語義相似度、資訊檢索、分類等），共包含 58 個數據集，支援多達 112 種語言。此基準旨在解決過去評估嵌入模型時任務單一、缺乏多語言支持的問題，為開發者提供統一的評估標準。
Next.js Conf 2022: Iterate, scale, and deliver a great UX★ 70
Vercel Changelog1327d agoReleaseVercel 於 Next.js Conf 2022 發表重大更新，核心為 Next.js 13 的推出。本次更新引入了基於 Rust 的全新打包工具 Turbopack，旨在取代 Webpack 並大幅提升開發速度。此外，全新的 app 目錄（Beta）正式亮相，全面支援 React Server Components，並帶來更直覺的路由與版面配置（Layouts）系統，同時優化了圖片、字型和連結組件，全面提升開發者體驗與終端用戶的 UX。
Getting Started with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1331d agoTutorialHugging Face Inference Endpoints 是一項完全託管的服務，旨在簡化機器學習模型的部署流程。用戶只需點擊幾下，即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線（VPC），大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。
🧨 Stable Diffusion in JAX / Flax !
Hugging Face Blog1332d agoReleaseHugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速，開發者可以在 TPU 和 GPU 上實現極致的推理速度，並輕鬆透過並行運算（pmap）在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
Optimization story: Bloom inference
Hugging Face Blog1333d agoTutorial本文探討 Hugging Face 優化 1760 億參數大模型 BLOOM 推理的技術細節。面對 FP16 下高達 352GB 的顯示記憶體需求，團隊結合了 8-bit 量化（LLM.int8()）、Tensor Parallelism（張量並行）以及 Hugging Face Accelerate 的 CPU/NVMe 卸載技術。這些優化成功將記憶體需求減半，並顯著提升吞吐量，降低了開源社群部署超大型語言模型的門檻。
Introducing OG Image Generation: Fast, dynamic social card images at the Edge
Vercel Changelog1335d agoReleaseVercel 發表全新的 OG Image Generation 功能，解決傳統使用 Puppeteer 截圖導致速度慢、成本高的痛點。該技術基於 Edge Functions 與 Satori 引擎，允許開發者直接使用 React、HTML 和 CSS 來設計動態 Open Graph 圖片。這使得社交分享卡片的生成速度提升至毫秒級，且能完美與 Next.js 等框架整合。
Introducing DOI: the Digital Object Identifier to Datasets and Models
Hugging Face Blog1338d agoReleaseHugging Face 宣布支援 DOI（數位物件識別碼），允許用戶為其託管的模型和資料集生成永久且可信賴的引用連結。此舉旨在解決機器學習領域中學術引用不規範與版本混亂的問題。研究人員現在可以一鍵生成 BibTeX 引用格式，大幅提升開源研究的可重複性與學術影響力追蹤。
Japanese Stable Diffusion
Hugging Face Blog1340d agoReleaseStability AI 於 2022 年 10 月推出了「Japanese Stable Diffusion」模型。該模型專為日語語境進行優化，解決了先前英文版 Stable Diffusion 難以精確理解日語輸入與日本文化細節的問題。用戶可以直接使用日語進行 Prompt 創作，生成更符合日本審美與文化背景的圖像，並已開源託管於 Hugging Face。
Very Large Language Models and How to Evaluate Them★ 75
Hugging Face Blog1342d agoNew Tool隨著大型語言模型（LLM）體積急劇膨脹，如何公平且標準化地評估其性能成為一大挑戰。Hugging Face 宣布與 EleutherAI 合作，將其著名的 lm-evaluation-harness 整合至 Hugging Face Hub。用戶現在可以直接在 Hub 上對託管的模型進行零樣本（Zero-shot）與少樣本（Few-shot）評估，這不僅簡化了評估流程，更促進了開源 AI 社群的基準測試透明度與可重複性。
Improving the accessibility of our Next.js site
Vercel Changelog1345d agoTutorial本文介紹 Vercel 團隊優化其 Next.js 官方網站無障礙性（a11y）的實踐過程。內容涵蓋如何利用 Axe 和 Lighthouse 進行自動化檢測、改善鍵盤導覽與焦點管理、優化螢幕閱讀器體驗，以及調整色彩對比度以符合 WCAG 標準，是前端開發者提升網站包容性的實用指南。
How the world’s biggest YouTuber served millions of users on Vercel
Vercel Changelog1346d agoBusiness知名網紅 MrBeast 的全新官方商城透過 Vercel 與 Next.js 進行架構重構。面對新影片發布時瞬間湧入的數百萬極端流量，該團隊採用 Headless Shopify 搭配 Vercel Edge 網路與增量靜態生成（ISR）技術，不僅實現了極致的網頁載入速度，更確保系統在超高併發下依然穩健運行，避免了傳統電商常見的伺服器崩潰問題。