Latest in AI
Synthetic data: save money, time and carbon with open source★ 75
Hugging Face Blog841d agoOpinionHugging Face 指出，利用開源模型與工具（如 distilabel）生成合成數據（Synthetic Data），已成為現代 AI 開發的重要趨勢。這種方法不僅能將數據準備成本降低數倍，還能大幅縮短開發週期。更重要的是，透過蒸餾技術訓練小型專屬模型，能顯著減少推論與訓練過程中的碳排放，實現更永續的 AI 生態。
Vercel + WPP: World-class creativity enabled by technology
Vercel Changelog842d agoBusinessVercel 宣布與全球最大的行銷與傳播服務集團 WPP 建立策略合作夥伴關係。WPP 將採用 Vercel 的前端雲端平台（Frontend Cloud）作為其開發標準，為全球客戶構建更快、更安全且更具擴展性的數位體驗。此合作旨在將 WPP 的頂尖創意與 Vercel 的現代網頁技術（如 Next.js）相結合，加速行銷內容的交付與創新。
Evolving Vercel Functions★ 75
Vercel Changelog842d agoReleaseVercel 宣布 Vercel Functions 的全新演進，大幅優化 Serverless 效能並放寬限制。本次更新將冷啟動時間縮短達 40%，並將 Pro 方案的預設執行超時時間從 15 秒大幅延長至 5 分鐘（300 秒）。此外，Serverless 函數現在預設支援回應串流（Streaming），讓開發者在構建 AI 聊天等需要即時輸出的應用時更加便利，進一步模糊了 Serverless 與 Edge Functions 的效能界線。
AMD Pervasive AI Developer Contest!
Hugging Face Blog843d agoBusinessAMD 與 Hugging Face 合作舉辦「Pervasive AI 開發者大賽」，旨在推廣 AMD 的 AI 硬體生態系。競賽分為生成式 AI、機器人 AI 與 PC AI 三大賽道，參賽者需利用 AMD Radeon GPU、Ryzen AI 或 Kria 開發套件，並結合 Hugging Face 的模型進行開發。本活動提供豐富的硬體支援與高達 15 萬美元的總獎金，吸引全球開發者共襄盛舉。
Finishing Turborepo's migration from Go to Rust
Vercel Changelog844d agoReleaseVercel 發表技術部落格，宣布旗下熱門 Monorepo 工具 Turborepo 已正式完成從 Go 到 Rust 的全面遷移。此舉徹底移除了過去混合架構中的 Go 程式碼與 CGO 效能開銷，實現了純 Rust 的 codebase。這不僅大幅提升了建置速度與記憶體效率，也讓 Turborepo 能與 Next.js 編譯器（SWC）等 Vercel 生態系中的 Rust 工具鏈進行更深度的整合。
Introducing AI Integrations on Vercel★ 75
Vercel Changelog848d agoReleaseVercel 宣布在整合市場中推出全新的「AI Integrations」，旨在簡化開發者將 AI 模型與服務導入 Web 應用的流程。開發者現在可以一鍵將 OpenAI、Replicate、Cohere 和 Pinecone 等熱門服務連接至 Vercel 專案，系統會自動配置環境變數。搭配 Vercel AI SDK，開發者能以極快的速度構建、部署並擴展 AI 驅動的應用程式。
From OpenAI to Open LLMs with Messages API on Hugging Face★ 80
Hugging Face Blog849d agoReleaseHugging Face 宣布其文字生成推論工具（TGI）正式支援與 OpenAI 相容的 Messages API。這意味著開發者可以使用現有的 OpenAI SDK，僅需更改 Base URL 和 API 金鑰，就能直接調用託管在 Hugging Face 上的開源大語言模型（如 Llama、Mistral 等）。TGI 會在後台自動處理繁瑣的聊天模板（Chat Templates）轉換，大幅降低了從閉源轉向開源模型的門檻。
PCI compliance for ecommerce
Vercel Changelog849d agoReleaseVercel 宣布針對電子商務團隊提供 PCI DSS（支付卡產業資料安全標準）合規性支援。這項重要更新使開發團隊能夠在 Vercel 平台上安全地部署前端應用與無伺服器（Serverless）架構，大幅簡化了電商網站的合規審查與安全審計流程。透過與 Stripe 等主流支付服務無縫整合，商家與開發者能更專注於優化購物體驗，同時確保線上交易資料的最高安全性。
SegMoE: Segmind Mixture of Diffusion Experts★ 75
Hugging Face Blog854d agoReleaseSegmind 發表 SegMoE 框架，借鑑 LLM 的混合專家（MoE）架構並將其應用於 Stable Diffusion 等擴散模型。該技術允許開發者將多個專門的 SDXL 專家模型合併為一個，並透過路由機制動態分配生成任務。此方法無需從頭訓練，即可結合不同風格模型的優勢，為影像生成帶來更高的靈活性與效率。
NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates★ 75
Hugging Face Blog855d agoReleaseHugging Face 推出全新的 NPHardEval 排行榜，旨在透過計算複雜度理論（如 P、NP-Complete、NP-Hard 問題）來嚴格評估大型語言模型（LLM）的邏輯推理與規劃能力。為了解決傳統基準測試容易因訓練數據污染而失效的問題，NPHardEval 採用動態更新機制，定期生成全新測驗。這項工具能幫助研究人員更準確地衡量模型在面對複雜優化問題時的真實推理極限。
Hugging Face Text Generation Inference available for AWS Inferentia2★ 75
Hugging Face Blog856d agoReleaseHugging Face 宣佈旗下高效能大語言模型推理框架 Text Generation Inference (TGI) 正式支援 AWS Inferentia2 (Inf2) 執行個體。透過與 AWS Neuron SDK 的整合，開發者現在能以極具性價比的方式在 AWS 上部署 Llama 2、Mistral 等主流開源模型。此舉不僅簡化了專用硬體上的部署流程，更可望降低高達 50% 的推理成本。
Patch Time Series Transformer in Hugging Face★ 75
Hugging Face Blog856d agoReleaseHugging Face 宣布在其 transformers 函式庫中整合 PatchTST 模型。該模型採用「補丁（Patching）」技術保留局部語義並降低計算複雜度，並結合「通道獨立」處理多變量數據。開發者現在可以透過熟悉的 Hugging Face API 輕鬆進行高效的時間序列預測與微調。
Constitutional AI with Open LLMs★ 78
Hugging Face Blog856d agoTutorial本文探討如何使用開源大型語言模型實作「憲政 AI（Constitutional AI）」。這項技術由 Anthropic 提出，透過一組「憲法」原則讓 AI 自我監督與修正輸出（RLAIF）。Hugging Face 展示了利用 TRL 函式庫與 DPO 等開源工具，如何不需大量人類標註，也能訓練出既安全又實用的開源模型。
How streaming helps build faster web applications★ 75
Vercel Changelog856d agoTutorial傳統伺服器端渲染（SSR）需等待所有數據加載完畢才能傳送頁面，造成明顯延遲。Vercel 介紹了「串流（Streaming）」技術，允許伺服器將網頁拆分為多個區塊並在準備好時立即傳送。這不僅縮短了 TTFB，還能讓使用者更快看到核心內容，特別適合 AI 文本生成與高動態數據的 Web 應用。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog857d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
Run Code Llama 70B with an API
Replicate Blog858d agoTutorialMeta 推出的 Code Llama 70B 是目前最強大的開源程式碼生成模型之一。Replicate 現在支援透過 API 託管該模型，讓開發者無需自行管理 GPU 基礎設施。只需一行程式碼，即可在雲端快速呼叫並整合至現有的開發工作流中。
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face Blog858d agoTutorial本文介紹如何使用 Hugging Face 的 Optimum Intel 工具套件，在 Intel Xeon 伺服器處理器上優化 StarCoder 模型。透過引進 INT8 (Q8) 與 INT4 (Q4) 的權重優化量化技術，能有效降低記憶體頻寬瓶頸。此外，結合投機解碼（Speculative Decoding）技術，利用小型草稿模型預測 Token 並由主模型驗證，在 CPU 上實現了顯著的推理加速，為企業在非 GPU 環境部署程式碼助理提供高效方案。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog859d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
An Introduction to AI Secure LLM Safety Leaderboard★ 75
Hugging Face Blog862d agoReleaseHugging Face 與學術團隊合作推出了全新的「AI Secure LLM 安全排行榜」（基於 DecodingTrust 評估框架）。該排行榜旨在填補現有 LLM 評測偏重「能力」而忽略「安全」的空白，從毒性、刻板印象偏見、對抗強健性、隱私保護及機器倫理等 8 大安全維度，對主流開源與閉源模型進行系統性評測，為開發者提供更全面的模型安全選擇依據。
Hugging Face and Google partner for open AI collaboration★ 80
Hugging Face Blog863d agoBusinessHugging Face 與 Google 宣布建立戰略合作夥伴關係，旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施（如 Vertex AI、GKE 和 TPU）深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型，大幅降低 AI 開發與運算門檻。
Open-source LLMs as LangChain Agents★ 80
Hugging Face Blog864d agoTutorial本文介紹如何使用開源 LLM（如 Mixtral-8x7B）作為 LangChain Agent。過去 Agent 多依賴 GPT-4，但隨著開源模型推理能力提升，透過正確的 Prompt 格式（如 ReAct 框架）與 Hugging Face TGI 整合，開源模型也能穩定執行工具調用與多步驟推理，提供高隱私且低成本的替代方案。
How Core Web Vitals affect SEO
Vercel Changelog868d agoOpinionVercel 探討 Core Web Vitals (CWV) 對 SEO 的關鍵影響。CWV 包含 LCP、INP 與 CLS 三大指標，直接關係到網頁載入速度、互動性與視覺穩定性。優化這些指標不僅能提升 Google 搜尋排名，還能顯著降低跳出率並提高轉換率，是現代網頁開發與行銷不可忽視的環節。
PatchTSMixer in HuggingFace★ 75
Hugging Face Blog869d agoReleaseIBM Research 開發的 PatchTSMixer 正式登陸 Hugging Face transformers 庫。該模型採用 Patching 技術與輕量級的 MLP-Mixer 架構，避開了傳統 Transformer 的高運算複雜度。它不僅支援多元時間序列的預測、分類與異常檢測，還具備強大的自監督預訓練與微調能力，為時間序列任務提供極佳的效能與速度平衡。
Fine-Tune W2V2-Bert for low-resource ASR with 🤗 Transformers★ 75
Hugging Face Blog869d agoTutorialHugging Face 發布技術指南，詳細說明如何利用 W2V2-BERT 進行低資源語言的自動語音辨識（ASR）微調。W2V2-BERT 結合了 Wav2Vec 2.0 與 BERT 的優勢，特別適合訓練樣本稀缺的語言。本教學涵蓋了從數據準備、特徵提取、CTC 模型配置到使用 Trainer API 進行訓練與評估的完整實作流程。
Preference Tuning LLMs with Direct Preference Optimization Methods★ 80
Hugging Face Blog870d agoTutorial本指南介紹了如何利用 Hugging Face 的 TRL 函式庫進行 LLM 的偏好微調。傳統的 RLHF 需要訓練獎勵模型並使用複雜的 PPO 演算法，而 DPO（直接偏好最佳化）及其變體（IPO、KTO）能直接在偏好數據上進行訓練，大幅簡化了對齊流程。文章詳細說明了這些方法的原理、數據格式要求以及實際程式碼實作。
Architecting a live look at reliability: Stripe's viral Black Friday site★ 72
Vercel Changelog871d agoCommentaryStripe 在黑色星期五期間推出的實時交易數據看板，因其精美的 3D 視覺與流暢的實時數據更新在社群爆紅。本文深入解析該網站如何利用 Vercel 的邊緣網路（Edge Network）與 Next.js 架構，在面對全球數百萬次即時請求時，依然保持 100% 的可用性與毫秒級的數據同步，為現代高流量 Web 應用提供了極佳的架構範本。
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive★ 75
Hugging Face Blog873d agoTutorialHugging Face 介紹了如何結合微軟的 ONNX Runtime (ORT) 與 Olive 優化工具，來加速 SD Turbo 和 SDXL Turbo 模型。透過 Olive 的硬體感知優化流程，開發者可以輕鬆將 PyTorch 模型轉換為 ONNX 格式，並進行 FP16 量化與算子融合。這套方案特別適合在 Windows (透過 DirectML) 或 NVIDIA GPU (透過 CUDA) 上部署，能顯著降低單步圖像生成的延遲，非常適合需要即時互動的應用場景。
Run ComfyUI workflows for free with Gradio on Hugging Face Spaces★ 75
Hugging Face Blog874d agoTutorialHugging Face 介紹了如何結合 ComfyUI 與 Gradio，並在 Spaces 上免費運行。使用者只需將 ComfyUI 工作流導出為 API JSON 格式，即可透過 Gradio 建立簡潔的前端介面。這項技術讓創作者能輕鬆分享複雜的 AI 圖像生成工作流，無需讓終端用戶面對複雜的節點圖。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog876d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。
Make LLM Fine-tuning 2x faster with Unsloth and 🤗 TRL★ 80
Hugging Face Blog878d agoReleaseHugging Face 宣布旗下 TRL（Transformer Reinforcement Learning）微調工具包正式整合 Unsloth。開發者現在只需修改幾行程式碼，即可在進行監督式微調（SFT）時獲得 2 倍以上的訓練速度提升，並減少高達 60% 的 VRAM 記憶體消耗。此整合支援 Llama-2、Mistral 等主流開源模型，且完全不損害模型精度。