Protecting AI apps from bots and bad actors with Vercel and Kasada★ 75
Vercel Changelog805d agoNew ToolVercel 與防 Bot 專家 Kasada 展開合作，旨在保護 AI 應用免受自動化機器人、API 濫用與資料爬取的威脅。由於 AI 應用的 API 呼叫成本高昂，極易成為惡意攻擊者的目標。透過此整合，開發者可在 Vercel Edge 部署隱形防禦，無需使用惱人的 CAPTCHA 驗證碼，即可有效攔截惡意流量，保護 LLM 預算並維護良好的使用者體驗。
Total noob’s intro to Hugging Face Transformers★ 75
Hugging Face Blog805d agoTutorial本指南是 Hugging Face 專為零基礎新手撰寫的 Transformers 入門教學。文章深入淺出地介紹了 Hugging Face Hub 的生態系，並透過最簡單的 pipeline API 示範如何進行情感分析、文本生成等任務。讀者無需深厚的機器學習背景，即可快速學會如何載入並運行開源 AI 模型。
Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval★ 85
Hugging Face Blog805d agoTutorialHugging Face 詳細解析了「二進位（Binary）」與「純量（Scalar）」嵌入向量量化技術，能將向量大小分別壓縮 32 倍與 4 倍。 透過將 float32 轉換為 int8 或 1-bit，不僅能顯著減少向量資料庫的記憶體（RAM）開銷，還能利用硬體加速大幅提升檢索速度。 此技術已整合至 sentence-transformers 庫中，並支援「重排（Rescoring）」機制，在極低精度損失下實現高效能的 RAG 檢索。
Introducing the Chatbot Guardrails Arena★ 75
Hugging Face Blog806d agoReleaseHugging Face 與 Lighthouz AI 合作推出「Chatbot Guardrails Arena」，這是一個專為評估大語言模型（LLM）安全防護網（Guardrails）而設計的開源社群平台。該平台旨在測試各大模型與防護系統在面對惡意提示、越獄攻擊及敏感話題時的防禦能力。透過標準化的基準測試，開發者可以直觀地比較不同防護方案的優劣，構建更安全可靠的 AI 應用。
Revolutionizing video editing on the web with Next.js and Vercel
Vercel Changelog807d agoOpinionVercel 探討了網頁端影片編輯的技術變革。過去影片剪輯高度依賴桌面端軟體，如今藉由 Next.js、WebAssembly (Wasm) 和 WebGPU，開發者能在瀏覽器中打造流暢的編輯體驗。配合 Vercel 的 Serverless 基礎設施與邊緣網路，更解決了影片渲染與大檔案傳輸的效能瓶頸，開啟 Web 影片處理的新時代。
A Chatbot on your Laptop: Phi-2 on Intel Meteor Lake★ 70
Hugging Face Blog807d agoTutorialHugging Face 發布技術指南，展示如何在搭載 Intel Meteor Lake（Core Ultra）處理器的筆電上本機部署微軟 Phi-2（2.7B）模型。透過 Optimum Intel 與 OpenVINO 進行 INT4 量化，開發者能充分利用筆電的 CPU、GPU 或 NPU 進行低延遲、隱私安全的本機 AI 推理，為 AI PC 的個人助理應用提供實踐範例。
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models★ 85
Hugging Face Blog807d agoReleaseHugging Face 發布了當時最大的開源合成數據集 Cosmopedia，內含 250 億 Token。該項目利用 Mixtral-8x7B 模型，根據精心設計的提示詞與主題生成教科書、部落格和教學等多元內容。實驗證明，使用此合成數據預訓練的 1.8B 模型（Cosmo-1.8B）在多項基準測試中超越了同量級的知名模型，為 LLM 預訓練提供了全新的合成數據生成範式。
GaLore: Advancing Large Model Training on Consumer-grade Hardware★ 85
Hugging Face Blog807d agoReleaseHugging Face 介紹了 GaLore（梯度低秩投影）技術，這是一種新型的記憶體優化訓練方法。與 LoRA 不同，GaLore 透過將梯度投影到低秩空間，大幅減少了優化器狀態的記憶體佔用。這使得開發者可以直接在單張 24GB 記憶體的消費級顯卡（如 RTX 4090）上，進行 7B 模型的全參數微調甚至從頭預訓練。
WordPress monolith to Vercel: How Personio elevated site performance and efficiency
Vercel Changelog809d agoBusiness本文介紹歐洲 HR 科技公司 Personio 的網站現代化歷程。他們將原本臃腫的 WordPress 單體架構（Monolith）遷移至 Vercel 平台。透過 Headless（無頭）架構與現代前端技術，Personio 不僅顯著提升了網站的加載效能與 Core Web Vitals 指標，還優化了行銷與開發團隊的協作流程，實現更快的部署與內容更新。
Leonardo generates 4.5M images daily with Next.js and Vercel
Vercel Changelog809d agoBusiness知名 AI 繪圖平台 Leonardo.ai 分享其技術架構，透露如何透過 Next.js 與 Vercel 應對每日 450 萬張圖像生成的龐大流量。藉由 Vercel 的邊緣網路與 Serverless 部署，他們成功降低了全球使用者的載入延遲，並在極高流量下維持優異的網站效能與使用者體驗。
Easily Train Models with H100 GPUs on NVIDIA DGX Cloud★ 75
Hugging Face Blog809d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，將 DGX Cloud 的強大算力直接引入平台。開發者現在可以輕鬆調用 NVIDIA H100 GPU 來訓練與微調大型語言模型，無需自行管理複雜的底層基礎設施。這項合作大幅降低了獲取頂級 AI 算力的門檻，加速了企業與研究人員的模型開發流程。
Quanto: a PyTorch quantization backend for Optimum★ 75
Hugging Face Blog809d agoReleaseHugging Face 發表全新開源 PyTorch 量化工具庫 Quanto，現已整合至 Optimum 生態系。Quanto 支援權重與激活值的量化（包括 int4、int8 與 float8），且具備跨平台相容性，可在 CPU、GPU 及 Apple Silicon (MPS) 上運行。開發者只需幾行程式碼即可對 Transformers 和 Diffusers 模型進行訓練後量化（PTQ）或量化感知訓練（QAT）。
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG★ 70
Hugging Face Blog812d agoTutorialHugging Face 與 Intel 合作展示如何使用 Optimum Intel 和 fastRAG 框架優化 CPU 上的嵌入向量（Embeddings）計算。透過 OpenVINO 和 Intel Extension for PyTorch (IPEX) 等技術，開發者無需昂貴的 GPU，即可在標準 Intel CPU 上實現高效能、低延遲的 RAG 檢索系統，顯著降低企業部署成本。
Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset★ 75
Hugging Face Blog812d agoReleaseHugging Face 宣布推出 WebSight 數據集，專為訓練視覺語言模型（VLM）進行「截圖轉網頁程式碼（Screenshot-to-Code）」而設計。該數據集包含約 200 萬個由合成技術產生的網頁截圖及其對應的乾淨 HTML/CSS 程式碼。透過 WebSight，開發者與研究人員能更有效率地微調多模態模型，加速自動化前端開發與設計稿轉程式碼的技術落地。
8 advantages of composable commerce
Vercel Changelog820d agoOpinion組合式電商（Composable Commerce）正逐漸取代傳統的單體式電商平台。Vercel 指出，透過將前端與後端解耦，並自由組合最佳的 CMS、購物車和搜尋等 API 服務，企業能獲得極高的業務靈活性。這不僅能顯著提升網站加載速度與 SEO 表現，還能避免供應商鎖定，讓開發團隊能快速迭代，並在黑五等流量高峰期保持系統的高可用性。
Introducing feature flag management from the Vercel Toolbar
Vercel Changelog821d agoNew ToolVercel 宣布在其 Vercel Toolbar 中整合功能旗標（Feature Flags）管理功能。開發者現在可以直接在預覽或生產環境的網頁畫面上，透過工具列直觀地檢視、覆寫和切換不同的功能旗標。此功能支援 Vercel 自身的 Flags SDK，並可與 LaunchDarkly、Statsig 等主流第三方服務無縫整合，大幅提升前端開發與測試效率。
Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?★ 75
Hugging Face Blog822d agoReleaseHugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型（MLLM）在處理「富含文本的圖像」（如圖表、資訊圖表、街景招牌等）時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別，更考驗模型結合視覺上下文與文本進行深度推理的實力，為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。
Data is better together: Enabling communities to collectively build better datasets together using Argilla and Hugging Face Spaces★ 75
Hugging Face Blog823d agoNew ToolHugging Face 宣布與開源數據標註平台 Argilla 深度整合。使用者現在可以一鍵在 Hugging Face Spaces 上部署 Argilla，邀請社群成員共同進行數據標註、反饋與篩選（如 RLHF/DPO 數據）。這項合作降低了社群協作建構高品質數據集的門檻，有助於推動開源 AI 模型的對齊與優化。
Introducing AI SDK 3.0 with Generative UI support★ 85
Vercel Changelog826d agoReleaseVercel 推出 AI SDK 3.0，核心亮點為「Generative UI」支援。此版本突破了傳統 AI 僅能輸出文字或 JSON 的限制，開發者現在可以讓 LLM 根據上下文，直接動態決定並串流渲染 React 伺服器元件（RSC），如天氣圖表、機票卡片等，大幅提升 AI 應用的互動體驗與開發效率。
The Frontend Cloud: Powering resiliency for global web applications
Vercel Changelog827d agoOpinion本文探討 Vercel 的「前端雲端」如何確保全球 Web 應用的高韌性。透過 Anycast 路由與全球邊緣網路，前端雲端能在區域性故障時自動重導流量。結合漸進式靜態生成（ISR）技術，即使後端 API 或資料庫發生中斷，系統仍能提供快取的舊內容，避免呈現錯誤畫面。此外，無伺服器與邊緣運算的隔離機制，能有效應對流量暴增並防止單點故障。
Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator
Hugging Face Blog827d agoReleaseHugging Face 宣布在 optimum-habana 中支援文字生成 Pipeline，使開發者能輕鬆在 Intel Gaudi 2 AI 加速器上部署大語言模型。此更新簡化了程式碼，並針對 Gaudi 2 硬體進行優化，提供極佳的推理效能與性價比，是 NVIDIA GPU 之外的強大替代方案。
StarCoder2 and The Stack v2★ 80
Hugging Face Blog828d agoRelease由 Hugging Face 與 ServiceNow 主導的 BigCode 社群，聯合 NVIDIA 正式發布了新一代開源程式碼大語言模型 StarCoder2。該系列提供 3B、7B 和 15B 三種參數版本，並同步推出全新升級的 The Stack v2 資料集。StarCoder2 支援超過 600 種程式語言，並在程式碼生成、補全與修復等任務上展現出同量級模型中的頂尖性能，持續推動負責任且開放的 AI 開發。
TTS Arena: Benchmarking Text-to-Speech Models in the Wild★ 75
Hugging Face Blog829d agoNew ToolHugging Face 發表全新語音模型評測平台「TTS Arena」。該平台借鑑了 LMSYS Chatbot Arena 的群眾外包盲測機制，讓使用者聆聽兩段由不同匿名 TTS 模型生成的語音並進行投票。透過 Elo 評分系統，TTS Arena 旨在解決傳統客觀指標無法準確反映人類聽覺偏好的痛點，建立一個客觀且動態的語音合成模型排行榜。
Deploying safely on Vercel without merge queues★ 70
Vercel Changelog830d agoOpinion傳統 CI/CD 依賴「合併佇列」來確保主分支安全，但會降低開發速度。Vercel 提出替代方案：利用「預覽部署」進行完整測試，並透過「直接晉升」將已測試版本上線，搭配「版本傾斜保護」與「即時回滾」，讓團隊在不犧牲速度的情況下，確保每次部署的絕對安全。
AI Watermarking 101: Tools and Techniques★ 75
Hugging Face Blog830d agoTutorial隨著 AI 生成內容爆發，如何識別「AI 製造」成為關鍵。Hugging Face 發布的這篇指南深入探討了 AI 水印技術，涵蓋文字生成（如透過調整 Token 機率分佈的綠名單機制）與影像生成（如 Stable Signature 等隱形潛在空間水印）。文章不僅介紹了現有的開源工具，也客觀分析了水印技術在對抗剪裁、改寫等攻擊時的魯棒性限制與未來挑戰。
🪆 Introduction to Matryoshka Embedding Models★ 85
Hugging Face Blog833d agoTutorialMatryoshka 嵌入模型（MRL）允許單一模型輸出多種不同維度的向量，如同俄羅斯套娃般大包小。 這項技術能讓開發者在不重新訓練模型的情況下，自由截斷維度，大幅降低向量資料庫的儲存與檢索成本。 Hugging Face 的 sentence-transformers 庫已原生支援此技術，為 RAG 與向量檢索提供極高的部署彈性。
Introducing the Red-Teaming Resistance Leaderboard★ 75
Hugging Face Blog833d agoReleaseHugging Face 聯合 AI 安全新創 Haize Lab 推出「Red-Teaming Resistance Leaderboard」（紅隊對抗排行榜）。該榜單旨在評估開源與商業大語言模型（LLM）在面對惡意越獄（Jailbreak）與對抗性攻擊時的防禦能力。透過自動化紅隊測試工具，量化模型在安全對齊上的真實強度，為開發者提供更具實戰價值的安全參考指標。
Fine-Tuning Gemma Models in Hugging Face★ 80
Hugging Face Blog833d agoTutorial本指南介紹如何在 Hugging Face 生態系中微調 Google 的 Gemma 開源模型（2B 與 7B）。文章詳細說明了如何利用 PEFT（參數高效微調）技術，特別是 QLoRA（4-bit 量化微調），在消費級 GPU 上進行訓練。透過結合 transformers、peft 與 trl（SFTTrainer）等套件，開發者可以輕鬆載入模型、設定 LoRA 參數、格式化數據集，並將微調後的權重上傳至 Hugging Face Hub，是實作 Gemma 微調的必讀教學。
Effortless high availability for dynamic frontends★ 75
Vercel Changelog835d agoReleaseVercel 宣布為動態前端提供無縫的高可用性（HA）支援。當底層基礎設施（如 AWS 區域）發生故障時，Vercel 的路由層會自動將動態請求（如 Serverless Functions）重導向至其他健康區域。這項升級讓開發者無需編寫複雜的容災代碼或配置多區域負載平衡，即可享有企業級的彈性與穩定性。
Welcome Gemma - Google’s new open LLM★ 85
Hugging Face Blog835d agoReleaseGoogle 正式推出全新開源模型家族 Gemma，包含 2B 與 7B 兩種參數大小，並提供預訓練與指令微調版本。 Gemma 採用與 Gemini 相同的技術與架構，在多項基準測試中表現優於同尺寸的 Llama 2 與 Mistral。 Hugging Face 已同步支援 Gemma，開發者可直接透過 Transformers、TGI、PEFT 等工具進行部署與微調。