Latest in AI
Managing major traffic spikes during ticket drops with Vercel
Vercel Changelog1162d agoTutorialVercel 分享了在面對「搶票（Ticket Drops）」等瞬間極端流量暴增時的架構應對指南。透過結合增量靜態生成（ISR）降低伺服器負載，並利用 Edge Middleware 實現即時排隊機制（Waiting Room）。搭配 Serverless Functions 的自動擴展與邊緣快取，確保系統在高併發下依然穩定，避免後端資料庫崩潰。
Replacing Google Optimize with the Vercel Edge Network
Vercel Changelog1163d agoRelease隨著 Google 宣佈停用 Google Optimize，Vercel 推出利用 Edge Middleware 與 Edge Config 的替代方案。此方案讓開發者能在邊緣端（Edge）直接進行 A/B 測試與個人化內容分流，徹底解決傳統客戶端 A/B 測試工具常見的版面跳動（Layout Shift）與效能延遲問題，提供極致的使用者體驗。
Ethics and Society Newsletter #3: Ethical Openness at Hugging Face
Hugging Face Blog1164d agoOpinionHugging Face 在第三期《倫理與社會簡報》中深入探討了「倫理開放性（Ethical Openness）」的概念。他們強調開源 AI 不應是毫無限制的釋出，而需在促進科學協作與防範技術濫用之間取得平衡。文章介紹了 Hugging Face 如何透過「閘門式模型（Gated Models）」、負責任 AI 授權條款（RAIL）以及社群檢舉機制，在實踐開放科學的同時降低潛在風險。
Streaming for Serverless Node.js and Edge Runtimes with Vercel Functions★ 80
Vercel Changelog1165d agoReleaseVercel 宣布其 Serverless Functions（Node.js）與 Edge Runtimes 全面支援響應串流（Response Streaming）。這項更新解決了過去 Serverless 函數必須等待完整響應生成後才一次性回傳的限制，能顯著降低首字時間（TTFB）。對於開發 ChatGPT 式的生成式 AI 應用、即時數據傳輸或漸進式網頁渲染的開發者而言，這是一項重大的基礎設施升級。
Custom fonts without compromise using Next.js and `next/font`
Vercel Changelog1165d agoReleaseVercel 介紹了 Next.js 的 `next/font` 功能，旨在解決網頁字型載入時的效能與排版問題。該功能會自動下載並託管字型檔案，消除外部網路請求以提升隱私與速度。最重要的是，它透過自動調整字型大小（size-adjust）來實現「零版面配置位移（Zero Layout Shift）」，讓自訂字型與 Google Fonts 的整合變得無比流暢。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face Blog1166d agoTutorialHugging Face 與 Intel 合作，展示在 Habana Gaudi2 晶片上運行 1760 億參數的大型語言模型 BLOOMZ 的推理表現。 透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可在 Gaudi2 上輕鬆部署並加速 LLM。 基準測試顯示 Gaudi2 在處理超大型模型時，展現出超越 NVIDIA A100 的優異吞吐量與低延遲，為企業提供極具性價比的替代方案。
Accelerating Stable Diffusion Inference on Intel CPUs
Hugging Face Blog1166d agoTutorial本文介紹在 Intel CPU 上加速 Stable Diffusion 推論的實用方法。透過 Hugging Face 的 Optimum Intel 整合套件，開發者可輕鬆利用 OpenVINO 和 Intel Extension for PyTorch (IPEX) 進行優化。在第四代 Intel Xeon 處理器上，結合 AMX 技術與 BF16/INT8 量化，能實現數倍的推論速度提升，為無 GPU 環境提供高效的替代方案。
Federated Learning using Hugging Face and Flower★ 70
Hugging Face Blog1167d agoTutorial本文介紹如何整合 Hugging Face 與開源聯邦學習框架 Flower，實現保護隱私的分散式模型訓練。透過 Flower，開發者可以在不共享原始數據的情況下，協同微調 Hugging Face 上的 Transformer 模型。文中提供具體的實作步驟，包含定義 Flower Client、設定伺服器聚合演算法（如 FedAvg）以及評估模型效能。
Train your ControlNet with diffusers★ 75
Hugging Face Blog1170d agoTutorialHugging Face 釋出官方指南，詳細介紹如何利用 diffusers 庫訓練 ControlNet 模型。ControlNet 能在不破壞原始 Stable Diffusion 模型的前提下，加入額外的控制條件（如邊緣、姿勢或深度）。本教學涵蓋了數據集準備、使用官方訓練腳本進行微調，以及如何將訓練好的模型部署與推論。
How to build zero-CLS A/B tests with Next.js and Vercel Edge Config★ 75
Vercel Changelog1170d agoTutorial傳統客戶端 A/B 測試常因延遲載入實驗版本而導致網頁佈局偏移（CLS），影響使用者體驗與 SEO。本文介紹如何利用 Next.js Middleware 與 Vercel Edge Config 的超低延遲讀取特性，在 Edge 邊緣端即時決定用戶分流並進行重寫（Rewrite）。這種做法能讓瀏覽器直接接收到最終渲染的 HTML，實現完全無閃爍、零 CLS 的高效能 A/B 測試。
How to use Alpaca-LoRA to fine-tune a model like ChatGPT★ 72
Replicate Blog1171d agoTutorial本文介紹了 2023 年開源 AI 圈的重要里程碑技術——Alpaca-LoRA。透過低秩適應（LoRA）技術，開發者可以在消費級硬體或 Replicate 雲端平台上，以極低的算力與時間成本微調 LLaMA-7B 模型。藉由 Stanford Alpaca 的 52,000 筆指令數據，即可讓開源模型獲得類似 ChatGPT 的對話與指令遵循能力，大幅降低了客製化大語言模型的門檻。
Jupyter X Hugging Face★ 75
Hugging Face Blog1171d agoReleaseHugging Face 宣布與 Jupyter 生態系深度整合，推出全新的 Notebooks Hub。用戶現在可以直接在 Hugging Face 上瀏覽、搜尋與託管 Jupyter Notebooks。此外，平台提供一鍵啟動功能，讓開發者能直接將 Notebook 導入 Google Colab、Kaggle 或 Paperspace 等雲端環境，大幅降低了運行與測試開源 AI 模型的門檻。
Advanced Remix integration with streaming SSR and multi-runtime support
Vercel Changelog1171d agoReleaseVercel 推出針對 Remix 框架的進階整合更新，全面支援串流伺服器端渲染（Streaming SSR），能有效縮短首位元組時間（TTFB）。此外，新版本支援 Node.js 與 Edge 雙重執行期（Multi-Runtime），讓開發者可根據路由需求自由切換。此更新實現了零設定部署，為 Remix 開發者在 Vercel 上提供頂級的開發與運行體驗。
Remix without limits
Vercel Changelog1171d agoReleaseVercel 推出全新的 Remix 框架整合，正式支援 Edge Functions。開發者現在可以輕鬆將 Remix 應用部署至 Vercel 的全球邊緣網路，享受零配置（Zero-config）的便利性。此更新解決了以往的部署限制，提供更快的響應速度與無縫的 Serverless 擴充體驗。
Week 3 of LLaMA 🦙
Replicate Blog1176d agoCommentary本文彙整了 LLaMA 發布第三週時的關鍵進展。當時開源社群展現了驚人的生命力，包括 Georgi Gerganov 推出可在 Mac 本地運行的 llama.cpp，以及史丹佛大學以極低成本微調出指令遵循模型 Alpaca。這些突破降低了大型語言模型的運行門檻，奠定了今日開源 AI 生態系蓬勃發展的基礎。
Fine-tune LLaMA to speak like Homer Simpson
Replicate Blog1177d agoTutorial本文介紹如何使用 Replicate 微調 LLaMA 模型，使其模仿《辛普森家庭》中荷馬·辛普森的說話風格。作者展示了如何篩選劇本數據、將其格式化，並在短短一小時內完成訓練。這項技術證明了即使在數據與預算有限的情況下，開發者也能輕鬆為開源模型注入獨特的個性。
Train and run Stanford Alpaca on your own machine
Replicate Blog1178d agoTutorialStanford Alpaca 是基於 Meta LLaMA-7B 微調而成的指令遵循模型，具備類似 ChatGPT 的對話能力。 Replicate 發表指南，詳細說明如何使用開源工具 Cog 將 Alpaca 打包，並在本地機器或 Replicate 雲端平台上運行。 此教學還涵蓋了如何利用自訂資料集對 LLaMA 進行微調，大幅降低了開發者構建專屬開源 LLM 的門檻。
Multivariate Probabilistic Time Series Forecasting with Informer
Hugging Face Blog1184d agoTutorialHugging Face 宣布將 AAAI 2021 最佳論文 Informer 模型整合至其 Transformers 庫中。本篇介紹如何利用 Informer 進行多變量機率時間序列預測，解決傳統 Transformer 在長序列預測上的高運算複雜度問題。透過 ProbSparse 自注意力機制與生成式解碼器，Informer 能在保持高準確度的同時，顯著降低記憶體與計算開銷。
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1185d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。
Framework-defined infrastructure★ 75
Vercel Changelog1186d agoOpinionVercel 發表「框架定義基礎設施 (FDI)」概念，顛覆傳統手動配置或 IaC 的運維模式。FDI 讓 Next.js、Nuxt 等前端框架在編譯時自動宣告所需的基礎設施需求，並由 Vercel 平台自動部署對應的 Serverless、Edge 與 CDN 資源。這不僅極大提升了開發者體驗，也確保了應用程式能自動遵循最佳實踐。
Why Turborepo is migrating from Go to Rust
Vercel Changelog1186d agoOpinionVercel 旗下的高效能建置工具 Turborepo 宣布將核心從 Go 遷移至 Rust。此決策旨在與 Next.js 的 Rust 工具鏈（如 Turbopack）深度整合，共享程式碼並降低維護成本。此外，Rust 無垃圾回收（GC）的特性、極致的效能表現以及對 WebAssembly 的友善支援，也是促成這次架構轉移的關鍵因素。
Introducing Vercel Monitoring
Vercel Changelog1187d agoReleaseVercel 宣布推出「Vercel Monitoring」功能，整合了專案的效能監控需求。開發者現在可以直接在 Vercel 儀表板上，即時觀測 Serverless 函數的請求量、錯誤率、延遲（Latency）以及 Web Vitals 等關鍵指標。這項新工具免去了繁瑣的第三方設定，幫助團隊快速定位並解決生產環境中的效能瓶頸。
New ViT and ALIGN Models From Kakao Brain
Hugging Face Blog1188d agoRelease韓國科技巨頭 Kakao 旗下的 AI 研究部門 Kakao Brain，在 Hugging Face 上釋出了全新的 ViT 與 ALIGN 模型。這些模型基於其先前開源的 COYO-700M 超大規模圖文對數據集進行訓練。本次開源不僅補足了 ALIGN 模型缺乏開源權重的遺憾，也為多模態表徵、圖像檢索與零樣本分類等任務提供了強大的新選擇。
ControlNet in 🧨 Diffusers★ 85
Hugging Face Blog1191d agoReleaseHugging Face 宣布將 ControlNet 整合至 🧨 diffusers 庫中。ControlNet 是一種能為 Stable Diffusion 等擴散模型加入額外控制條件（如 Canny 邊緣、OpenPose 姿勢、Depth 深度圖等）的架構。透過全新的 StableDiffusionControlNetPipeline，開發者只需幾行程式碼即可實現高精度的圖像生成與編輯，大幅提升了 AI 繪圖的可控性。
Using Machine Learning to Aid Survivors and Race through Time
Hugging Face Blog1191d agoCommentary本文探討機器學習在災難救援中的關鍵應用。在土耳其與敘利亞大地震等災害發生後，AI 社群迅速動員，利用計算機視覺分析衛星影像以評估建築損毀，並透過自然語言處理（NLP）篩選社群媒體上的求救訊號。Hugging Face 強調開源協作與模型共享在爭分奪秒的救援任務中扮演的重要角色。
Ethical Guidelines for developing the Diffusers library
Hugging Face Blog1192d agoOpinionHugging Face 針對旗下熱門的 Diffusers 函式庫發布倫理指南，探討開源生成式圖像模型帶來的社會影響。指南重點涵蓋偏見緩解、安全過濾器（如 NSFW 偵測）、隱形浮水印技術，以及推動負責任的授權條款（如 OpenRAIL）。此舉旨在為開源社群提供一個在促進技術創新與防範惡意濫用之間取得平衡的實踐框架。
How Hugging Face Accelerated Development of Witty Works Writing Assistant
Hugging Face Blog1193d agoBusiness本案例研究介紹了 Witty Works 如何利用 Hugging Face 的技術加速其寫作助手的開發。Witty Works 旨在幫助企業撰寫具備多元與包容性（D&I）的文本。透過 Hugging Face 的文本分類模型與生態系統，他們能夠快速識別並修正文本中的潛在偏見（如性別、年齡或種族偏見），大幅縮短了模型開發與部署的週期。
Your guide to headless commerce
Vercel Changelog1194d agoTutorialVercel 發布無頭電商（Headless Commerce）完整指南，深入探討將前端展示層與後端電商邏輯分離的優勢。文章指出，利用 Next.js 與 Vercel 搭配 Shopify 等後端，能大幅提升網頁載入速度與 SEO 表現。此指南為尋求現代化電商架構的開發者與企業提供了清晰的實踐路徑。
Optimizing performance for over 6M monthly visitors at CruiseCritic
Vercel Changelog1197d agoBusiness知名郵輪評論網站 Cruise Critic 面臨每月超過 600 萬名訪客的流量壓力，透過將前端架構遷移至 Vercel 與 Next.js，成功優化了網站效能。此舉不僅提升了頁面載入速度與 Core Web Vitals 指標，更大幅改善了團隊的開發者體驗（DX），讓功能部署與迭代變得更加高效。
Red-Teaming Large Language Models★ 75
Hugging Face Blog1198d agoTutorial本文介紹了大型語言模型（LLM）的「紅隊演練」概念，這是一種源自網路安全、旨在透過模擬對抗性攻擊來找出模型漏洞的方法。文章探討了紅隊演練在防範越獄（jailbreak）、有害輸出及隱私洩漏上的重要性，並分析了手動與自動化紅隊測試的實踐方式與挑戰。這對於開發安全、可靠的 AI 系統至關重要。