Hugging Face 發表 Open LLM Leaderboard 的碳排放分析報告,探討模型評估過程中的能源消耗與 CO₂ 排放。研究指出,雖然大型模型性能優異,但其碳足跡也呈指數增長;相反地,透過模型量化與參數優化,能在大幅降低能耗的同時保持高水準性能。此報告呼籲社群在追求高分之餘,也應重視「綠色 AI」與運算效率。
Vercel 宣布為 Next.js 官方文件推出 AI 增強搜尋。開發者現在能用自然語言提問,系統將直接生成精準解答與程式碼範例,並能智慧區分 App 與 Pages Router 架構。此更新大幅縮短了開發者查閱 API 與排查錯誤的時間,顯著提升開發體驗。
許多企業面臨 Salesforce 傳統單體架構效能與開發彈性不足的挑戰。Vercel 提出「Headless Salesforce」漸進式遷移方案,透過 Vercel Middleware 進行邊緣端逐頁路由分流,讓企業能無痛將前端轉移至 Next.js,同時保留 Salesforce 強大的後端電商功能,實現低風險、高效能的組合式(Composable)架構轉型。
Vercel 宣布其效能監控工具 Speed Insights 迎來更新,用戶現在可以按「專案(Project)」維度來查看具體的使用量數據。過去這項數據通常僅在團隊或帳戶層級匯總,導致難以釐清是哪個專案消耗了額度。此更新將大幅提升多專案管理時的成本透明度,便於開發者與團隊進行預算控制與效能優化。
Vercel 宣布更新其執行階段日誌(Runtime logs)功能,現在開發者可以更精準地進行除錯。新功能支援依據「請求類型」(Request Type)以及「Vercel 資源」(Vercel Resource)進行篩選,讓開發者在面對大量日誌時,能快速定位到特定的 Serverless Functions、Edge Functions 或特定的 API 請求,大幅提升開發與維運效率。
Vercel 宣布其 Python Serverless Functions 現在起預設啟用響應串流(Streaming)功能。這項更新讓開發者在構建基於 Python 的 AI 應用或大型語言模型(LLM)對話介面時,無需額外配置即可實現即時的逐字回傳(Server-Sent Events),顯著降低首字響應時間(TTFT)並提升使用者體驗。
Hugging Face 發表輕量級 AI Agent 框架「smolagents」,核心概念為「Code Agents」。與傳統輸出 JSON 的 Agent 不同,它讓 LLM 直接生成 Python 程式碼來執行複雜任務,大幅提升表達力與靈活性。該框架程式碼極簡(約千行),並內置安全的 Python 執行沙箱,支援多種主流 LLM 供應商。
Vercel 團隊分享了他們在黑色星期五與網路星期一(BFCM)期間,如何構建與運行即時數據儀表板的技術細節。文章深入探討了如何結合 Next.js、邊緣函式(Edge Functions)與即時數據流,在面臨極高併發流量時,依然能提供低延遲、高可靠性的數據視覺化服務。這對於需要處理大規模活動監控與即時數據呈現的開發者極具參考價值。
Hugging Face 推出全新互動式部落格文章,深入解析 PyTorch 訓練時的 GPU 記憶體佔用機制。內容涵蓋模型參數、梯度、優化器狀態(如 AdamW)以及激活值(Activations)的記憶體計算公式。讀者可透過互動式工具,在實際訓練前精確估算記憶體需求,有效預防並排查 Out of Memory (OOM) 錯誤。
NVIDIA 與 Hugging Face 合作介紹 LogitsProcessorZoo,這是一個專為控制大語言模型(LLM)生成行為而設計的工具庫。透過在 Token 生成階段直接干預 Logits(未歸一化的機率值),開發者能輕鬆實現 JSON 結構化輸出、正則表達式約束及自定義解碼策略。該工具與 Hugging Face Transformers 深度整合,大幅提升了生成內容的可靠性與安全性。
Vercel 宣布其防火牆(Vercel Firewall)推出新功能,支援針對特定 IP 地址繞過系統內建的防禦緩解措施(System Mitigations)。這項更新解決了開發團隊在進行自動化測試、API 整合或內部監控時,常因流量特徵被 Vercel 自動防禦機制誤判而遭阻擋的痛點。用戶現在可以更彈性地管理 IP 規則,確保信任的外部服務與內部流量暢通無阻。
Vercel 宣布其 Remote Cache(遠端快取)功能現已完全免費開放。此功能可讓團隊成員與 CI/CD 共享構建快取,避免重複編譯。過去此功能有額度限制或需付費,現在 Hobby 與 Pro 方案皆可免費使用,特別適合使用 Turborepo 的開發團隊降低成本並提升效率。
Hugging Face 發表了「Big Bench Audio」基準測試,旨在評估多模態模型在音訊領域的推理能力。傳統評估多著重於語音辨識(ASR),而此基準則涵蓋語音、音樂、環境音等多元任務,考驗模型進行邏輯推理與情境理解的深度。這項開源工具將協助開發者與研究人員更精準地衡量語音大模型的實際應用實力。
Hugging Face 與 LightOn 等團隊聯合推出 ModernBERT,旨在取代已問世 6 年但仍被廣泛使用的 BERT 模型。ModernBERT 採用現代化架構,將上下文長度從 512 提升至 8192 標記,並原生支援 FlashAttention-2 與 RoPE。在保持極高推理速度與低記憶體佔用的同時,其在檢索、分類與嵌入等任務上的表現全面超越 DeBERTa-v3,為 RAG 與搜尋系統注入全新動力。
Vercel 宣布優化其安全建置基礎架構。透過結合 Secure Compute,企業用戶現在可以在 Vercel 建置階段中,安全地存取位於私有網路(如 VPC)中的資源,例如私有套件庫或內部 API。這項更新大幅提升了企業級專案在 CI/CD 過程中的安全防護與連線效率。
Hugging Face 聯合普林斯頓大學、Together AI 等機構,正式開源了「Bamba-9B」模型。該模型採用 Mamba-2 狀態空間模型(SSM)與 Transformer 注意力機制的混合架構(1:7 比例)。在保有與同量級純 Transformer 模型(如 Llama 3)相當性能的同時,顯著降低了長文本推論時的記憶體佔用與延遲,並以 Apache 2.0 協議開源,為長文本應用提供高效的新選擇。
隨著 AI 搜尋與 LLM 的普及,AI 爬蟲(如 GPTBot、ClaudeBot)的流量在 2024 年呈現爆發式成長。這不僅帶來了伺服器成本上升與資料被無償抓取的隱憂,也改變了傳統的 SEO 遊戲規則。Vercel 在本文中深入分析了這股趨勢,並分享開發者如何透過 robots.txt、Vercel 防火牆與 Edge Middleware 來有效監控、限制或阻擋這些 AI 爬蟲,在保護網站資產與獲取 AI 搜尋曝光之間取得平衡。
阿布達比技術創新研究所(TII)正式發布 Falcon 3 系列開源模型,提供 1B、3B、7B 及 10B MoE 等多種參數規格。Falcon 3 在多項基準測試中表現優異,其 7B 版本在性能上甚至超越了 Llama 3.1 8B 與 Gemma 2 9B。此系列模型對硬體友善,極適合邊緣運算與本地部署,並已深度整合至 Hugging Face 生態系統。
Hugging Face 發布在 Google Cloud Platform (GCP) 全新 C4 執行個體上運行語言模型的效能評測。C4 搭載第五代 Intel Xeon 可擴充處理器,內建 Intel AMX 加速技術。測試顯示,透過 Optimum Intel 與 IPEX 優化,CPU 在中小型開源模型(如 Llama 3)的推論上展現出極佳的延遲表現與高性價比,為 GPU 短缺或預算有限的企業提供強大的替代方案。
Replicate 指出,AI 影片生成領域正經歷類似當年 Stable Diffusion 顛覆圖像生成的「開源時刻」。 目前市場上已出現多款效果足以媲美 OpenAI Sora 的開源影片生成模型。 這意味著開發者與創作者不再受限於封閉的 API,能以更低成本、更高自由度在本地或雲端部署高品質影片生成。
Hugging Face 發表「Synthetic Data Generator」工具,旨在降低 AI 模型訓練資料集的構建門檻。用戶只需用自然語言描述需求,系統便會利用 distilabel 框架與開源大模型(如 Llama 3.1)自動生成高品質的指令微調(SFT)或偏好對齊(DPO)資料集。生成的資料可直接上傳至 Hugging Face Hub,並支援匯出至 Argilla 進行人工標註與微調。
Vercel 宣布其觀測性(Observability)功能正式全面開放(GA)。此版本帶來了原生的 OpenTelemetry 支援,讓開發者能輕鬆將追蹤與指標導出至第三方工具。同時,升級後的運行時日誌(Runtime Logs)、日誌流(Log Drains)以及速度洞察(Speed Insights),為 Next.js 及其他前端框架應用提供了全方位的即時監控能力。
Vercel 於官方更新中宣布,將大幅調降其 Monitoring(監控)服務的定價,最高降幅達 87%。這項調整旨在降低 Web 應用的可觀測性(Observability)成本,讓開發者與企業能以更實惠的價格,即時掌握應用的效能、錯誤與流量狀況,進而優化使用者體驗。
Vercel 釋出技術審計(Technical Audits)指南,針對企業級 Web 應用提供系統化的優化框架。內容深入探討如何透過快取策略與資源管理降低 Vercel 帳單成本、利用 Core Web Vitals 指標與 Edge 技術提升網頁載入效能,以及優化 CI/CD 建置流程以釋放開發團隊生產力,是前端架構師與維運人員的實用參考。
美國知名自助倉儲業者 Extra Space Storage 擁有數千個據點網頁。在遷移至 Vercel 平台後,其網站建置時間大幅縮短了 17 倍。這項轉變不僅解決了過去因靜態頁面過多導致建置緩慢的痛點,更透過 Vercel 的優化基礎設施與快取機制,實現了近乎即時的內容更新,顯著提升了開發團隊的部署效率與企業的市場競爭力。
Vercel 宣布推出「自訂環境 (Custom Environments)」功能,打破以往僅限 Production、Preview 和 Development 三種環境的限制。現在開發團隊可以自由建立如 Staging、UAT 或 QA 等自訂環境,並為其配置專屬的環境變數、網域與 Git 分支,大幅提升中大型專案的部署與測試工作流彈性。
Vercel 宣布對其防火牆(Vercel Firewall)進行重大升級,現在阻擋 DDoS 攻擊的速度比以往快上 40 倍。此更新旨在更即時地識別並攔截惡意流量,保護部署在 Vercel 上的應用程式免受服務中斷影響。這不僅提升了網站的安全性與可用性,也能有效避免開發者因突發惡意流量而面臨高昂的帳單衝擊。
Hugging Face 宣布推出「LeMaterial」開源倡議,旨在降低材料科學領域的 AI 應用門檻。該項目整合了大規模材料數據集、先進的機器學習模型(如圖神經網路 GNN)以及標準化的評估基準。透過將這些資源託管於 Hugging Face 平台,LeMaterial 將促進全球研究人員協作,大幅縮短新材料的研發週期。
Vercel 宣布推出官方 TypeScript SDK,旨在簡化開發者與 Vercel REST API 的互動。該 SDK 提供完整的型別安全與 IDE 自動補全支援,讓開發者能輕鬆透過程式碼管理 Vercel 上的專案、部署、網域及環境變數。此外,SDK 還內建了自動重試與速率限制處理,大幅提升整合效率與穩定性。
Vercel 宣布與 AWS 達成合作,旨在為前端開發者提供更流暢的 AI 開發體驗。 雙方將 Amazon Bedrock 的模型庫與 Vercel AI SDK 進行深度整合,支援 Claude、Llama 等多款熱門模型。 此合作讓開發者能結合 AWS 的企業級安全基礎設施與 Vercel 的極致開發體驗,快速構建並擴展 AI 網頁應用。