Latest in AI
Welcome Falcon Mamba: The first strong attention-free 7B model★ 85
Hugging Face Blog662d agoRelease阿布達比技術創新研究所（TII）推出 Falcon Mamba 7B，這是首個在效能上能與主流 Transformer 抗衡的無注意力機制（Attention-free）模型。基於 Mamba 狀態空間模型（SSM）架構，它在處理極長文本時具有記憶體佔用恆定與推論速度極快的優勢，並以 Apache 2.0 協議開源。
Tool Use, Unified★ 85
Hugging Face Blog662d agoReleaseHugging Face 推出統一的工具調用（Tool Use）標準，解決了過去不同開源模型工具格式不一的痛點。現在開發者只需定義標準 Python 函數，即可透過 `apply_chat_template` 自動轉換並傳遞給 Llama 3.1、Mistral 等支援的模型。此更新全面整合至 `transformers`、`huggingface_hub` 與 TGI，大幅降低了 AI Agent 的開發與切換門檻。
Update regarding Vercel service disruption on August 7, 2024★ 70
Vercel Changelog665d agoIncidentVercel 針對 2024 年 8 月 7 日發生的嚴重服務中斷發表官方說明。該事件導致全球許多託管於 Vercel 的網站出現 502 錯誤，儀表板與部署功能也受到波及。調查指出，起因是邊緣網路在進行例行配置更新時發生異常。Vercel 已完成回滾並承諾將加強網路配置的漸進式部署與監控機制。
Replicate Intelligence #10
Replicate Blog665d agoRelease本期 Replicate Intelligence 彙整了近期社群與技術進展。重點包括開源圖像生成模型 Flux 的最新開發動態、基於 AI 驅動的 Minecraft 遊戲機器人，以及由 Zeke 撰寫的 Streamlit 與 Replicate 整合實作指南（Cookbook），幫助開發者快速構建 AI 應用。
XetHub is joining Hugging Face!★ 75
Hugging Face Blog666d agoBusinessHugging Face 宣布收購專注於大規模資料版本控制的新創公司 XetHub。XetHub 的技術能讓 Git 輕鬆擴展並管理數 PB 級的資料集與機器學習模型，解決傳統 Git LFS 的效能瓶頸。此收購將幫助 Hugging Face 升級其基礎設施，為全球開發者提供更流暢、高效的大型 AI 資產協作與版本控制體驗。
How to integrate AI into your business★ 75
Vercel Changelog668d agoTutorialVercel 發布企業 AI 整合指南，指引企業如何從 AI 概念驗證走向生產環境。指南強調不應綁定單一模型，而應利用 Vercel AI SDK 建立多模型架構。此外，優秀的 AI 體驗需超越傳統聊天對話框，導入 Generative UI 與即時串流技術，並透過 Serverless 基礎設施與邊緣運算解決延遲與逾時問題，最後搭配完善的安全評估機制，確保企業級應用的穩定與安全。
Vercel AI SDK 3.3★ 85
Vercel Changelog668d agoReleaseVercel 推出 AI SDK 3.3，重點更新包含：首度內建 OpenTelemetry 支援，讓開發者能深度監控 AI 呼叫效能與 Token 消耗；新增 maxSteps 參數，支援自動化多步驟工具調用（Multi-step Tool Calling），簡化 Agent 開發；並針對結構化輸出（streamObject）與各大主流模型 Provider 進行了效能優化。
Introducing TextImage Augmentation for Document Images★ 75
Hugging Face Blog668d agoNew ToolHugging Face 宣布與知名圖像增強庫 Albumentations 合作，推出專為文件圖像（如收據、合約、掃描檔）設計的 TextImage 數據增強技術。此技術能模擬真實世界中的折痕、陰影、污漬及掃描噪點，解決 Document AI 模型在面對低質量現實圖像時識別率下降的問題。開發者可直接將其整合至 Hugging Face 的數據處理與訓練流程中。
2024 Security Feature Highlights★ 75
Hugging Face Blog668d agoReleaseHugging Face 發布 2024 年安全功能亮點，展示其在保護開源 AI 生態系上的多項努力。平台引入了自動化惡意軟體與 Safetensors 安全掃描、敏感金鑰（Secrets）偵測，並與 Sigstore 合作推出模型加密簽章。此外，也強化了細粒度存取權限（Scoped Tokens）與多因素驗證（MFA），為開發者與企業提供更安全可靠的模型託管環境。
Protecting your app (and wallet) against malicious traffic★ 75
Vercel Changelog672d agoReleaseVercel 針對惡意流量與「錢包拒絕服務（Denial of Wallet）」攻擊，推出了多項安全防護功能。其中包括預設啟用的自動攻擊防護（Attack Protection）、可自訂規則的 Vercel 防火牆（Firewall），以及能自動暫停專案以防止帳單超支的「消費上限（Spend Limits）」功能，全方位保障開發者的應用安全與荷包。
FLUX.1: First Impressions★ 85
Replicate Blog672d agoRelease由 Stable Diffusion 原班人馬創立的 Black Forest Labs 推出全新圖像生成模型家族 FLUX.1。該模型包含 Schnell、Dev 和 Pro 三個版本，在文字生成、複雜指令遵循以及人體細節上展現出驚人實力。Replicate 平台第一時間上架並進行深度實測，認為其美學風格與寫實度已能與 Midjourney v6 匹敵，為開源 AI 繪圖立下新標竿。
Replicate Intelligence #9★ 85
Replicate Blog672d agoReleaseReplicate Intelligence 第 9 期彙整了近期三大 AI 技術突破。首先是 Black Forest Labs 推出的開源影像生成模型 FLUX.1，其品質直逼 Midjourney v6；其次是 Meta 釋出的 SAM 2，將物件分割技術從靜態圖片延伸至動態影片；最後是 fast.ai 創辦人 Jeremy Howard 推出專為快速開發設計的全新 Python 網頁框架 FastHTML。
Achieving feature rollouts with ultra-low latency and zero impact to conversion
Vercel Changelog673d agoBusiness美國知名餐飲平台 Beyond Menu 分享如何利用 Vercel 與 Hypertune 解決傳統功能旗標（Feature Flags）帶來的延遲與版面跳動問題。透過 Hypertune 在邊緣端（Edge）進行極速評估，他們成功在不影響網頁載入速度與轉換率的前提下，實現動態功能發布與 A/B 測試，為百萬用戶提供流暢體驗。
Run FLUX with an API★ 90
Replicate Blog673d agoRelease由 Stable Diffusion 核心團隊創立的 Black Forest Labs 發表了全新文字生成圖片模型 FLUX.1。該模型擁有 120 億參數，在文字渲染、細節描繪與指令遵循上皆超越現有開源模型。Replicate 已同步上架 FLUX.1 的 schnell、dev 與 pro 三種版本，開發者可直接透過 API 進行整合與部署。
How Google handles JavaScript throughout the indexing process★ 75
Vercel Changelog674d agoTutorial本文由 Vercel 撰寫，詳解 Googlebot 處理 JavaScript 的「兩階段索引」機制。第一階段先讀取 HTML，第二階段才放入佇列進行 JS 渲染。由於渲染需消耗大量資源，可能導致索引延遲或內容遺漏，因此採用 SSR 或 SSG 是優化 SEO 的關鍵。
Google releases Gemma 2 2B, ShieldGemma and Gemma Scope★ 85
Hugging Face Blog674d agoReleaseGoogle 宣布推出 Gemma 家族新成員：僅有 2.6B 參數但性能強悍的 Gemma 2 2B 輕量模型；專為過濾有害內容設計的安全分類器 ShieldGemma（提供 2B、9B、27B 版本）；以及包含逾 400 個稀疏自編碼器的 Gemma Scope，為 AI 領域提供前所未有的模型內部決策「可解釋性」研究工具。
Memory-efficient Diffusion Transformers with Quanto and Diffusers★ 80
Hugging Face Blog675d agoReleaseHugging Face 介紹了如何利用 optimum-quanto 量化工具來優化 diffusers 中的 Diffusion Transformers (DiT) 模型。隨著 DiT 模型（如 PixArt、HunyuanDiT）體積日益龐大，記憶體成為運行的瓶頸。透過將模型權重進行 8-bit 或 4-bit 量化，開發者可以在消費級 GPU 上以極低的精度損失運行這些大型生成模型，顯著降低 VRAM 需求。
Serverless Inference with Hugging Face and NVIDIA NIM★ 82
Hugging Face Blog676d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，在 Hugging Face Hub 上推出全新「無伺服器推論 (Serverless Inference)」服務。該服務由 NVIDIA NIM 微服務與 DGX Cloud 驅動，開發者無需管理複雜的 GPU 基礎設施，即可一鍵部署 Llama 3、Mistral 等熱門開源模型，並享有 TensorRT 優化帶來的極致效能與低延遲。
Flags as code in Next.js
Vercel Changelog679d agoReleaseVercel 針對 Next.js 推出「Flags as Code」全新工作流，將功能旗標（Feature Flags）納入程式碼管理與 Git 版本控制。透過 `@vercel/flags` SDK，開發者可定義具備型別安全（Type-safe）的旗標，並與 Vercel Toolbar 深度整合，方便在預覽環境中直接切換。此方案優化了 Edge 網路的渲染效能，能有效減少客戶端版面跳動，並支援 LaunchDarkly 等主流第三方旗標服務。
Replicate Intelligence #8★ 75
Replicate Blog679d agoReleaseReplicate 發布第 8 期技術情報。本次更新重點包括：全面支援 Meta 最新發布的頂級開源模型 Llama 3.1（包含 405B 旗艦模型）；推出全新的安全分類器（如 Llama Guard 3），協助開發者過濾有害內容；以及正式開放「模型搜尋 API」，讓開發者能透過程式碼輕鬆檢索與篩選 Replicate 上的數萬個 AI 模型。
LAVE: Zero-shot VQA Evaluation on Docmatix with LLMs - Do We Still Need Fine-Tuning?★ 75
Hugging Face Blog680d agoPaper本文介紹了 Hugging Face 提出的 LAVE（LLM 輔助 VQA 評估）方法，並在巨型文檔問答資料集 Docmatix 上進行測試。傳統評估指標（如 ANLS）因過於嚴格而不利於 Zero-shot 模型，而 LAVE 利用 LLM 作為裁判，能更公正地評估模型。結果顯示，雖然強大 LLM 的 Zero-shot 能力顯著，但在特定文檔理解任務中，微調（Fine-tuning）依然是提升中小型模型性能的關鍵。
Elkjøp's Digital Transformation: Powering Retail Innovation with Next.js and Vercel
Vercel Changelog681d agoBusiness本文介紹北歐最大消費電子零售商 Elkjøp 的數位轉型歷程。該公司選擇將其電商平台遷移至 Next.js 與 Vercel，藉此解決舊有系統的效能瓶頸。透過現代化的前端架構，Elkjøp 不僅大幅提升了網頁載入速度與 Core Web Vitals 指標，還優化了開發團隊的部署流程，使其能更快速地應對像是黑色星期五等零售旺季的流量挑戰。
Turbopack updates: Moving homes
Vercel Changelog682d agoReleaseVercel 宣佈將 Rust 架構的打包工具 Turbopack 從原本的 `vercel/turbo` 倉庫遷移至 `vercel/next.js` 倉庫。此舉旨在讓 Next.js 核心團隊能更緊密地開發與優化 Turbopack，加速其在 Next.js 開發環境（`next dev --turbo`）的穩定。而原本的 `vercel/turbo` 倉庫將專注於 Turborepo 工具的發展。
How to choose the best rendering strategy for your app★ 75
Vercel Changelog682d agoTutorialVercel 系統化分析現代網頁開發的五大渲染策略：靜態渲染 (SSG)、動態渲染 (SSR)、漸進式靜態生成 (ISR)、用戶端渲染 (CSR) 以及最新的部分預渲染 (PPR)。文章從資料新鮮度、使用者個性化內容及 SEO 等維度出發，提供決策樹與具體建議，並強調 PPR 作為結合靜態與動態優勢的新一代解決方案，能顯著提升使用者體驗與效能。
Run Meta Llama 3.1 405B with an API★ 85
Replicate Blog682d agoReleaseMeta 推出最強開源模型 Llama 3.1 405B，Replicate 隨即宣布全面支援其 API 運行。開發者無需自行準備昂貴的 GPU 基礎設施，即可透過 Replicate 的雲端平台，以極低的延遲與簡單的一行程式碼整合該模型。此服務支援 128k 脈絡長度，並提供結構化輸出等功能，大幅降低了企業與開發者應用頂級開源 AI 的門檻。
Llama 3.1 - 405B, 70B & 8B with multilinguality and long context★ 95
Hugging Face Blog682d agoReleaseMeta 正式發布 Llama 3.1 系列，包含 8B、70B 及首款能與頂級閉源模型媲美的 405B 旗艦模型。此版本將上下文視窗大幅提升至 128k，並增強了多語言能力。Hugging Face 同步推出完整生態系支援，涵蓋 Transformers 整合、TGI 推論優化、TRL 微調以及 FP8 量化，降低 405B 的部署門檻。
WWDC 24: Running Mistral 7B with Core ML★ 75
Hugging Face Blog683d agoTutorialHugging Face 配合 Apple WWDC 24 的更新，發表了將 Mistral 7B 轉換並運行於 Core ML 的完整指南。 透過 Core ML 轉換工具與 4-bit 等量化技術，開發者能將模型部署至 Apple Silicon 晶片，充分利用 Apple 類神經網路引擎（ANE）與統一記憶體。 此舉大幅降低了在 macOS、iOS 等 Apple 生態系中本地部署高效能開源 LLM 的門檻。
Docmatix - a huge dataset for Document Visual Question Answering★ 75
Hugging Face Blog687d agoReleaseHugging Face 發表了專為文件視覺問答（DocVQA）設計的超大型開源數據集 Docmatix。該數據集規模比現有同類數據集大上百倍，包含 240 萬張文件圖片及 950 萬個高質量的問答對。Docmatix 的推出解決了多模態模型在處理複雜 PDF、報表等視覺文件時微調數據不足的痛點，將顯著提升開源視覺語言模型（VLM）的文件解析與問答能力。
TGI Multi-LoRA: Deploy Once, Serve 30 Models★ 80
Hugging Face Blog687d agoReleaseHugging Face 的 Text Generation Inference (TGI) 推出 Multi-LoRA 服務功能。開發者只需在 GPU 上部署一個基礎模型（如 Llama 3），就能動態載入並同時運行多達 30 個不同的 LoRA 微調適配器（Adapters）。這項技術大幅降低了多模型部署的 GPU 顯存與硬體成本，並透過優化的批處理技術確保低延遲，是 LLMOps 領域的重大優化。
How we leveraged distilabel to create an Argilla 2.0 Chatbot★ 75
Hugging Face Blog689d agoTutorial為了協助用戶上手全新發布的 Argilla 2.0，Argilla 團隊利用其開源合成數據生成框架 distilabel 打造了專屬技術支持機器人。他們將官方文件切片，透過 distilabel 驅動 LLM 自動生成高質量的「問題-答案」對，並進行演化與過濾。最後利用這些合成數據微調開源模型，在不依賴人工標註下，快速構建出能精準回答產品技術問題的 AI 助理。