Hugging Face 與 ServiceNow 發起的 BigCode 專案正式推出 StarCoder,這是一款擁有 155 億參數的開源程式碼大語言模型。該模型在 The Stack 數據集上訓練,支援 80 多種程式語言,並具備 8K 上下文視窗與 Multi-Query Attention 技術。StarCoder 在多項程式碼基準測試中超越了當時的其他開源模型,並採用 OpenRAIL-M 授權,允許商業化使用。
Vercel 發表全新「Visual Editing(視覺化編輯)」功能,解決了 Headless CMS 缺乏直覺編輯介面的痛點。編輯與開發人員現在可以直接在 Vercel 的預覽部署畫面上點擊任何元件,系統會自動導向 Headless CMS 中對應的欄位進行修改。此功能首波支援 Sanity 等主流 CMS,大幅提升跨團隊協作效率。
Vercel 宣布推出 Vercel Spaces,旨在解決大型組織在管理 Monorepo(單一程式庫)時的協作與品質挑戰。Spaces 提供了專案依賴關係的視覺化圖表、明確的程式碼擁有權(Code Ownership)劃分,並整合了 Conform 政策引擎,讓團隊能在不犧牲開發速度的前提下,自動化執行程式碼品質與安全標準,實現規模化的優質軟體開發。
Vercel 宣布推出 Vercel Firewall 與 Vercel Secure Compute 兩項全新安全功能。Vercel Firewall 讓開發者能更彈性地過濾惡意流量與設定 IP 限制;Vercel Secure Compute 則提供專用的固定 IP 與安全通道,讓 Serverless 函式能安全地與企業內部資料庫或 AWS VPC 進行私密連線,大幅提升雲端部署的安全性。
Vercel 於 Vercel Ship 期間正式推出 Vercel KV,這是一款與 Redis 完全相容的 Serverless 鍵值(Key-Value)資料庫。由 Upstash 技術驅動,開發者無需配置伺服器即可在 Edge 或 Serverless Functions 中實現極低延遲的資料讀寫。非常適合用於快取、Session 管理、速率限制(Rate Limiting)等場景,並提供開箱即用的 SDK 與免費額度。
Vercel 於 Vercel Ship 大會上正式推出四項全新的 Serverless 儲存解決方案:Vercel KV(Redis)、Vercel Postgres(SQL)、Vercel Blob(物件儲存)以及 Vercel Edge Config。這些服務旨在解決開發者過去部署應用時需額外配置第三方資料庫的痛點,讓開發者能在 Vercel 平台上直接一鍵啟用並管理資料與檔案,大幅提升全端開發與部署體驗。
Vercel 正式發表 Vercel Postgres,這是一款與 Neon 合作、專為前端開發者打造的 Serverless SQL 資料庫。它與 Vercel 平台深度整合,支援一鍵配置,並提供專屬的 SDK,讓開發者能在 Next.js 等框架中輕鬆進行安全、低延遲的資料庫查詢,特別適合 Serverless 與 Edge 執行環境。
Hugging Face 推出官方 Unity API 套件,讓遊戲開發者能直接在 Unity 專案中調用 Hugging Face Hub 上的數千個 AI 模型。本文詳細介紹如何透過 Unity Package Manager 進行安裝,並展示如何設定 API 金鑰以啟用文本生成、語音識別及圖像生成等功能。這為獨立遊戲開發者開闢了將生成式 AI 融入遊戲機制的新途徑。
本指南詳細說明如何利用 TensorFlow 和 Google TPU 來加速 Hugging Face Transformers 模型的訓練。內容涵蓋 TPU 的初始化設定、使用 tf.distribute.TPUStrategy 配置分散式訓練環境、利用 tf.data 建立高效的數據輸入管道,並在 TPU 範疇內載入與訓練模型,非常適合需要處理大規模 NLP 任務的開發者。
Databricks 與 Hugging Face 宣布深度合作,針對大型語言模型(LLM)的訓練與微調進行優化。透過將 Hugging Face Transformers 與 Databricks 平台(如 MLflow、TorchDistributor)整合,企業能在安全的湖倉一體架構中更高效地訓練開源模型。測試顯示,此優化方案可將訓練速度提升高達 40%,大幅降低運算成本。
DeepFloyd IF 是一款強大的像素級文字生成圖像模型,因包含龐大的 T5-XXL 文字編碼器,通常需要極高 VRAM 才能運行。Hugging Face 官方發布教學,展示如何透過 `diffusers` 庫的優化技術——包括 8-bit 量化、CPU 卸載(CPU Offloading)以及分階段釋放記憶體,讓開發者能在僅有 15GB VRAM 的免費版 Google Colab(T4 GPU)上,順利跑完該模型的三個級聯階段,生成 1024x1024 的高解析度影像。
Hugging Face 官方宣布正式啟用中文部落格,為中文讀者提供第一手的技術文章與社群動態。此舉旨在打破語言壁壘,進一步促進開源 AI 技術在中文開發者與研究者社群中的傳播。未來將透過該平台分享更多關於模型、數據集以及開源生態的中文優質內容。
Replicate 發布了 2023 年 4 月的開源語言模型(LLM)彙整報告。文章介紹了當時快速崛起的開源模型,包括基於 LLaMA 微調的 Vicuna、首款可商用的 Dolly v2,以及 Stability AI 推出的 StableLM。讀者可以透過 Replicate 的雲端 API 輕鬆部署與測試這些模型,大幅降低了開發者使用開源大模型的門檻與硬體成本。
Hugging Face 官方發布教學,指導開發者如何將 Unity 遊戲部署至 Hugging Face Spaces。透過將 Unity 專案匯出為 WebGL 格式,並利用 Spaces 的 Docker 或靜態網頁託管功能,開發者可以輕鬆在平台上展示結合 AI 技術的互動式 3D 遊戲與 Demo,促進 AI 與遊戲開發的結合。
Vercel 宣布 Web Analytics 功能正式進入一般可用(GA)階段。此服務主打隱私友善、無需 Cookie 且符合 GDPR 規範,能與 Next.js 等框架無縫整合。開發者只需簡單配置即可在 Vercel 控制面板中即時查看網站流量、熱門頁面及來源管道,並提供免費額度供所有用戶體驗。
Replicate 推出新工具 AutoCog,旨在簡化機器學習模型的打包流程。使用者只需提供含有模型程式碼的目錄,AutoCog 就能利用 GPT-4 自動編寫並修正 predict.py 和 cog.yaml。它會透過「執行、報錯、修正」的循環,直到模型能順利執行預測,大幅降低將模型部署至 Replicate 或 Docker 容器的門檻。
本案例研究探討了美國大型營建管理公司 CORE Construction 如何透過 Vercel 進行數位轉型。面對傳統架構帶來的開發瓶頸與效能問題,該公司選擇將前端遷移至 Vercel 平台。此舉不僅大幅縮短了部署時間、優化了團隊協作,更顯著提升了網站的載入速度與穩定性,成功以現代化的網頁技術奠定企業卓越營運的基礎。
Hugging Face 與 AWS 合作,透過 optimum-neuron 工具套件,簡化了在 AWS Inferentia2 (Inf2) 實例上部署 Transformers 模型的流程。開發者現在可以輕鬆將 PyTorch 模型編譯並運行於專為深度學習推理設計的 Inf2 晶片上。這項整合不僅大幅降低了雲端推理成本,還顯著提升了模型吞吐量並降低延遲。
本文介紹電商開發機構 Commerce-UI 如何與 Vercel 深度合作。透過採用 Next.js 與 Vercel 的邊緣基礎設施,Commerce-UI 成功為全球品牌建構出極速、穩定的無頭電商(Headless Commerce)網站。這不僅顯著提升了網頁載入速度與 Core Web Vitals 指標,更直接轉化為更高的購買轉換率,使其成為品牌數位轉型中不可或缺的信任夥伴。
本文探討如何從傳統 WordPress 漸進式遷移至現代前端架構。透過 Next.js 的重寫(rewrites)功能與無頭(Headless)CMS 模式,開發者可以逐步將特定路由轉移至 Vercel,而無需一次性重構整個網站。這種「開發者優先」的方法不僅能降低遷移風險,還能顯著提升網站效能與開發體驗。
Hugging Face 介紹了如何利用 Transformer 架構進行圖形分類(Graph Classification)。文章以微軟開發的 Graphormer 模型為例,展示如何處理非歐幾里得空間的圖形數據,並將其應用於預測分子特性等實際場景。讀者將學習如何利用 Hugging Face transformers 庫載入圖形數據集、進行特徵編碼並訓練圖形 Transformer 模型。
本文探討知名行銷集團 Wunderman Thompson 如何透過 Vercel 平台,將多個網站的管理集中於單一程式碼庫(Single Codebase)中。藉由可組合式(Composable)工作流,團隊能共享組件與邏輯,同時保持各站點的獨立部署與靈活性,大幅降低維護成本並提升開發效率。
Owkin 開源的聯邦學習框架 Substra 已託管於 LF AI & Data 基金會。該框架允許開發者在分散且不公開的數據集上協同訓練 AI 模型,特別適合醫療等高隱私需求領域。本文介紹如何結合 Substra 與 Hugging Face 生態系,實現可追溯、安全且合規的隱私保護機器學習。
知名拖放式網頁生成器 mmm.page 分享了其技術架構。面對超過 30,000 個用戶自訂網域的挑戰,他們捨棄了自行維護 Nginx 與 SSL 憑證的傳統做法,改用 Vercel 的平台解決方案。透過 Vercel API 與 Edge Middleware,mmm.page 實現了動態路由與秒級 SSL 憑證配置,大幅降低維運成本並提升使用者體驗。
Vercel 宣布 Edge Config 正式進入一般可用(GA)階段。這是一項專為邊緣運算設計的超低延遲鍵值存儲服務,讀取時間通常小於 15 毫秒。開發者可用於動態功能開關(Feature Flags)、A/B 測試、網頁重定向與維護模式,無需每次都向傳統資料庫發送請求,大幅提升網站效能與使用者體驗。
Snorkel AI 與 Hugging Face 宣布合作,旨在解決企業應用基礎模型(Foundation Models)時面臨的領域數據不足挑戰。透過將 Snorkel Flow 的程式化標註技術與 Hugging Face 的開源模型庫結合,企業能快速標註私有數據並進行模型微調。此方案不僅能加速企業級 AI 應用的開發,還能透過模型蒸餾技術降低推理成本,實現高效且安全的落地部署。
Vercel 宣布正式上架 AWS Marketplace,讓企業客戶能更輕鬆地採購與部署其前端雲端平台。 透過此整合,企業可以直接使用現有的 AWS 企業折扣計畫(EDP)額度來支付 Vercel 費用,簡化財務審批流程。 這項合作結合了 Vercel 極致的前端開發體驗與 AWS 強大的基礎設施,加速企業邁向 Serverless 架構。
知名 AI 雲端託管平台 Replicate 宣布正式支援大型語言模型(LLMs)。平台已上架包括 Vicuna、Alpaca、Flan-T5 等多款開源模型,並優化了冷啟動時間。開發者現在可以透過簡單的 API 與 SDK,輕鬆在應用程式中整合語言模型的文字生成與串流(Streaming)輸出功能。
本指南是 Hugging Face 介紹如何使用 TRL(Transformer Reinforcement Learning)與 PEFT(LoRA)技術,對 LLaMA 模型進行人類回饋強化學習(RLHF)的經典實戰教學。文章以 Stack Exchange 數據集為例,詳細拆解了監督式微調(SFT)、獎勵模型(RM)訓練,以及近端策略最佳化(PPO)三大核心步驟,展示了如何在有限的硬體資源下完成大語言模型的對齊(Alignment)訓練。
Vercel 分享了在面對「搶票(Ticket Drops)」等瞬間極端流量暴增時的架構應對指南。透過結合增量靜態生成(ISR)降低伺服器負載,並利用 Edge Middleware 實現即時排隊機制(Waiting Room)。搭配 Serverless Functions 的自動擴展與邊緣快取,確保系統在高併發下依然穩定,避免後端資料庫崩潰。