Hugging Face 與 Google Cloud 達成全新戰略合作,旨在為開發者提供更便利的開源 AI 開發環境。 開發者現在可以直接在 Google Cloud 的 Vertex AI 和 GKE 上一鍵部署 Hugging Face 的數十萬個開源模型。 此合作還整合了 Google Cloud Marketplace,並支援 TPU 與 GPU 加速,大幅降低企業與個人開發者訓練與部署 AI 的門檻。
本文介紹了 Hugging Face、Keras 與 Google TPU 團隊合作的最新實驗,旨在評估大語言模型(LLM)在被指出錯誤後的「自我糾錯」能力。實驗採用類似 Chatbot Arena 的雙盲測試,利用 Keras 的多後端優勢與 TPU 的強大算力,測試多款開源模型。結果顯示,多數模型在沒有外部具體反饋的情況下,自我糾錯能力仍有極大提升空間。
Hugging Face 與 Google Cloud 合作,正式將 TPU(如 TPU v5e)引入其平台。用戶現在可以在 Hugging Face Spaces 和 Inference Endpoints 中直接選擇 TPU 作為硬體加速器。這項整合為部署大型語言模型和擴散模型提供了極具性價比的 GPU 替代方案,大幅降低了雲端推理的成本與門檻。
Hugging Face 與 Google 宣布建立戰略合作夥伴關係,旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施(如 Vertex AI、GKE 和 TPU)深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型,大幅降低 AI 開發與運算門檻。
Hugging Face 發表技術指南,展示如何結合 JAX 框架與 Google 最新 Cloud TPU v5e 晶片來加速 SDXL 推理。透過 JAX 的即時編譯(JIT)與 Diffusers 庫的 Flax 支援,開發者能以極高性價比進行大規模圖像生成。文中提供實作步驟與效能基準測試,為尋求 GPU 替代方案的團隊提供高效能選擇。
本指南詳細說明如何利用 TensorFlow 和 Google TPU 來加速 Hugging Face Transformers 模型的訓練。內容涵蓋 TPU 的初始化設定、使用 tf.distribute.TPUStrategy 配置分散式訓練環境、利用 tf.data 建立高效的數據輸入管道,並在 TPU 範疇內載入與訓練模型,非常適合需要處理大規模 NLP 任務的開發者。
Hugging Face 宣布在 diffusers 庫中支援 JAX 和 Flax 版本的 Stable Diffusion。藉由 JAX 的 XLA 編譯與硬體加速,開發者可以在 TPU 和 GPU 上實現極致的推理速度,並輕鬆透過並行運算(pmap)在數秒內生成大量高品質圖片。這為大規模圖像生成與研究提供了全新的高效能選擇。
Hugging Face 推出全新開源庫 Accelerate,旨在簡化 PyTorch 的分佈式訓練流程。開發者無需手動處理複雜的設備分配、混合精度(FP16)縮放或分佈式啟動指令。只需使用 Accelerator 類別包裝模型與數據,即可在單機、多 GPU 或 TPU 環境下直接運行相同的代碼,極大提升開發與部署效率。
Hugging Face 於 2021 年宣布與 Google 合作,正式支援 PyTorch/XLA。這項整合讓 PyTorch 開發者無需修改大量程式碼,即可利用 Google Cloud TPU 的強大算力來加速 Transformer 模型的訓練與推理。透過 Hugging Face 的 Trainer API,開發者可以輕鬆在單個或多個 TPU 節點上進行分散式訓練,大幅提升運算效率並降低成本。