Microsoft 與 Hugging Face 宣布深化合作,將 Hugging Face 的開源模型庫與 Azure AI Foundry(前身為 Azure AI Studio)進行深度整合。開發者現在可以直接在 Azure 安全且具備合規性的企業級環境中,輕鬆搜尋、部署與微調數十萬個 Hugging Face 的開源模型,大幅簡化企業導入開源 AI 的工作流程。
知名簡報平台 Prezi 為了在產品中導入多模態 AI 功能,與 Hugging Face 展開深度合作。透過利用 Hugging Face Hub 的開源模型生態系,並加入「專家支持計畫(Expert Support Program)」,Prezi 獲得了 HF 頂尖工程師的直接技術指導。這項合作不僅解決了模型微調與推理優化的技術瓶頸,更大幅縮短了其機器學習路線圖的時程,實現高效的多模態功能落地。
Hugging Face 宣布與微軟深化合作,將其開源模型庫與 Azure AI Studio 進行深度整合。開發者現在可以直接在 Azure 上以無伺服器 API(Model-as-a-Service)形式部署熱門開源模型。此外,雙方也加強了對 Windows AI 本地端運算(如 ONNX Runtime)的支援,全面打通從雲端到邊緣端的開發流程。
本案例研究探討了企業級生成式 AI 平台 Writer 如何與 Hugging Face 深度合作。Writer 透過 Hugging Face 的 Transformers、Accelerate 以及 Text Generation Inference (TGI) 等技術,成功開發並部署了專為企業設計的 Palmyra 系列模型。這不僅大幅降低了模型訓練與推論的成本,更在確保數據隱私與合規性的前提下,為企業客戶提供了高度客製化的 AI 解決方案。
Hugging Face 宣布推出專為 Amazon SageMaker 設計的全新深度學習容器(DLC),用於部署大型語言模型(LLM)。該容器整合了 Text Generation Inference (TGI) 技術,支援張量並行、動態批處理與 Token 串流。開發者現在能以極低延遲與高吞吐量,在 AWS 託管環境中輕鬆部署 Falcon、Llama 等開源大模型。
Hugging Face 宣布與微軟 Azure 展開深度合作,於 Azure 機器學習平台推出 Hugging Face Model Catalog。這項整合讓開發者能直接在 Azure 安全且合規的基礎設施中,一鍵部署與微調數萬個 Hugging Face 的開源模型。此舉大幅降低了企業採用開源 AI 技術的門檻,並強化了 Azure 的開源生態系。
Gradio 2.0 迎來與 Hugging Face 的重大整合,推出全新功能讓開發者能直接載入並混合 Model Hub 中的模型。透過簡單的 Python 程式碼,即可快速建立機器學習應用的 Web 介面。這項更新不僅簡化了模型展示流程,更支援並排比較與多模型串聯,極大提升了原型開發與分享的效率。
本文介紹如何將 Hugging Face Transformers 中的 TensorFlow 模型導出為 SavedModel 格式,並利用 TensorFlow Serving 進行高效部署。透過啟用 XLA(加速線性代數)編譯,開發者可以顯著降低推理延遲並提高吞吐量。這套方案為生產環境提供了一個無需 Python 運行時、高併發且低延遲的 NLP 模型服務架構。