Daytona 執行長 Ivan Burazin 分享該平台如何透過提供安全隔離的「開發環境沙盒」,解決 AI Agent 執行程式碼的安全與效能痛點。 公司目前取得驚人的 74% 月增長率,每日執行次數達 85 萬次,並推出專為 Agent 設計的全新「Agent Cloud」。 訪談深入探討了裸機沙盒(Bare Metal Sandboxes)的技術優勢、強化學習評估(RL Evals)以及 AI 時代下開發環境的演進。
Hugging Face 宣布將知名低成本、高效能的推理平台 DeepInfra 整合至其「推理服務商(Inference Providers)」計畫中。現在,開發者在 Hugging Face Hub 上瀏覽開源模型(如 Llama 3、Mistral 等)時,可以直接選擇 DeepInfra 作為後端託管 API,無需自行架設 GPU 基礎設施。這項合作為開發者提供了更多元、更具性價比的無伺服器(Serverless)推理選擇,進一步簡化了 AI 應用的部署流程。
Hugging Face 宣布歐洲知名雲端服務商 Scaleway 正式加入其「推理提供商(Inference Providers)」生態系。開發者現在可以直接在 Hugging Face Hub 上,一鍵選擇 Scaleway 作為後端 API 來部署與運行開源 AI 模型。這項合作為重視數據隱私與歐盟 GDPR 合規性的企業與開發者,提供了更具性價比且符合法規的歐洲本土 GPU 推理新選擇。
Hugging Face 宣布與 Cloudflare 深度整合,推出無伺服器 GPU 推理服務。開發者現在可以直接在 Hugging Face Hub 上,一鍵將熱門的開源模型(如 Llama 和 Mistral)部署至 Cloudflare Workers AI。這項合作免除了管理 GPU 基礎設施的繁瑣工作,並利用 Cloudflare 的全球邊緣網路提供低延遲、高彈性的 AI 推理能力。
Hugging Face 與 Google 宣布建立戰略合作夥伴關係,旨在讓開發者更輕鬆地在 Google Cloud 上構建、訓練和部署 AI 模型。 此合作將 Hugging Face 的開源生態系統與 Google Cloud 的基礎設施(如 Vertex AI、GKE 和 TPU)深度整合。 開發者未來能直接在 Google Cloud 上一鍵部署 Hugging Face 上的數十萬個模型,大幅降低 AI 開發與運算門檻。
Hugging Face 介紹了其託管服務 Inference Endpoints,旨在簡化大型語言模型(LLM)的部署流程。開發者只需在 Hugging Face Hub 選擇模型,即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術,支援動態批處理與張量並行,大幅提升推理效率並降低成本。
Hugging Face Inference Endpoints 是一項完全託管的服務,旨在簡化機器學習模型的部署流程。用戶只需點擊幾下,即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線(VPC),大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。