Qualcomm Unveils Dragonfly Data Center Brand for the Agentic AI Era
INSIDE 硬塞 AI1d agoHardwareAt Computex 2026, Qualcomm described AI agents as a major driver of cross-device hardware upgrades. The company unveiled Dragonfly, a new data center brand focused on inference computing. The announcement outlines a broader strategy spanning endpoint devices and cloud infrastructure, although the source does not provide specifications, performance figures, or deployment timelines.
After Nvidia’s $20B not-aqui-hire, AI chip startup Groq reportedly raising $650M
TechCrunch AI4d agoHardwareTechCrunch cites Axios reporting that AI chipmaker Groq is seeking $650 million in internal funding. The company is reportedly pivoting from hardware toward AI inference, the stage focused on how models respond to prompts. The report comes after Nvidia’s $20 billion not-aqui-hire, underscoring continued investor attention around AI compute and inference infrastructure.
Protecting against inference theft
Vercel Changelog4d agoCommentaryOnly the title is available, so specific Vercel product changes or implementation steps cannot be confirmed. The topic appears to focus on protecting AI inference resources from unauthorized access, abuse, or cost-draining traffic. For teams deploying AI apps, the practical takeaway is to treat inference endpoints as high-value backend assets requiring access control, monitoring, and abuse prevention.
Has the hunt for AI compute uncovered the next Cerebras?
TechCrunch AI5d agoHardwareTechCrunch reports that General Compute has raised a $15 million seed round at a $60 million post-money valuation to build an AI inference neocloud. The company is ordering $300 million of SambaNova SN50 chips, betting they can outperform GPUs and rival specialized chips for inference. The story frames inference speed, deployment flexibility, and lower power needs as key battlegrounds in AI infrastructure.
New AI Infra Decacorns: Fireworks, Baseten, and OpenRouter★ 78
Latent Space6d agoBusinessAI infrastructure startups Fireworks and Baseten have reportedly reached massive valuations, reflecting intense investor interest in developer-focused inference and deployment platforms. OpenRouter, the popular LLM API aggregator, is also on a rapid growth trajectory. This funding wave highlights a major capital shift toward cost-effective, developer-friendly API and hosting solutions.
OpenRouter more than doubles valuation to $1.3B in a year
TechCrunch AI7d agoBusinessOpenRouter, an AI gateway startup founded in 2023, raised a $113 million Series B led by CapitalG. The round reportedly values the company at about $1.3 billion post-money, more than doubling from its estimated $547 million valuation after its June 2025 Series A. The company says it now offers access to over 400 models, has 8 million global users, and processes 100 trillion tokens per month.
AI 進入推論時代！蘇姿丰看好 CPU 市場年增 35%，架構很快將變「1:1」★ 75
INSIDE 硬塞 AI11d agoOpinionAMD 執行長蘇姿丰表示，AI 應用正從訓練快速轉向推論階段，帶動 CPU 需求急遽上升。過去半年至一年內少有人提及的 CPU 短缺問題，自去年底起已出現明顯供需轉變。她預期 CPU 市場將迎來年增 35% 的成長，且硬體架構很快將轉變為 CPU 與 GPU 比例趨近「1:1」的新格局。
Unlocking asynchronicity in continuous batching★ 75
Hugging Face Blog19d agoRelease本文介紹了 Hugging Face 在 LLM 推論優化上的最新技術：在連續批次處理（Continuous Batching）中解鎖非同步（Asynchronicity）機制。傳統的連續批次處理在排程、GPU 執行與 Token 處理間存在同步瓶頸。透過將這些步驟非同步化，能有效重疊 CPU 與 GPU 的工作負載，進而大幅提升推論吞吐量並優化首字輸出時間（TTFT）。
Building Blocks for Foundation Model Training and Inference on AWS★ 75
Hugging Face Blog21d agoTutorialHugging Face 與 AWS 合作介紹在 AWS 上構建基礎模型的關鍵組件。文章涵蓋如何利用 AWS Trainium 和 Inferentia 晶片，並結合 Hugging Face Optimum Neuron 庫來優化效能。同時，也探討了透過 Amazon SageMaker 與專屬深度學習容器（DLCs）來簡化分散式訓練與高吞吐量推理的部署流程。
DeepInfra on Hugging Face Inference Providers 🔥★ 72
Hugging Face Blog34d agoReleaseHugging Face 宣布將知名低成本、高效能的推理平台 DeepInfra 整合至其「推理服務商（Inference Providers）」計畫中。現在，開發者在 Hugging Face Hub 上瀏覽開源模型（如 Llama 3、Mistral 等）時，可以直接選擇 DeepInfra 作為後端託管 API，無需自行架設 GPU 基礎設施。這項合作為開發者提供了更多元、更具性價比的無伺服器（Serverless）推理選擇，進一步簡化了 AI 應用的部署流程。
Continuous batching from first principles★ 80
Hugging Face Blog189d agoTutorialHugging Face 發布技術教學，從第一性原理深入探討 LLM 推理的關鍵優化技術「連續批處理（Continuous Batching）」。文章解析了傳統靜態批處理在處理變長文本時的低效問題，並詳細說明如何透過 Token 級別的動態調度，在 Prefill（預填充）與 Decode（解碼）階段最大化 GPU 利用率。這對於想優化 LLM 部署成本與吞吐量的開發者與研究人員是必讀指南。
OVHcloud on Hugging Face Inference Providers 🔥★ 72
Hugging Face Blog190d agoReleaseHugging Face 宣布與歐洲最大雲端服務商 OVHcloud 合作，將其納入「推理供應商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 OVHcloud 託管的基礎設施來運行開源 AI 模型。此合作為重視 GDPR 合規與數據主權的企業，提供了安全、高效且具成本效益的無伺服器（Serverless）推理新選擇。
Get your VLM running in 3 simple steps on Intel CPUs★ 70
Hugging Face Blog230d agoTutorialHugging Face 介紹如何利用 OpenVINO 在 Intel CPU 上優化並運行視覺語言模型（VLM）。開發者只需透過安裝環境、轉換模型、執行推論三個簡單步驟，即可在無獨立顯卡的 Intel 硬體上實現高效的多模態處理，大幅降低 VLM 的本地部署門檻，非常適合邊緣運算與個人開發環境。
Scaleway on Hugging Face Inference Providers 🔥★ 70
Hugging Face Blog256d agoReleaseHugging Face 宣布歐洲知名雲端服務商 Scaleway 正式加入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，一鍵選擇 Scaleway 作為後端 API 來部署與運行開源 AI 模型。這項合作為重視數據隱私與歐盟 GDPR 合規性的企業與開發者，提供了更具性價比且符合法規的歐洲本土 GPU 推理新選擇。
Public AI on Hugging Face Inference Providers 🔥★ 70
Hugging Face Blog258d agoReleaseHugging Face 宣佈與 Public AI 合作，正式將其整合至「推理提供商（Inference Providers）」生態系中。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Public AI 提供的無伺服器（Serverless）API 來運行 Llama、Mistral 等熱門開源模型。此舉不僅簡化了 AI 應用的部署流程，也為開發者在尋求高效能、低延遲且具成本效益的推理基礎設施時，提供了全新的選擇。
Torch compile caching for inference speed★ 75
Replicate Blog267d agoTutorialPyTorch 的 torch.compile 能顯著提升模型推論速度，但首次編譯的「冷啟動」時間往往令人頭痛。Replicate 介紹了如何透過快取（Caching）編譯後的模型成品，避免每次容器啟動時重複編譯。這項技術能有效縮短伺服器無預載（Serverless）部署時的啟動延遲，讓開發者在享受高效能推論的同時，也能擁有極速的部署與反應時間。
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM★ 80
Hugging Face Blog316d agoReleaseHugging Face 宣布與 NVIDIA 深度整合，推出支援多種 LLM 的 NVIDIA NIM（推理微服務）。開發者現在可以直接在 Hugging Face 平台上，利用經 TensorRT-LLM 優化的 NIM 容器，輕鬆部署 Llama、Mistral 等熱門開源模型，大幅提升推理吞吐量並降低延遲，簡化企業級 AI 應用的落地流程。
How we optimized FLUX.1 Kontext [dev]★ 75
Replicate Blog322d agoTutorialReplicate 發表技術專文，深入解析如何優化 FLUX.1 Kontext [dev] 圖像生成模型。文章聚焦於「Taylor Seer」優化技術，這是一種利用泰勒展開式來評估並剪枝模型參數的方法。透過此技術，Replicate 成功在維持高品質圖像生成的同時，顯著降低了推論延遲與 GPU 記憶體成本，為開發者提供更高效的 FLUX 部署方案。
Asynchronous Robot Inference: Decoupling Action Prediction and Execution★ 75
Hugging Face Blog327d agoOpinion傳統機器人控制常受限於 AI 模型推論速度，導致動作不流暢。Hugging Face 提出「非同步機器人推論」架構，將「動作預測（AI 模型）」與「動作執行（硬體控制）」解耦。此方法允許硬體以高頻率（如 100Hz+）持續運行，而較慢的 AI 模型則在背景非同步更新動作指令，大幅提升了機器人在實時環境中的反應速度與操作流暢度。
Transformers backend integration in SGLang★ 75
Hugging Face Blog344d agoRelease高效能 LLM 推理與結構化生成框架 SGLang 宣布正式整合 Hugging Face Transformers 作為其執行後端。此更新讓開發者能直接利用 SGLang 的結構化控制 API（如 gen、select 等）驅動任何 Hugging Face 上的模型，無需等待原生 CUDA 核心適配，為新架構模型的快速原型設計、除錯與相容性測試提供極大便利。
Groq on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog351d agoReleaseHugging Face 正式將 Groq 納入其「推理提供商（Inference Providers）」生態系。開發者現在可以直接在 Hugging Face Hub 上，選擇由 Groq 的 LPU 晶片驅動的 API 來運行熱門開源模型（如 Llama 3 和 Mistral）。這項整合不僅簡化了高吞吐量、低延遲應用的開發流程，也為開源模型生態注入了更強大的硬體支援。
Featherless AI on Hugging Face Inference Providers 🔥★ 75
Hugging Face Blog355d agoReleaseHugging Face 宣布與 Featherless AI 合作，將其納入官方推理供應商（Inference Providers）名單。Featherless 專注於無冷啟動的無伺服器（Serverless）推理技術，能高效運行數千種開源與微調模型。開發者現在可以直接在 Hugging Face Hub 上，透過 Featherless 的高效能架構一鍵部署與調用各種利基型模型，大幅降低延遲與維運成本。
Run 30,000+ LoRAs on Hugging Face with Replicate★ 75
Replicate Blog383d agoNew ToolReplicate 宣布與 Hugging Face 展開深度合作，將其高效的無伺服器推理服務引進 Hugging Face 平台。這項整合讓開發者能直接在 Hugging Face 上運行超過 30,000 個 LoRA 微調模型，免去繁瑣的 GPU 配置。結合了 Hugging Face 的豐富生態與 Replicate 的彈性算力，大幅簡化了 AI 模型的部署與測試流程。
Blazingly fast whisper transcriptions with Inference Endpoints★ 75
Hugging Face Blog385d agoNew ToolHugging Face 宣布在其託管服務 Inference Endpoints 中推出針對 Whisper 語音轉文字模型的全新優化部署方案。該方案結合了高度優化的推理引擎，能大幅提升轉錄速度並降低延遲。開發者只需一鍵即可部署企業級、具備自動擴展功能的語音識別 API，非常適合需要處理大量音訊數據的應用場景。
Prefill and Decode for Concurrent Requests - Optimizing LLM Performance★ 82
Hugging Face Blog412d agoTutorialLLM 推論包含計算密集的 Prefill（處理輸入）與記憶體頻寬受限的 Decode（逐字生成）階段。當面對多個併發請求時，傳統靜態批處理會導致資源浪費。本文介紹了連續批處理（Continuous Batching）、區塊預填充（Chunked Prefill）以及 Prefill-Decode 分離等技術，幫助開發者在高併發場景下最大化吞吐量並降低延遲。
Efficient Request Queueing – Optimizing LLM Performance★ 75
Hugging Face Blog426d agoTutorial隨著大語言模型（LLM）應用的普及，如何在高併發流量下維持低延遲與高吞吐量成為關鍵挑戰。本文深入分析了 LLM 推論的記憶體瓶頸（特別是 KV Cache），並探討如何結合「連續批處理（Continuous Batching）」與「請求佇列（Request Queueing）」機制。透過在推論引擎層與網關層實施合理的佇列策略，能有效防止 GPU 記憶體溢位（OOM），並在維持高吞吐量的同時，優化首字延遲（TTFT）與字元間延遲（ITL）。
🚀 Accelerating LLM Inference with TGI on Intel Gaudi★ 75
Hugging Face Blog431d agoReleaseHugging Face 宣布其文字生成推理（TGI）框架現已整合 Intel Gaudi 加速器後端。這項合作讓開發者能直接在 Intel Gaudi 2 和 Gaudi 3 晶片上部署高效能 LLM，並享有連續批處理（Continuous Batching）與張量並行（Tensor Parallelism）等優化技術。此舉為企業在 NVIDIA 之外，提供了一個極具成本效益且易於部署的 AI 推理硬體新選擇。
The New and Fresh analytics in Inference Endpoints
Hugging Face Blog438d agoReleaseHugging Face 宣布為其託管式部署服務 Inference Endpoints 推出全新的分析（Analytics）儀表板。此更新帶來了更直觀且即時的數據視覺化，讓開發者能輕鬆監控請求量、延遲、Token 消耗與錯誤率。這項改進大幅提升了生產環境中 AI 模型的觀測性，有助於開發者進行效能調優與成本控制。
Groq, fal, and DeepInfra join the Vercel Marketplace★ 75
Vercel Changelog441d agoReleaseVercel 宣佈 Groq、fal 和 DeepInfra 正式上架其 Marketplace。開發者現在可以直接在 Vercel 平台中一鍵啟用這些熱門的 AI 推理與生成服務。此整合不僅簡化了 API 金鑰管理與環境變數設定，還提供了統一帳單功能，大幅降低了在 Vercel 專案中部署高效能 AI 應用的門檻。
Introducing Three New Serverless Inference Providers: Hyperbolic, Nebius AI Studio, and Novita 🔥★ 75
Hugging Face Blog469d agoReleaseHugging Face 宣布新增三家無伺服器（Serverless）推論合作夥伴：Hyperbolic、Nebius AI Studio 與 Novita AI。開發者現在能直接在 Hugging Face 生態系中，以更具彈性、低延遲且具成本效益的方式呼叫各類主流開源模型。這項更新不僅擴展了 Hugging Face 的推論 API 選擇，也為去中心化運算與高效能 GPU 雲端服務帶來更多應用場景。