Jensen Huang Calls Marvell the Next Trillion-Dollar Company at Computex
INSIDE 硬塞 AI13h agoHardwareAt Computex, Marvell argued that connectivity is becoming a key bottleneck for AI infrastructure as systems scale. NVIDIA CEO Jensen Huang appeared at the event and described Marvell as the next trillion-dollar company. The presentation highlighted Marvell's AI connectivity stack, reflecting growing industry attention on the links supporting large-scale AI systems.
The memory shortage is causing a repricing of consumer electronics★ 75
Simon Willison's Weblog10d agoBusiness隨著 AI 資料中心爆發，高頻寬記憶體（HBM）需求大增。由於全球僅剩三大記憶體廠且晶圓總產能固定，HBM 預計在 2026 年底將搶佔 20% 的晶圓產能。由於生產 1GB 的 HBM 所消耗的晶圓是普通 DDR 的三倍以上，這將嚴重擠壓手機與電腦記憶體（LPDDR/DDR）的產量，導致消費性電子產品（尤其是百元美金以下的平價手機）價格上漲。
Samsung’s memory chip employees negotiated $340,000 bonuses this year
The Verge AI11d agoBusiness三星電子與其半導體部門員工達成一項初步協議，成功化解了迫在眉睫的 18 天罷工危機。根據協議細節，部分員工今年將有資格獲得平均高達 34 萬美元（約合新台幣 1100 萬元）的年度獎金。此次爭議的核心在於半導體部門的獎金上限制度，而隨著 AI 浪潮帶動記憶體晶片需求與利潤暴增，員工積極爭取與獲利相匹配的報酬。
川普政府砸 20 億美元入股 9 家量子運算公司，IBM 獲 10 億成立美國首座量子晶片代工廠★ 75
INSIDE 硬塞 AI11d agoBusiness美國政府根據《晶片法案》宣布一項高達 20 億美元的投資計畫，注資 9 家本土量子運算企業。其中 IBM 獲得半數資金（10 億美元），將用於打造美國首座量子晶片代工廠。此舉旨在強化美國在量子技術供應鏈的自主性，並在與中國的科技競爭中保持絕對的技術領先優勢。
AI 進入推論時代！蘇姿丰看好 CPU 市場年增 35%，架構很快將變「1:1」★ 75
INSIDE 硬塞 AI11d agoOpinionAMD 執行長蘇姿丰表示，AI 應用正從訓練快速轉向推論階段，帶動 CPU 需求急遽上升。過去半年至一年內少有人提及的 CPU 短缺問題，自去年底起已出現明顯供需轉變。她預期 CPU 市場將迎來年增 35% 的成長，且硬體架構很快將轉變為 CPU 與 GPU 比例趨近「1:1」的新格局。
Hark raises $700M Series A for its secretive ‘universal’ AI interface★ 75
TechCrunch AI12d agoBusiness神秘 AI 新創公司 Hark 宣布完成高達 7 億美元的 A 輪融資，資金將用於開發其「通用」AI 介面。Hark 預計於今年夏天推出首款多模態模型，旨在驅動一個能與現有產品和服務協同運作的個人 AI 平台。此外，該公司未來還計劃推出專為這些系統量身打造的硬體設備。
Jensen Huang says he’s found a ‘brand new’ $200B market for Nvidia★ 85
TechCrunch AI12d agoBusinessNvidia 執行長黃仁勳指出，公司的下一個重大成長動能將是專為 AI Agent（人工智慧代理）設計的 CPU 市場，估值高達 2000 億美元。隨著 AI 技術從單純的對話生成轉向能自主執行任務的 Agent，底層運算架構的需求也正在發生轉變。這項預測顯示出 Nvidia 除了在 GPU 領域稱霸外，也正積極佈局 CPU 與整體系統級的 AI 生態系。
[AINews] Cerebras' $60B IPO: Slowly, then All at Once★ 85
Latent Space17d agoBusiness晶片獨角獸 Cerebras Systems 正式啟動估值高達 600 億美元的 IPO 案。這家以「晶圓級引擎（WSE）」巨大晶片聞名的公司，長期以來致力於透過單一超大晶片解決 AI 運算瓶頸。本次 IPO 不僅是半導體與 AI 領域的重大里程碑，也象徵著市場對 Nvidia 替代方案的強烈渴望與資金挹注。
Import AI 444: LLM societies; Huawei makes kernels with AI; ChipBench★ 75
Import AI (Jack Clark)113d agoCommentary本期 Import AI 涵蓋三大前沿議題：首先探討如何量化 AI 的「創意」與 LLM 社會模擬（LLM societies）的最新進展；其次聚焦華為利用 AI 技術自動生成與優化作業系統核心（Kernel）的實踐，展示 AI 在系統級程式設計的潛力；最後介紹 ChipBench，這是一個評估 AI 在晶片設計與硬體描述語言（HDL）生成能力的全新基準測試。
On the Shifting Global Compute Landscape★ 75
Hugging Face Blog216d agoOpinion本文深入探討全球 AI 算力基礎設施的劇烈變革。隨著地緣政治與市場需求的變化，算力正從少數雲端巨頭壟斷，走向「主權算力」與區域化部署。同時，AMD、Intel 及邊緣裝置晶片的崛起打破了單一硬體壟斷，而開源社群與 Hugging Face 的優化工具（如 Optimum）正成為連接多元硬體與模型的關鍵橋樑，推動 AI 走向去中心化與普及化。
🚀 Accelerating LLM Inference with TGI on Intel Gaudi★ 75
Hugging Face Blog431d agoReleaseHugging Face 宣布其文字生成推理（TGI）框架現已整合 Intel Gaudi 加速器後端。這項合作讓開發者能直接在 Intel Gaudi 2 和 Gaudi 3 晶片上部署高效能 LLM，並享有連續批處理（Continuous Batching）與張量並行（Tensor Parallelism）等優化技術。此舉為企業在 NVIDIA 之外，提供了一個極具成本效益且易於部署的 AI 推理硬體新選擇。
Introducing the AMD 5th Gen EPYC™ CPU★ 75
Hugging Face Blog600d agoReleaseHugging Face 發表與 AMD 合作的最新進展，介紹代號「Turin」的第 5 代 AMD EPYC 處理器。憑藉 Zen 5 架構與對 FP16/BF16 的硬體優化，新一代處理器在 LLM 推論與微調上展現極佳效能。開發者可透過 Hugging Face 的 Optimum 庫與 TGI 輕鬆部署，為非 GPU 環境提供強大的 AI 算力選擇。
Hugging Face on AMD Instinct MI300 GPU★ 75
Hugging Face Blog742d agoReleaseHugging Face 宣布與 AMD 展開深度合作，全面優化 AMD Instinct MI300X GPU。透過 AMD ROCm 軟體棧與 Hugging Face 核心庫（如 Transformers、TGI）的無縫整合，開發者無需修改程式碼即可在 MI300X 上運行 Llama 3 等大型模型。MI300X 憑藉 192GB HBM3 超大記憶體，為企業提供極具性價比且能擺脫單一晶片供應商依賴的高效能 AI 算力選擇。
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon★ 70
Hugging Face Blog754d agoTutorial本文介紹如何結合 Intel Gaudi 2 AI 加速器與 Intel Xeon 處理器，打造具成本效益的企業級檢索增強生成（RAG）應用。透過 Hugging Face 的 TEI 與 TGI 技術，企業能在 Xeon 上高效處理向量嵌入，並在 Gaudi 2 上加速大語言模型推理，為非 Nvidia 生態系提供強大的替代方案。
AMD Pervasive AI Developer Contest!
Hugging Face Blog839d agoBusinessAMD 與 Hugging Face 合作舉辦「Pervasive AI 開發者大賽」，旨在推廣 AMD 的 AI 硬體生態系。競賽分為生成式 AI、機器人 AI 與 PC AI 三大賽道，參賽者需利用 AMD Radeon GPU、Ryzen AI 或 Kria 開發套件，並結合 Hugging Face 的模型進行開發。本活動提供豐富的硬體支援與高達 15 萬美元的總獎金，吸引全球開發者共襄盛舉。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face Blog1162d agoTutorialHugging Face 與 Intel 合作，展示在 Habana Gaudi2 晶片上運行 1760 億參數的大型語言模型 BLOOMZ 的推理表現。 透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可在 Gaudi2 上輕鬆部署並加速 LLM。 基準測試顯示 Gaudi2 在處理超大型模型時，展現出超越 NVIDIA A100 的優異吞吐量與低延遲，為企業提供極具性價比的替代方案。
Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
Hugging Face Blog1266d agoCommentaryHugging Face 發布 Habana Gaudi2 與 Nvidia A100 80GB 的基準測試對比。結果顯示，Gaudi2 在 BERT 和 T5 等主流模型的訓練速度上比 A100 快上近兩倍。透過 optimum-habana 庫，開發者只需修改極少程式碼即可無縫轉移，為 Nvidia 晶片短缺與高成本提供了強力的替代方案。