Google’s new anything-to-anything AI model is wild★ 85
The Verge AI10d agoReleaseGoogle 發表了全新的「任意對任意（anything-to-anything）」AI 模型 Gemini Omni。外媒記者實測將其用於將小孩的毛絨鹿玩具「Buddy」合成到各種度假場景中，發現其生成效果極其逼真且操作簡單。這款模型不僅展現了強大的多模態影片生成與編輯能力，同時也再度引發了關於深偽（Deepfake）技術門檻降低與倫理界線的討論。
Hark raises $700M Series A for its secretive ‘universal’ AI interface★ 75
TechCrunch AI12d agoBusiness神秘 AI 新創公司 Hark 宣布完成高達 7 億美元的 A 輪融資，資金將用於開發其「通用」AI 介面。Hark 預計於今年夏天推出首款多模態模型，旨在驅動一個能與現有產品和服務協同運作的個人 AI 平台。此外，該公司未來還計劃推出專為這些系統量身打造的硬體設備。
[AINews] Google I/O 2026: Gemini 3.5 Flash, Omni (NanoBanana for Video), Spark (background agents), and Antigravity 2.0★ 85
Latent Space13d agoReleaseLatent Space 報導 Google I/O 2026 最新進展。本次大會亮點包括新一代輕量快速模型 Gemini 3.5 Flash、專注於影片處理的 Omni (NanoBanana)、主打背景運作的 Agent 框架 Spark，以及技術升級的 Antigravity 2.0。這些發布顯示 Google 持續在多模態影片、自主 Agent 及模型效能上發力。
llm-gemini 0.32
Simon Willison's Weblog13d agoReleaseSimon Willison 宣布其命令列工具外掛 `llm-gemini` 升級至 0.32 版本，正式加入對 Google 最新一代輕量高速模型 Gemini 3.5 Flash 的支援。使用者現在可以直接透過 `llm` CLI 工具調用此模型，進行快速的文字與多模態測試。
Introducing Gemini Omni★ 95
Google DeepMind Blog16d agoReleaseGoogle DeepMind 發表新一代「Gemini Omni」模型，採用原生端到端全模態架構，能同時處理並輸出文字、音訊與視覺資訊。該模型顯著降低了互動延遲，實現如同真人般的流暢對話與即時視訊引導，未來將深度整合至 Android 系統與 Google 生態系，並透過 API 開放給開發者。
Gemini for Science: AI experiments and tools for a new era of discovery★ 85
Google DeepMind Blog16d agoReleaseGoogle DeepMind 宣布推出「Gemini for Science」計畫，整合了一系列專為科學研究設計的 AI 工具與實驗。該計畫旨在利用 Gemini 的多模態與推理能力，協助科學家擴大研究規模並提升探索的精準度。這標誌著 AI 從通用助手邁向深度的科學發現夥伴，為材料科學、生物醫學等領域帶來新的可能性。
Introducing NVIDIA Nemotron 3 Nano Omni: Long-Context Multimodal Intelligence for Documents, Audio and Video Agents★ 75
Hugging Face Blog35d agoReleaseNVIDIA 推出全新輕量級多模態模型 Nemotron 3 Nano Omni，主打「長文本」與「多模態」處理能力。該模型專為文件分析、語音與影片理解的 AI Agent 所設計，能在資源受限的設備上運行。這標誌著邊緣端（On-device）多模態 Agent 應用的重大突破。
Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers★ 80
Hugging Face Blog47d agoTutorialHugging Face 發布最新指南，展示如何利用 Sentence Transformers 框架進行多模態嵌入與 Reranker 模型的訓練與微調。此更新簡化了將文字與影像對齊至同一向量空間的流程，並支援雙塔（Bi-Encoder）與交叉編碼器（Cross-Encoder）架構。這對於建構多模態 RAG（檢索增強生成）系統與跨模態搜尋引擎的開發者來說，提供了極低門檻的實作路徑。
Multimodal Embedding & Reranker Models with Sentence Transformers★ 78
Hugging Face Blog54d agoReleaseHugging Face 宣布其熱門開源庫 Sentence Transformers 正式支援多模態（Multimodal）嵌入與重排（Reranker）模型。開發者現在可以使用統一的 API 同時處理文本與影像，將它們映射到相同的向量空間中。這項更新大幅降低了建構多模態 RAG、圖文搜尋與跨模態推薦系統的門檻。
Welcome Gemma 4: Frontier multimodal intelligence on device★ 85
Hugging Face Blog61d agoReleaseGoogle 正式推出 Gemma 4 開放模型家族，將前沿的多模態智能帶入裝置端。Gemma 4 體積輕量、適合在手機與筆電運行，並具備強大的視覺與文字理解能力。Hugging Face 已在第一時間提供完整支援，開發者可立即透過 Transformers 進行微調與部署。
Falcon Perception★ 75
Hugging Face Blog62d agoRelease阿聯酋技術創新研究所（TII）在 Hugging Face 上發表了「Falcon Perception」模型。這標誌著著名的 Falcon 開源家族正式擴展至多模態與視覺感知領域。該模型旨在提升開源社群在視覺問答、圖像理解及多模態任務上的能力，延續了 TII 一貫的高效能與開源精神，為開發者提供強大的視覺感知工具。
Granite 4.0 3B Vision: Compact Multimodal Intelligence for Enterprise Documents★ 75
Hugging Face Blog63d agoReleaseIBM 於 Hugging Face 發布全新 Granite 4.0 3B Vision 模型。這款僅有 30 億參數的輕量級多模態模型，專為企業級文件理解、圖表分析與 OCR 數據提取而設計。其小巧的體積不僅大幅降低了部署門檻與運算成本，更在處理複雜商業報表與 PDF 文件時展現出極高的實用性，是企業本地化部署的理想選擇。
State of Open Source on Hugging Face: Spring 2026★ 85
Hugging Face Blog77d agoCommentaryHugging Face 發布 2026 年春季開源報告，揭示開源 AI 生態的最新趨勢。報告指出，具備推理能力的開源模型（如 DeepSeek 與 Qwen 系列）已成為社群主流；同時，以 smolagents 為首的輕量級 Agent 框架與本機端（On-Device）小模型正快速普及。此外，開源多模態與影片生成技術的下載量也創下歷史新高，展現出開源社群強大的創新動能。
Holotron-12B - High Throughput Computer Use Agent★ 75
Hugging Face Blog77d agoReleaseHcompany 在 Hugging Face 上推出了 Holotron-12B 開源模型，專為「電腦操作（Computer Use）」設計。該模型具備 120 億參數，主打「高吞吐量」特性，旨在提升 AI 代理在操作作業系統與應用程式時的反應速度與執行效率，為輕量高效的 Agent 邁出重要一步。
Improved Gemini audio models for powerful voice experiences★ 85
Google DeepMind Blog172d agoReleaseGoogle DeepMind 宣布推出改進後的 Gemini 音訊模型，專為即時語音體驗進行優化。新模型採用原生多模態架構，無需經過「語音轉文字」的中介步驟，即可直接理解並生成語音，大幅降低延遲。這項升級將賦予開發者構建更具情感表現力、反應更迅速的語音助理與互動應用的能力，並已陸續在 Google AI Studio 與 Vertex AI 上線。
Build with Nano Banana Pro, our Gemini 3 Pro Image model★ 78
Google DeepMind Blog194d agoReleaseGoogle DeepMind 宣布推出名為「Nano Banana Pro」的 Gemini 3 Pro 圖像模型。作為 Gemini 3 世代的專業級視覺模型，它旨在為開發者提供更強大的影像生成或理解能力。標題「Build with...」顯示該模型已開放 API 或開發工具，鼓勵開發者將其整合至各式應用中。
Start building with Gemini 3★ 95
Google DeepMind Blog196d agoReleaseGoogle DeepMind 宣布推出其最新一代旗艦模型 Gemini 3，並全面開放開發者進行建構。此版本在多模態理解、邏輯推理與生成速度上皆有顯著提升。開發者現在可以透過 Google AI Studio 和 Vertex AI 存取 Gemini 3 API，體驗更強大的上下文處理能力與更低的延遲，為下一代 AI 應用與 Agent 開發奠定基礎。
A new era of intelligence with Gemini 3★ 98
Google DeepMind Blog196d agoReleaseGoogle DeepMind 宣布推出全新一代旗艦模型 Gemini 3。此版本在多模態理解、複雜邏輯推理及長文本處理能力上皆有顯著突破。Gemini 3 更加強調「主動式智能體（Agentic AI）」的實用化，能自主規劃並執行跨平台的複雜任務，並大幅降低了延遲與運算成本，為個人與企業應用帶來全新變革。
SIMA 2: An Agent that Plays, Reasons, and Learns With You in Virtual 3D Worlds★ 85
Google DeepMind Blog201d agoReleaseGoogle DeepMind 推出新一代 AI 代理 SIMA 2，全面導入 Gemini 模型的能力。SIMA 2 不僅能在多個 3D 虛擬與遊戲世界中執行任務，還具備更強的推理、語言理解與即時決策能力。這項技術展示了 AI 如何從單純的指令接收者，演變為能在複雜互動環境中與人類協同合作的智慧夥伴。
MedGemma: Our most capable open models for health AI development★ 82
Google DeepMind Blog220d agoReleaseGoogle DeepMind 宣布在 MedGemma 系列中推出全新的多模態模型，這是目前用於醫療 AI 開發最強大的開源模型。該系列基於 Gemma 架構構建，旨在協助醫療研究人員與開發者進行臨床問答、醫學影像分析等任務。透過開放權重，Google 期望能加速全球醫療 AI 的創新與安全應用。
Gemini 2.5 Flash-Lite is now ready for scaled production use★ 75
Google DeepMind Blog220d agoReleaseGoogle DeepMind 宣佈 Gemini 2.5 Flash-Lite 結束預覽階段，正式推出穩定版（GA）。這款主打高性價比的輕量級模型，在維持小體積與低成本的同時，依然提供極高的輸出品質。它完整繼承了 Gemini 2.5 家族的強大功能，包含 100 萬 token 的超長上下文視窗與多模態處理能力，非常適合開發者與企業用於需要大規模部署與快速響應的生產環境。
Exploring the context of online images with Backstory★ 75
Google DeepMind Blog221d agoNew ToolGoogle DeepMind 發表全新實驗性 AI 工具「Backstory」，旨在幫助使用者探索網路圖片的脈絡與起源。該工具能分析圖片的傳播歷史、原始出處及可能的修改痕跡，協助使用者在假訊息充斥的網路環境中辨識真偽。這項技術展現了多模態 AI 在提升數位素養與打擊不實資訊方面的潛力。
Gemini Robotics 1.5 brings AI agents into the physical world★ 85
Google DeepMind Blog221d agoReleaseGoogle DeepMind 發表 Gemini Robotics 1.5，旨在將 AI Agent 的能力帶入實體世界。透過此系統，機器人將具備更強大的環境感知、多步驟任務規劃、邏輯思考、工具使用以及實體行動能力。這項進展代表著「實體代理（Physical Agents）」時代的開啟，能更有效率地解決現實世界中複雜且多步驟的實體任務。
Introducing the Gemini 2.5 Computer Use model★ 85
Google DeepMind Blog222d agoReleaseGoogle DeepMind 發表全新的 Gemini 2.5 Computer Use 專用模型，目前已透過 API 提供預覽。該模型基於 Gemini 2.5 Pro 的強大能力進行微調，旨在賦能 AI 代理（Agents）直接與作業系統及應用程式的用戶介面（UI）進行互動。這項技術將加速自動化工作流程的開發，讓 AI 能夠像人類一樣執行點擊、輸入和導覽等電腦操作。
Vision Language Model Alignment in TRL ⚡️★ 80
Hugging Face Blog299d agoReleaseHugging Face 旗下的 TRL（Transformer Reinforcement Learning）套件迎來重大更新，正式支援視覺語言模型（VLM）的對齊訓練。開發者現在可以直接使用 DPOTrainer 或 ORPOTrainer 來處理包含圖像與文字的偏好資料集。此更新簡化了 LLaVA、PaliGemma 等主流多模態模型的微調流程，並支援 QLoRA 與 DeepSpeed 等顯存優化技術，大幅降低了 VLM 對齊的門檻。
TimeScope: How Long Can Your Video Large Multimodal Model Go?★ 75
Hugging Face Blog314d agoReleaseHugging Face 介紹了全新的影片多模態基準測試「TimeScope」，旨在評估 Video LMM 處理長影片的能力。現有基準多侷限於短影片，而 TimeScope 挑戰模型在長時段影片中的時間推理、事件排序與資訊檢索。測試結果顯示，多數現行模型在影片長度增加時，理解與推理能力會顯著下降，揭示了現有技術的瓶頸。
Efficient MultiModal Data Pipeline★ 75
Hugging Face Blog329d agoNew ToolHugging Face 介紹了「高效多模態資料管線 (MMDP)」的最佳實踐與工具。針對多模態模型（如 VLM）訓練中龐大的資料 I/O 瓶頸，MMDP 結合了延遲解碼、多程序並行處理與流式傳輸技術，顯著提升了影像、影片和音訊資料的處理效率，降低記憶體佔用，是現代多模態 AI 開發者優化訓練流程的必備指南。
Welcome the NVIDIA Llama Nemotron Nano VLM to Hugging Face Hub★ 75
Hugging Face Blog339d agoReleaseNVIDIA 宣布將其輕量級視覺語言模型 Llama Nemotron Nano VLM 上架至 Hugging Face Hub。該模型結合了 Llama 架構與 NVIDIA 的 Nemotron 優化技術，專為邊緣運算與本機端部署設計。它能在低資源設備上高效執行圖像理解、視覺問答（VQA）與 OCR 等任務，為開發者提供更便利的開源多模態選擇。
Advanced audio dialog and generation with Gemini 2.5★ 85
Google DeepMind Blog364d agoReleaseGoogle DeepMind 宣布 Gemini 2.5 在 AI 語音對話與音訊生成上取得重大突破。新功能大幅提升了語音互動的流暢度、自然度與即時性，並支援更進階的音訊生成技術。這項更新將為開發者與企業帶來更具沉浸感的語音應用與全新一代的語音 Agent 體驗。
nanoVLM: The simplest repository to train your VLM in pure PyTorch★ 75
Hugging Face Blog377d agoReleaseHugging Face 發表了 nanoVLM 專案，旨在提供一個最簡單、無冗餘程式碼的純 PyTorch 框架，讓開發者與研究人員能輕鬆理解並動手訓練自己的視覺語言模型（VLM）。該專案仿照 nanoGPT 的極簡風格，去除了複雜的封裝，完整展示了從圖像編碼器、投影層到語言模型的整合與訓練流程，是學習與實驗 VLM 的絕佳起點。