Accelerating Vision-Language Models: BridgeTower on Habana Gaudi2
Hugging Face Blog1069d agoTutorial本技術文章介紹如何將視覺語言模型 BridgeTower 部署於 Intel 的 Habana Gaudi2 晶片上。透過 Hugging Face 的 optimum-habana 整合套件，開發者只需修改極少代碼，即可在 Gaudi2 上實現高效能的跨模態模型訓練與推理。相較於傳統 GPU，Gaudi2 在處理此類複雜的多模態任務時展現出極佳的性價比與加速表現。
New ViT and ALIGN Models From Kakao Brain
Hugging Face Blog1184d agoRelease韓國科技巨頭 Kakao 旗下的 AI 研究部門 Kakao Brain，在 Hugging Face 上釋出了全新的 ViT 與 ALIGN 模型。這些模型基於其先前開源的 COYO-700M 超大規模圖文對數據集進行訓練。本次開源不僅補足了 ALIGN 模型缺乏開源權重的遺憾，也為多模態表徵、圖像檢索與零樣本分類等任務提供了強大的新選擇。
A Dive into Vision-Language Models★ 80
Hugging Face Blog1215d agoTutorialHugging Face 釋出的這篇技術指南，深入探討了視覺語言模型 (VLM) 的核心架構。文章詳細介紹了 VLM 如何結合圖像與文字編碼器，並剖析了對比學習（如 CLIP）、生成式（如 BLIP、GIT）及多模態融合等三大主流預訓練策略。最後，展示了如何利用 Hugging Face Transformers 庫輕鬆調用這些模型，是理解多模態 AI 的必讀經典。
The State of Computer Vision at Hugging Face 🤗
Hugging Face Blog1219d agoCommentary本文為 Hugging Face 官方發布的電腦視覺（CV）生態總覽。隨著 Transformers 庫對視覺模型的支援、與 Timm 庫的深度整合，以及 Diffusers 在生成式 AI 的爆發，Hugging Face 已從 NLP 平台轉型為全方位的 AI 社群。文章詳細介紹了影像分類、目標檢測、語義分割等任務的支援現狀，並展示了如何利用其工具鏈進行高效開發。
Introducing new audio and vision documentation in 🤗 Datasets
Hugging Face Blog1405d agoReleaseHugging Face 針對其熱門開源庫 `datasets` 發布了全新的音訊與電腦視覺專屬文件。此更新旨在引導開發者如何載入、預處理及操作非文本資料，並詳細介紹了 `Audio` 與 `Image` 特徵類型的使用方法。這標誌著 Hugging Face 從純文本領域向多模態 AI 邁出的重要一步。
Putting ethical principles at the core of the research lifecycle
Hugging Face Blog1475d agoOpinionHugging Face 發布針對多模態 AI 研究的倫理憲章。該憲章強調「價值敏感設計」，主張在資料治理、模型訓練、評估與釋出的每個階段皆須融入倫理考量。此舉旨在推動更具包容性、透明且負責任的開源 AI 協作生態，為全球研究人員在開發結合文字、影像與語音的多模態模型時，提供具體的道德指引與實踐框架。
Perceiver IO: a scalable, fully-attentional model that works on any modality★ 70
Hugging Face Blog1630d agoReleaseDeepMind 提出的 Perceiver IO 已正式整合至 Hugging Face。該模型透過引入「潛在瓶頸」與「輸出查詢」機制，成功將 Transformer 的二次方複雜度降至線性，使其能高效處理高維度的多模態數據（如圖像、音訊、3D 點雲）。Perceiver IO 不僅能接收任意輸入，還能靈活輸出各種結構的數據，是邁向通用 AI 架構的重要一步。