Fine-tuning Florence-2 - Microsoft's Cutting-edge Vision Language Models★ 80
Hugging Face Blog708d agoTutorial微軟推出的 Florence-2 是一款強大且輕量的視覺語言模型（VLM），僅有 232M 與 770M 兩種參數版本，卻能高效處理 OCR、目標檢測、圖像描述等多種任務。Hugging Face 官方部落格發布了這篇實用指南，詳細教學如何使用 Hugging Face 的 transformers 與 peft 函式庫，在自訂資料集上對 Florence-2 進行微調（Fine-tuning），並利用 LoRA 技術降低顯示記憶體需求，非常適合想在邊緣裝置或有限資源下部署視覺 AI 的開發者。
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages★ 75
Hugging Face Blog739d agoRelease阿布達比技術創新研究所（TII）推出全新開源模型 Falcon 2 11B，包含預訓練語言模型與視覺語言模型（VLM）。該模型在超過 5 兆（5000B）Token 的高質量數據上進行訓練，支援 11 種語言。其性能在同量級模型中表現亮眼，並採用 Apache 2.0 授權，對開源社群與開發者極具吸引力。
PaliGemma – Google's Cutting-Edge Open Vision Language Model★ 80
Hugging Face Blog749d agoReleaseGoogle 發表全新開源視覺語言模型 PaliGemma，結合了 SigLIP 視覺編碼器與 Gemma-2B 語言模型。PaliGemma 具備強大的圖像描述、視覺問答（VQA）、物件偵測與 OCR 能力，並提供多種解析度版本。該模型已深度整合至 Hugging Face 生態系，非常適合開發者進行特定下游任務的微調。
Introducing Idefics2: A Powerful 8B Vision-Language Model for the community★ 80
Hugging Face Blog778d agoReleaseHugging Face 正式發布 Idefics2，這是一款擁有 80 億參數的開源視覺語言模型（VLM）。它基於 Mistral-7B 與 SigLIP 構建，顯著提升了 OCR、圖表理解及多圖對話能力。Idefics2 支援原生解析度與長寬比，並以 Apache 2.0 授權釋出，極適合開發者進行微調與商業部署。
Vision Language Models Explained★ 80
Hugging Face Blog782d agoTutorialHugging Face 發布視覺語言模型（VLM）科普指南，詳解其結合圖像編碼器與文字解碼器的架構設計。文章涵蓋了從多模態預訓練到指令微調的完整訓練流程，並介紹了 LLaVA、Idefics 等主流開源模型。此外，也提供了如何使用 Hugging Face transformers 庫進行推理的實用程式碼範例，是理解多模態 AI 的必讀教材。
Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset★ 75
Hugging Face Blog809d agoReleaseHugging Face 宣布推出 WebSight 數據集，專為訓練視覺語言模型（VLM）進行「截圖轉網頁程式碼（Screenshot-to-Code）」而設計。該數據集包含約 200 萬個由合成技術產生的網頁截圖及其對應的乾淨 HTML/CSS 程式碼。透過 WebSight，開發者與研究人員能更有效率地微調多模態模型，加速自動化前端開發與設計稿轉程式碼的技術落地。
Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Langage Model★ 78
Hugging Face Blog1015d agoReleaseHugging Face 發表開源多模態視覺語言模型 IDEFICS，旨在重現 DeepMind 閉源模型 Flamingo 的強大功能。該模型基於 LLaMA 與 OpenCLIP 構建，提供 9B 與 80B 兩種參數版本，能同時處理交錯的文本與圖片輸入。IDEFICS 的開源為社群提供了強大的多模態研究基礎，並同步釋出了大規模數據集 OBELICS。
Accelerating Vision-Language Models: BridgeTower on Habana Gaudi2
Hugging Face Blog1069d agoTutorial本技術文章介紹如何將視覺語言模型 BridgeTower 部署於 Intel 的 Habana Gaudi2 晶片上。透過 Hugging Face 的 optimum-habana 整合套件，開發者只需修改極少代碼，即可在 Gaudi2 上實現高效能的跨模態模型訓練與推理。相較於傳統 GPU，Gaudi2 在處理此類複雜的多模態任務時展現出極佳的性價比與加速表現。
A Dive into Vision-Language Models★ 80
Hugging Face Blog1215d agoTutorialHugging Face 釋出的這篇技術指南，深入探討了視覺語言模型 (VLM) 的核心架構。文章詳細介紹了 VLM 如何結合圖像與文字編碼器，並剖析了對比學習（如 CLIP）、生成式（如 BLIP、GIT）及多模態融合等三大主流預訓練策略。最後，展示了如何利用 Hugging Face Transformers 庫輕鬆調用這些模型，是理解多模態 AI 的必讀經典。