🔥 Trending today
nanoVLM: The simplest repository to train your VLM in pure PyTorch★ 75
Hugging Face Blog377d agoReleaseHugging Face 發表了 nanoVLM 專案，旨在提供一個最簡單、無冗餘程式碼的純 PyTorch 框架，讓開發者與研究人員能輕鬆理解並動手訓練自己的視覺語言模型（VLM）。該專案仿照 nanoGPT 的極簡風格，去除了複雜的封裝，完整展示了從圖像編碼器、投影層到語言模型的整合與訓練流程，是學習與實驗 VLM 的絕佳起點。
PaliGemma – Google's Cutting-Edge Open Vision Language Model★ 80
Hugging Face Blog749d agoReleaseGoogle 發表全新開源視覺語言模型 PaliGemma，結合了 SigLIP 視覺編碼器與 Gemma-2B 語言模型。PaliGemma 具備強大的圖像描述、視覺問答（VQA）、物件偵測與 OCR 能力，並提供多種解析度版本。該模型已深度整合至 Hugging Face 生態系，非常適合開發者進行特定下游任務的微調。
Vision Language Models Explained★ 80
Hugging Face Blog782d agoTutorialHugging Face 發布視覺語言模型（VLM）科普指南，詳解其結合圖像編碼器與文字解碼器的架構設計。文章涵蓋了從多模態預訓練到指令微調的完整訓練流程，並介紹了 LLaVA、Idefics 等主流開源模型。此外，也提供了如何使用 Hugging Face transformers 庫進行推理的實用程式碼範例，是理解多模態 AI 的必讀教材。
A Dive into Vision-Language Models★ 80
Hugging Face Blog1215d agoTutorialHugging Face 釋出的這篇技術指南，深入探討了視覺語言模型 (VLM) 的核心架構。文章詳細介紹了 VLM 如何結合圖像與文字編碼器，並剖析了對比學習（如 CLIP）、生成式（如 BLIP、GIT）及多模態融合等三大主流預訓練策略。最後，展示了如何利用 Hugging Face Transformers 庫輕鬆調用這些模型，是理解多模態 AI 的必讀經典。