Google 發表全新開源視覺語言模型 PaliGemma,結合了 SigLIP 視覺編碼器與 Gemma-2B 語言模型。PaliGemma 具備強大的圖像描述、視覺問答(VQA)、物件偵測與 OCR 能力,並提供多種解析度版本。該模型已深度整合至 Hugging Face 生態系,非常適合開發者進行特定下游任務的微調。
Hugging Face 發布視覺語言模型(VLM)科普指南,詳解其結合圖像編碼器與文字解碼器的架構設計。文章涵蓋了從多模態預訓練到指令微調的完整訓練流程,並介紹了 LLaVA、Idefics 等主流開源模型。此外,也提供了如何使用 Hugging Face transformers 庫進行推理的實用程式碼範例,是理解多模態 AI 的必讀教材。
Hugging Face 釋出的這篇技術指南,深入探討了視覺語言模型 (VLM) 的核心架構。文章詳細介紹了 VLM 如何結合圖像與文字編碼器,並剖析了對比學習(如 CLIP)、生成式(如 BLIP、GIT)及多模態融合等三大主流預訓練策略。最後,展示了如何利用 Hugging Face Transformers 庫輕鬆調用這些模型,是理解多模態 AI 的必讀經典。
本文為 Hugging Face 經典的擴散模型(Diffusion Models)深度教學,以 DDPM 為核心。透過 PyTorch 程式碼逐步實作前向加噪與反向去噪過程,並詳細拆解 U-Net 架構與損失函數。適合想從底層程式碼理解生成式 AI 影像生成原理的開發者與研究者。
本文為 Hugging Face 官方教學,詳細介紹如何使用 `transformers` 與 `datasets` 函式庫微調 Vision Transformer (ViT) 模型。內容涵蓋從載入 Beans 資料集、使用影像處理器進行資料前處理、設定 `Trainer` API 進行訓練,到最後將微調後的模型上傳至 Hugging Face Hub 的完整流程,是電腦視覺開發者的必讀入門指南。