知名開源 OCR 工具 PaddleOCR 3.5 正式整合至 Hugging Face Transformers 生態系。開發者現在可以直接使用 PyTorch/Transformers 後端執行文字偵測、識別及表格解析等任務,無需安裝複雜的 PaddlePaddle 框架。這項更新極大地簡化了 OCR 與 RAG(檢索增強生成)等下游任務的整合流程。
IBM 於 Hugging Face 發布全新 Granite 4.0 3B Vision 模型。這款僅有 30 億參數的輕量級多模態模型,專為企業級文件理解、圖表分析與 OCR 數據提取而設計。其小巧的體積不僅大幅降低了部署門檻與運算成本,更在處理複雜商業報表與 PDF 文件時展現出極高的實用性,是企業本地化部署的理想選擇。
Replicate 平台上架了來自 Datalab 的兩款全新文件解析模型:Marker 與 OCR。Marker 專為將整份複雜文件(如 PDF)轉換為乾淨的 Markdown 格式而設計,非常適合 RAG 應用;OCR 模型則能精確提取圖片或文件中的文字,並提供行級(line-level)的多邊形定位座標,為開發者提供高效的文件預處理方案。
Hugging Face 宣布為其試算表 AI 工具「AI Sheets」引入影像處理功能。使用者現在可以直接在試算表儲存格中插入影像,並調用各類視覺語言模型(VLM)進行批次處理,例如自動生成描述、提取文字(OCR)、進行圖像分類或物件偵測。這項更新大幅降低了非開發人員處理大量影像資料的門檻,將試算表的便利性與先進的電腦視覺技術完美結合。
本文探討如何利用開源模型(如 Florence-2、Qwen2-VL 與 Llama-3.2-Vision)替代傳統 OCR 系統。開源 VLM 不僅能精準辨識文字,還能直接輸出 JSON 或 Markdown 等結構化格式,解決複雜排版與表格解析的痛點。透過 Hugging Face 生態系,開發者可以輕鬆部署並微調這些模型,打造高效、低成本且隱私安全的文檔處理 Pipeline。
本文介紹了 dots.ocr 模型與 Apple Core ML 框架的結合。透過將 SOTA 等級的 OCR 模型轉換為 Core ML 格式,開發者可以在 iPhone、iPad 和 Mac 上實現高效能的本地端文字辨識。這不僅大幅降低了延遲,還能完全在裝置端運行以保護用戶隱私,是 iOS 與 macOS 開發者整合 AI 視覺功能的新利器。
Allen AI 推出的 olmOCR 是基於視覺語言模型(VLM)的強大 PDF 轉 Markdown 工具,但在面對嚴謹業務時仍有幻覺或漏字風險。TNG Technology Consulting 分享了他們如何透過精心設計的資料集與微調技術,顯著提升 olmOCR 的「忠實度(Faithfulness)」。微調後的模型能更精準地辨識複雜排版、表格與公式,並大幅降低文字篡改與遺漏,為企業級 OCR 應用提供可靠的開源解決方案。
巴塞隆納超級電腦中心(BSC-LT)正式發布 Visual Salamandra 7B 多模態模型。該模型以其自主研發的 Salamandra 7B 語言模型為基礎,融合了先進的視覺編碼器,旨在提升圖像理解、視覺問答及 OCR 能力。特別的是,它承襲了 Salamandra 家族在西班牙語、加泰隆尼亞語等多語言環境下的優異表現,為開源多模態社群注入新選擇。
Hugging Face 宣布與知名圖像增強庫 Albumentations 合作,推出專為文件圖像(如收據、合約、掃描檔)設計的 TextImage 數據增強技術。此技術能模擬真實世界中的折痕、陰影、污漬及掃描噪點,解決 Document AI 模型在面對低質量現實圖像時識別率下降的問題。開發者可直接將其整合至 Hugging Face 的數據處理與訓練流程中。
Hugging Face 正式發布 Idefics2,這是一款擁有 80 億參數的開源視覺語言模型(VLM)。它基於 Mistral-7B 與 SigLIP 構建,顯著提升了 OCR、圖表理解及多圖對話能力。Idefics2 支援原生解析度與長寬比,並以 Apache 2.0 授權釋出,極適合開發者進行微調與商業部署。
Hugging Face 發表全新基準測試「ConTextual」並上線排行榜。該基準專注於評估多模態大模型(MLLM)在處理「富含文本的圖像」(如圖表、資訊圖表、街景招牌等)時的圖文聯合推理能力。這項測試超越了單純的 OCR 文字識別,更考驗模型結合視覺上下文與文本進行深度推理的實力,為評估當前頂尖多模態模型提供了更貼近真實應用場景的標準。