Nemotron-Personas-India: Synthesized Data for Sovereign AI★ 75
Hugging Face Blog231d agoReleaseNVIDIA 推出「Nemotron-Personas-India」計畫，旨在解決印度多語言與多元文化訓練數據不足的問題。該項目利用 Nemotron 模型生成具備印度各省分、語言及文化背景的「合成角色（Personas）」數據。這項開源成果將助力印度推動「主權 AI（Sovereign AI）」，讓本土語言模型能更精準地理解在地脈絡。
Nemotron-Personas-Japan: ソブリン AI のための合成データセット★ 75
Hugging Face Blog249d agoReleaseNVIDIA 推出「Nemotron-Personas-Japan」合成數據集，旨在推動日本「主權 AI」的發展。該數據集透過模擬多樣化的日本社會角色（Personas），生成符合日本文化、語言習慣與社會規範的高質量訓練數據。這將有助於開發者與研究人員訓練出更理解日本在地脈絡的本土 AI 模型。
SAIR: Accelerating Pharma R&D with AI-Powered Structural Intelligence★ 72
Hugging Face Blog273d agoReleaseAlphabet 拆分出的 AI 與量子技術公司 SandboxAQ，在 Hugging Face 上正式發布了 SAIR 數據集。該數據集專為製藥研發（Pharma R&D）設計，利用 AI 驅動的「結構智能」，提供高質量的分子與蛋白質結構數據。此舉解決了 AI 藥物發現中高質量數據匱乏的痛點，將有助於研究人員訓練更精準的預測模型，大幅縮短新藥開發的週期與成本。
NVIDIA Releases 6 Million Multi-Lingual Reasoning Dataset★ 78
Hugging Face Blog285d agoReleaseNVIDIA 在 Hugging Face 上正式發布了包含 600 萬個樣本的全新「多語言推理數據集」（Multi-Lingual Reasoning Dataset）。 該數據集旨在解決當前 AI 模型在非英語系語言中邏輯推理能力不足的痛點，提供大規模且高質量的訓練素材。 此開源資源將顯著降低開發多語言推理模型（如 Reasoning LLM）的門檻，對開源社群具有重要推動作用。
Arc Virtual Cell Challenge: A Primer★ 75
Hugging Face Blog319d agoReleaseHugging Face 與 Arc Institute 合作發表「虛擬細胞挑戰賽（Virtual Cell Challenge）」導讀。此競賽聚焦於 AI for Science 領域，邀請全球開發者與研究人員利用機器學習與大型生物模型，預測單細胞層級的基因表達與細胞狀態。這項挑戰賽旨在推動虛擬細胞技術的發展，並提供開源數據集與評測基準。
LeRobot Community Datasets: The “ImageNet” of Robotics — When and How?★ 80
Hugging Face Blog387d agoOpinionHugging Face 旗下的開源機器人專案 LeRobot 致力於解決機器人領域缺乏標準化、大規模資料集的問題。本文探討如何透過社群協作，建立類似於電腦視覺界「ImageNet」的機器人資料集。文章介紹了 LeRobot 的資料格式標準、社群貢獻機制，以及如何克服硬體多樣性帶來的數據整合挑戰。
LeRobot goes to driving school: World’s largest open-source self-driving dataset★ 85
Hugging Face Blog448d agoReleaseHugging Face 的開源機器人平台 LeRobot 宣布進軍自動駕駛領域，發布了目前全球最大的開源自動駕駛資料集。此舉旨在打破科技巨頭對自動駕駛數據的壟斷，為研究人員與開發者提供豐富的真實駕駛場景數據。透過 LeRobot 的工具鏈，開發者可以更輕鬆地訓練與評估端到端的自動駕駛模型，推動具身智能在交通載具上的應用。
Build awesome datasets for video generation★ 75
Hugging Face Blog475d agoNew ToolHugging Face 發表全新開源工具包 vid_ds_scripts，解決影片生成模型（如 LTX-Video、HunyuanVideo）訓練資料準備的痛點。該工具包提供一站式解決方案，涵蓋影片下載、PySceneDetect 場景分割、VLM 自動生成詳細描述，以及資料過濾與格式化。這大幅降低了開發者構建高品質「影片-文字對」資料集的門檻，加速開源影片生成技術的微調與研發。
Introducing the Synthetic Data Generator - Build Datasets with Natural Language★ 82
Hugging Face Blog533d agoNew ToolHugging Face 發表「Synthetic Data Generator」工具，旨在降低 AI 模型訓練資料集的構建門檻。用戶只需用自然語言描述需求，系統便會利用 distilabel 框架與開源大模型（如 Llama 3.1）自動生成高品質的指令微調（SFT）或偏好對齊（DPO）資料集。生成的資料可直接上傳至 Hugging Face Hub，並支援匯出至 Argilla 進行人工標註與微調。
Open Preference Dataset for Text-to-Image Generation by the 🤗 Community★ 75
Hugging Face Blog540d agoReleaseHugging Face 宣布推出由社群共同協作完成的文字生成圖像（Text-to-Image）開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分，收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF（人類回饋強化學習）或 DPO（直接偏好優化）的門檻，推動更具美感與對齊能力的開源圖像模型發展。
Argilla 2.4: Easily Build Fine-Tuning and Evaluation Datasets on the Hub — No Code Required★ 75
Hugging Face Blog575d agoRelease開源數據標註平台 Argilla 發布 2.4 版本，主打與 Hugging Face Hub 的深度無程式碼整合。用戶現在可以直接在 Hugging Face Spaces 上部署 Argilla，並透過直觀的 UI 介面進行數據導入、協作標註與導出。這大幅降低了為大語言模型（LLM）準備指令微調（SFT）和偏好對齊（DPO）數據集的門檻，讓非技術背景的領域專家也能輕鬆參與數據策劃。
CinePile 2.0 - making stronger datasets with adversarial refinement★ 75
Hugging Face Blog587d agoReleaseCinePile 2.0 是一個專為長影片理解設計的問答資料集更新版本。本次更新引入了「對抗性精煉（Adversarial Refinement）」技術，旨在解決 LLM 生成干擾項過於簡單或存在偏誤的問題。透過篩選掉不需看影片就能回答的漏洞題目，CinePile 2.0 能更精準地評估多模態模型對複雜視覺與敘事邏輯的真實理解能力。
🇨🇿 BenCzechMark - Can your LLM Understand Czech?
Hugging Face Blog609d agoReleaseHugging Face 發表了專為捷克語設計的全新大型語言模型（LLM）評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主，此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務，能更準確地衡量模型在捷克語語境與文化背景下的實際表現。
FineVideo: behind the scenes★ 75
Hugging Face Blog617d agoReleaseHugging Face 釋出全新開源影片資料集「FineVideo」的幕後製作過程。為了解決高品質影片數據稀缺的問題，該項目收錄了超過 4.3 萬部影片（約 3,400 小時），並提供高達 120 萬個詳細的影片與文字配對。文章深入探討了其自動化清理、場景分割與多模態模型標註的管線（Pipeline）設計，旨在為社群提供訓練下一代影片理解與生成模型（Video-LLM）的標準基石。
Docmatix - a huge dataset for Document Visual Question Answering★ 75
Hugging Face Blog684d agoReleaseHugging Face 發表了專為文件視覺問答（DocVQA）設計的超大型開源數據集 Docmatix。該數據集規模比現有同類數據集大上百倍，包含 240 萬張文件圖片及 950 萬個高質量的問答對。Docmatix 的推出解決了多模態模型在處理複雜 PDF、報表等視覺文件時微調數據不足的痛點，將顯著提升開源視覺語言模型（VLM）的文件解析與問答能力。
Replicate Intelligence #7
Replicate Blog690d agoCommentary本期 Replicate Intelligence 探討了從「以模型為中心」轉向「以資料為中心」的 AI 趨勢。重點介紹了如何進行高品質的資料整理（Data Curation）以及利用 AI 進行合成資料生成（Data Generation），這兩者是提升開源模型微調效果與推論品質的關鍵基石。
Data Is Better Together: A Look Back and Forward
Hugging Face Blog712d agoReleaseHugging Face 發表「Data Is Better Together (DIBT)」計劃的階段性回顧與展望。該計劃旨在透過社群協作，解決高品質開源對齊數據不足的痛點。過去一年中，DIBT 透過 Argilla 等工具成功匯聚全球開發者，共同標註與生成了多個高質量的偏好與提示詞數據集。未來，該計劃將進一步擴展任務類型，推動更具包容性與去中心化的 AI 數據生態。
Replicate Intelligence #2★ 75
Replicate Blog732d agoCommentary本期 Replicate Intelligence 彙整了三大 AI 前沿進展：首先是 ByteDance 開源的 Hyper-SD 技術，實現了毫秒級的超快速圖像生成；其次是探討如 DIAMOND 等利用擴散模型構建的「世界模擬器」，展示了 AI 在虛擬環境模擬與強化學習中的潛力；最後深入分析了 AI 資料集複雜度，探討在數據漸趨飽和的當下，如何透過優化數據質量與結構來提升模型訓練效率。
StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation★ 75
Hugging Face Blog764d agoReleaseHugging Face 與 BigCode 社群推出 StarCoder2-Instruct-15B。該模型最大特色在於採用「完全透明」與「寬鬆授權」的自我對齊流程。傳統指令模型常依賴 GPT-4 生成數據導致商用受限，而 StarCoder2-Instruct 完全使用開源模型自身生成數據進行訓練，在確保商用合規的同時，於 HumanEval 等基準測試中展現優異性能。
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models★ 85
Hugging Face Blog804d agoReleaseHugging Face 發布了當時最大的開源合成數據集 Cosmopedia，內含 250 億 Token。該項目利用 Mixtral-8x7B 模型，根據精心設計的提示詞與主題生成教科書、部落格和教學等多元內容。實驗證明，使用此合成數據預訓練的 1.8B 模型（Cosmo-1.8B）在多項基準測試中超越了同量級的知名模型，為 LLM 預訓練提供了全新的合成數據生成範式。
Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset★ 75
Hugging Face Blog809d agoReleaseHugging Face 宣布推出 WebSight 數據集，專為訓練視覺語言模型（VLM）進行「截圖轉網頁程式碼（Screenshot-to-Code）」而設計。該數據集包含約 200 萬個由合成技術產生的網頁截圖及其對應的乾淨 HTML/CSS 程式碼。透過 WebSight，開發者與研究人員能更有效率地微調多模態模型，加速自動化前端開發與設計稿轉程式碼的技術落地。
StarCoder2 and The Stack v2★ 80
Hugging Face Blog825d agoRelease由 Hugging Face 與 ServiceNow 主導的 BigCode 社群，聯合 NVIDIA 正式發布了新一代開源程式碼大語言模型 StarCoder2。該系列提供 3B、7B 和 15B 三種參數版本，並同步推出全新升級的 The Stack v2 資料集。StarCoder2 支援超過 600 種程式語言，並在程式碼生成、補全與修復等任務上展現出同量級模型中的頂尖性能，持續推動負責任且開放的 AI 開發。
Introducing Prodigy-HF: a direct integration with Hugging Face
Hugging Face Blog938d agoNew Tool知名資料標註工具 Prodigy 宣布推出官方整合套件 prodigy-hf，實現與 Hugging Face Hub 的雙向無縫對接。開發者現在可以直接從 Hugging Face 載入資料集進行標註，並在完成後一鍵推送回 Hub。此外，該整合還支援利用 Hugging Face 的預訓練模型進行輔助標註與主動學習，大幅提升 NLP 與電腦視覺任務的標註效率。
Interactively explore your Huggingface dataset with one line of code
Hugging Face Blog951d agoNew ToolHugging Face 介紹了如何利用開源工具 Renumics Spotlight，僅需一行程式碼即可對 Hugging Face Datasets 進行互動式探索。此功能支援文本、圖像、音訊等多模態數據，並能視覺化高維度嵌入（embeddings），幫助開發者快速找出標籤錯誤、數據偏誤或異常值，大幅提升數據整理（Data Curation）與模型除錯的效率。
Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Langage Model★ 78
Hugging Face Blog1015d agoReleaseHugging Face 發表開源多模態視覺語言模型 IDEFICS，旨在重現 DeepMind 閉源模型 Flamingo 的強大功能。該模型基於 LLaMA 與 OpenCLIP 構建，提供 9B 與 80B 兩種參數版本，能同時處理交錯的文本與圖片輸入。IDEFICS 的開源為社群提供了強大的多模態研究基礎，並同步釋出了大規模數據集 OBELICS。
Ethics and Society Newsletter #4: Bias in Text-to-Image Models
Hugging Face Blog1072d agoCommentary本期 Hugging Face 倫理與社會電子報聚焦於文字生成圖像（Text-to-Image）模型的偏見。文章指出，這些模型在生成職業、社會角色等圖像時，常顯露出嚴重的性別與種族刻板印象。這源於訓練數據中不均衡的代表性，Hugging Face 呼籲社群透過開發評估工具與推動數據透明化來共同應對此挑戰。
Let's talk about biases in machine learning! Ethics and Society Newsletter #2
Hugging Face Blog1265d agoOpinionHugging Face 發表第二期倫理與社會電子報，聚焦於機器學習（ML）中的偏見問題。文章探討了偏見如何從數據收集、模型訓練到部署階段滲入 AI 系統，並強調了多樣性數據與透明評估的重要性。HF 呼籲社群共同參與，利用其平台工具來識別並減輕模型偏見，推動更公平、更具包容性的 AI 技術發展。
Automating image collection
Replicate Blog1397d agoTutorial本文探討如何利用 CLIP 的語意搜尋能力與龐大的 LAION-5B 開源影像數據集，自動化建立自定義圖像數據集。讀者可以透過輸入文字描述，精準篩選並批次下載成千上萬張相關圖片與其標籤。這對於需要訓練專屬 AI 模型（如 Stable Diffusion 微調）的開發者與研究人員來說，是一個極具實用價值的工具與工作流。