NVIDIA 推出「Nemotron-Personas-India」計畫,旨在解決印度多語言與多元文化訓練數據不足的問題。該項目利用 Nemotron 模型生成具備印度各省分、語言及文化背景的「合成角色(Personas)」數據。這項開源成果將助力印度推動「主權 AI(Sovereign AI)」,讓本土語言模型能更精準地理解在地脈絡。
NVIDIA 推出「Nemotron-Personas-Japan」合成數據集,旨在推動日本「主權 AI」的發展。該數據集透過模擬多樣化的日本社會角色(Personas),生成符合日本文化、語言習慣與社會規範的高質量訓練數據。這將有助於開發者與研究人員訓練出更理解日本在地脈絡的本土 AI 模型。
Alphabet 拆分出的 AI 與量子技術公司 SandboxAQ,在 Hugging Face 上正式發布了 SAIR 數據集。該數據集專為製藥研發(Pharma R&D)設計,利用 AI 驅動的「結構智能」,提供高質量的分子與蛋白質結構數據。此舉解決了 AI 藥物發現中高質量數據匱乏的痛點,將有助於研究人員訓練更精準的預測模型,大幅縮短新藥開發的週期與成本。
NVIDIA 在 Hugging Face 上正式發布了包含 600 萬個樣本的全新「多語言推理數據集」(Multi-Lingual Reasoning Dataset)。 該數據集旨在解決當前 AI 模型在非英語系語言中邏輯推理能力不足的痛點,提供大規模且高質量的訓練素材。 此開源資源將顯著降低開發多語言推理模型(如 Reasoning LLM)的門檻,對開源社群具有重要推動作用。
Hugging Face 與 Arc Institute 合作發表「虛擬細胞挑戰賽(Virtual Cell Challenge)」導讀。此競賽聚焦於 AI for Science 領域,邀請全球開發者與研究人員利用機器學習與大型生物模型,預測單細胞層級的基因表達與細胞狀態。這項挑戰賽旨在推動虛擬細胞技術的發展,並提供開源數據集與評測基準。
Hugging Face 旗下的開源機器人專案 LeRobot 致力於解決機器人領域缺乏標準化、大規模資料集的問題。本文探討如何透過社群協作,建立類似於電腦視覺界「ImageNet」的機器人資料集。文章介紹了 LeRobot 的資料格式標準、社群貢獻機制,以及如何克服硬體多樣性帶來的數據整合挑戰。
Hugging Face 的開源機器人平台 LeRobot 宣布進軍自動駕駛領域,發布了目前全球最大的開源自動駕駛資料集。此舉旨在打破科技巨頭對自動駕駛數據的壟斷,為研究人員與開發者提供豐富的真實駕駛場景數據。透過 LeRobot 的工具鏈,開發者可以更輕鬆地訓練與評估端到端的自動駕駛模型,推動具身智能在交通載具上的應用。
Hugging Face 發表全新開源工具包 vid_ds_scripts,解決影片生成模型(如 LTX-Video、HunyuanVideo)訓練資料準備的痛點。該工具包提供一站式解決方案,涵蓋影片下載、PySceneDetect 場景分割、VLM 自動生成詳細描述,以及資料過濾與格式化。這大幅降低了開發者構建高品質「影片-文字對」資料集的門檻,加速開源影片生成技術的微調與研發。
Hugging Face 發表「Synthetic Data Generator」工具,旨在降低 AI 模型訓練資料集的構建門檻。用戶只需用自然語言描述需求,系統便會利用 distilabel 框架與開源大模型(如 Llama 3.1)自動生成高品質的指令微調(SFT)或偏好對齊(DPO)資料集。生成的資料可直接上傳至 Hugging Face Hub,並支援匯出至 Argilla 進行人工標註與微調。
Hugging Face 宣布推出由社群共同協作完成的文字生成圖像(Text-to-Image)開源偏好資料集。該資料集透過社群成員對不同 AI 生成圖像進行投票與評分,收集了大量人類真實偏好數據。這項開源資源將大幅降低開發者進行圖像生成模型 RLHF(人類回饋強化學習)或 DPO(直接偏好優化)的門檻,推動更具美感與對齊能力的開源圖像模型發展。
開源數據標註平台 Argilla 發布 2.4 版本,主打與 Hugging Face Hub 的深度無程式碼整合。用戶現在可以直接在 Hugging Face Spaces 上部署 Argilla,並透過直觀的 UI 介面進行數據導入、協作標註與導出。這大幅降低了為大語言模型(LLM)準備指令微調(SFT)和偏好對齊(DPO)數據集的門檻,讓非技術背景的領域專家也能輕鬆參與數據策劃。
CinePile 2.0 是一個專為長影片理解設計的問答資料集更新版本。本次更新引入了「對抗性精煉(Adversarial Refinement)」技術,旨在解決 LLM 生成干擾項過於簡單或存在偏誤的問題。透過篩選掉不需看影片就能回答的漏洞題目,CinePile 2.0 能更精準地評估多模態模型對複雜視覺與敘事邏輯的真實理解能力。
Hugging Face 發表了專為捷克語設計的全新大型語言模型(LLM)評估基準「BenCzechMark」。由於多數主流基準測試皆以英語為主,此項目旨在填補捷克語在 AI 評估領域的空白。該基準涵蓋多種語言理解與生成任務,能更準確地衡量模型在捷克語語境與文化背景下的實際表現。
Hugging Face 釋出全新開源影片資料集「FineVideo」的幕後製作過程。為了解決高品質影片數據稀缺的問題,該項目收錄了超過 4.3 萬部影片(約 3,400 小時),並提供高達 120 萬個詳細的影片與文字配對。文章深入探討了其自動化清理、場景分割與多模態模型標註的管線(Pipeline)設計,旨在為社群提供訓練下一代影片理解與生成模型(Video-LLM)的標準基石。
Hugging Face 發表了專為文件視覺問答(DocVQA)設計的超大型開源數據集 Docmatix。該數據集規模比現有同類數據集大上百倍,包含 240 萬張文件圖片及 950 萬個高質量的問答對。Docmatix 的推出解決了多模態模型在處理複雜 PDF、報表等視覺文件時微調數據不足的痛點,將顯著提升開源視覺語言模型(VLM)的文件解析與問答能力。
本期 Replicate Intelligence 探討了從「以模型為中心」轉向「以資料為中心」的 AI 趨勢。重點介紹了如何進行高品質的資料整理(Data Curation)以及利用 AI 進行合成資料生成(Data Generation),這兩者是提升開源模型微調效果與推論品質的關鍵基石。
Hugging Face 發表「Data Is Better Together (DIBT)」計劃的階段性回顧與展望。該計劃旨在透過社群協作,解決高品質開源對齊數據不足的痛點。過去一年中,DIBT 透過 Argilla 等工具成功匯聚全球開發者,共同標註與生成了多個高質量的偏好與提示詞數據集。未來,該計劃將進一步擴展任務類型,推動更具包容性與去中心化的 AI 數據生態。
本期 Replicate Intelligence 彙整了三大 AI 前沿進展:首先是 ByteDance 開源的 Hyper-SD 技術,實現了毫秒級的超快速圖像生成;其次是探討如 DIAMOND 等利用擴散模型構建的「世界模擬器」,展示了 AI 在虛擬環境模擬與強化學習中的潛力;最後深入分析了 AI 資料集複雜度,探討在數據漸趨飽和的當下,如何透過優化數據質量與結構來提升模型訓練效率。
Hugging Face 與 BigCode 社群推出 StarCoder2-Instruct-15B。該模型最大特色在於採用「完全透明」與「寬鬆授權」的自我對齊流程。傳統指令模型常依賴 GPT-4 生成數據導致商用受限,而 StarCoder2-Instruct 完全使用開源模型自身生成數據進行訓練,在確保商用合規的同時,於 HumanEval 等基準測試中展現優異性能。
Hugging Face 發布了當時最大的開源合成數據集 Cosmopedia,內含 250 億 Token。該項目利用 Mixtral-8x7B 模型,根據精心設計的提示詞與主題生成教科書、部落格和教學等多元內容。實驗證明,使用此合成數據預訓練的 1.8B 模型(Cosmo-1.8B)在多項基準測試中超越了同量級的知名模型,為 LLM 預訓練提供了全新的合成數據生成範式。
Hugging Face 宣布推出 WebSight 數據集,專為訓練視覺語言模型(VLM)進行「截圖轉網頁程式碼(Screenshot-to-Code)」而設計。該數據集包含約 200 萬個由合成技術產生的網頁截圖及其對應的乾淨 HTML/CSS 程式碼。透過 WebSight,開發者與研究人員能更有效率地微調多模態模型,加速自動化前端開發與設計稿轉程式碼的技術落地。
由 Hugging Face 與 ServiceNow 主導的 BigCode 社群,聯合 NVIDIA 正式發布了新一代開源程式碼大語言模型 StarCoder2。該系列提供 3B、7B 和 15B 三種參數版本,並同步推出全新升級的 The Stack v2 資料集。StarCoder2 支援超過 600 種程式語言,並在程式碼生成、補全與修復等任務上展現出同量級模型中的頂尖性能,持續推動負責任且開放的 AI 開發。
知名資料標註工具 Prodigy 宣布推出官方整合套件 prodigy-hf,實現與 Hugging Face Hub 的雙向無縫對接。開發者現在可以直接從 Hugging Face 載入資料集進行標註,並在完成後一鍵推送回 Hub。此外,該整合還支援利用 Hugging Face 的預訓練模型進行輔助標註與主動學習,大幅提升 NLP 與電腦視覺任務的標註效率。
Hugging Face 介紹了如何利用開源工具 Renumics Spotlight,僅需一行程式碼即可對 Hugging Face Datasets 進行互動式探索。此功能支援文本、圖像、音訊等多模態數據,並能視覺化高維度嵌入(embeddings),幫助開發者快速找出標籤錯誤、數據偏誤或異常值,大幅提升數據整理(Data Curation)與模型除錯的效率。
Hugging Face 發表開源多模態視覺語言模型 IDEFICS,旨在重現 DeepMind 閉源模型 Flamingo 的強大功能。該模型基於 LLaMA 與 OpenCLIP 構建,提供 9B 與 80B 兩種參數版本,能同時處理交錯的文本與圖片輸入。IDEFICS 的開源為社群提供了強大的多模態研究基礎,並同步釋出了大規模數據集 OBELICS。
本期 Hugging Face 倫理與社會電子報聚焦於文字生成圖像(Text-to-Image)模型的偏見。文章指出,這些模型在生成職業、社會角色等圖像時,常顯露出嚴重的性別與種族刻板印象。這源於訓練數據中不均衡的代表性,Hugging Face 呼籲社群透過開發評估工具與推動數據透明化來共同應對此挑戰。
Hugging Face 發表第二期倫理與社會電子報,聚焦於機器學習(ML)中的偏見問題。文章探討了偏見如何從數據收集、模型訓練到部署階段滲入 AI 系統,並強調了多樣性數據與透明評估的重要性。HF 呼籲社群共同參與,利用其平台工具來識別並減輕模型偏見,推動更公平、更具包容性的 AI 技術發展。
本文探討如何利用 CLIP 的語意搜尋能力與龐大的 LAION-5B 開源影像數據集,自動化建立自定義圖像數據集。讀者可以透過輸入文字描述,精準篩選並批次下載成千上萬張相關圖片與其標籤。這對於需要訓練專屬 AI 模型(如 Stable Diffusion 微調)的開發者與研究人員來說,是一個極具實用價值的工具與工作流。