Introducing Storage Buckets on the Hugging Face Hub★ 80
Hugging Face Blog84d agoReleaseHugging Face 宣布在 Hub 上推出「Storage Buckets」儲存桶功能。這項新服務為開發者提供相容 S3 的物件儲存空間，旨在解決傳統 Git LFS 在處理超大型資料集、模型權重與訓練暫存檔時的效能與容量限制。用戶可以直接透過 Hugging Face SDK 進行高效讀寫，並與 Spaces、Datasets 等生態系無縫整合。
Streaming datasets: 100x More Efficient★ 85
Hugging Face Blog218d agoReleaseHugging Face 宣布對其開源 `datasets` 庫的串流（Streaming）模式進行重大升級，效率提升達 100 倍。新版本優化了底層資料讀取架構，顯著降低了記憶體佔用並提高了 I/O 吞吐量。這讓開發者在訓練超大型模型時，無需事先下載數百 GB 的完整資料集，即可實現極速的即時資料餵送，解決了 GPU 因等待資料而閒置的痛點。
`LeRobotDataset:v3.0`: Bringing large-scale datasets to `lerobot`★ 75
Hugging Face Blog259d agoReleaseHugging Face 宣布推出 LeRobotDataset:v3.0，這是其開源機器人庫 LeRobot 的重大更新。新版本重新設計了數據集格式，旨在解決大規模機器人數據（如影像、關節狀態、動作）的儲存與 I/O 瓶頸。v3.0 提供了更高效的串流載入、統一的機器人本體架構 Schema，並無縫整合至 Hugging Face Hub，為訓練下一代具身智能（Embodied AI）奠定基礎。
Introducing AI Sheets: a tool to work with datasets using open AI models!★ 75
Hugging Face Blog298d agoNew ToolHugging Face 發表全新工具「AI Sheets」，旨在降低數據集處理的門檻。使用者無需編寫複雜代碼，即可在類似 Excel 的試算表介面中導入數據，並調用 Hugging Face 上的開源 AI 模型進行批量文本分類、翻譯、情感分析或數據增強。這項工具結合了開源生態系的靈活性與直觀的無程式碼操作，大幅提升了數據準備與標記的效率。
Parquet Content-Defined Chunking★ 75
Hugging Face Blog312d agoReleaseHugging Face 探討將「內容定義分塊 (CDC)」技術引入 Parquet 檔案格式。傳統固定大小分塊在資料微調時會導致快取失效，而 CDC 透過動態錨點切分，能精準識別重複內容。此技術將大幅優化大規模 AI 訓練資料集的去重效率、降低增量下載的頻寬消耗，並為 RAG 檢索提供更穩定的分塊基礎。
Efficient MultiModal Data Pipeline★ 75
Hugging Face Blog329d agoNew ToolHugging Face 介紹了「高效多模態資料管線 (MMDP)」的最佳實踐與工具。針對多模態模型（如 VLM）訓練中龐大的資料 I/O 瓶頸，MMDP 結合了延遲解碼、多程序並行處理與流式傳輸技術，顯著提升了影像、影片和音訊資料的處理效率，降低記憶體佔用，是現代多模態 AI 開發者優化訓練流程的必備指南。
Xet is on the Hub★ 80
Hugging Face Blog441d agoReleaseHugging Face 宣布將先前收購的 XetHub 技術（Xet）正式整合至 Hugging Face Hub。此整合旨在解決傳統 Git LFS 在處理超大型檔案與數百萬小檔案時的效能瓶頸。透過 Xet 的區塊級去重與隨選載入技術，開發者能以極快速度進行大檔案的 Git 版本控制、複製與推送，大幅提升機器學習工作流效率。
HuggingFace, IISc partner to supercharge model building on India's diverse languages
Hugging Face Blog460d agoBusinessHugging Face 宣布與印度頂尖研究機構印度科學理工學院（IISc）展開合作。雙方將結合 IISc 的學術研究實力與 Hugging Face 的開源生態系，致力於解決印度多元語言（包含多種低資源語言）的 AI 模型開發挑戰。此舉旨在為印度本土語言建立更完善的開源數據集與語言模型，促進在地化的 AI 技術普及。
LeMaterial: an open source initiative to accelerate materials discovery and research★ 75
Hugging Face Blog539d agoReleaseHugging Face 宣布推出「LeMaterial」開源倡議，旨在降低材料科學領域的 AI 應用門檻。該項目整合了大規模材料數據集、先進的機器學習模型（如圖神經網路 GNN）以及標準化的評估基準。透過將這些資源託管於 Hugging Face 平台，LeMaterial 將促進全球研究人員協作，大幅縮短新材料的研發週期。
Share your open ML datasets on Hugging Face Hub!
Hugging Face Blog567d agoReleaseHugging Face 官方發文鼓勵機器學習研究人員將其開源數據集託管至 Hugging Face Hub。透過 Hub 提供的強大工具（如數據集瀏覽器、版本控制與 metadata 標記），研究人員能更輕鬆地推廣其研究成果。此舉旨在降低數據集獲取門檻，進一步推動全球開源 AI 社群的協作與創新。
Scaling AI-based Data Processing with Hugging Face + Dask★ 72
Hugging Face Blog601d agoTutorial本文探討如何整合 Hugging Face 生態系統與分散式運算框架 Dask。透過 Dask 的平行運算能力，開發者可以突破單機記憶體限制，高效處理海量文本、圖像等 AI 訓練資料。此整合方案不僅加速了大規模資料的預處理與 Tokenization，還能顯著提升分散式模型推論的效率，是處理大規模 AI 工作負載的關鍵技術。
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face Blog605d agoReleaseHugging Face Hub 宣布改進其自動 Parquet 轉換管線的去重（Deduplication）機制。過去更新資料集時常會觸發重複的 Parquet 檔案生成，造成儲存與運算浪費。新機制透過內容雜湊（Content Hashing）精確識別未變更的資料，直接重用已生成的 Parquet 檔案，從而加速資料集載入、降低 Hub 儲存成本，並提升開發者更新資料集的效率。
Introducing the SQL Console on Datasets
Hugging Face Blog623d agoNew ToolHugging Face 宣布在 Datasets 頁面中整合 SQL 控制台功能。用戶無需下載數據集或編寫 Python 程式碼，即可直接在瀏覽器中使用標準 SQL（基於 DuckDB）進行高效的數據查詢、篩選與聚合。這項功能大幅降低了數據集探索的門檻，並提升了數據分析的效率。
Scaling robotics datasets with video encoding★ 70
Hugging Face Blog644d agoTutorial機器人學習（如模仿學習）需要大量的多視角相機數據，傳統以獨立圖片儲存會導致硬碟與網路傳輸極大負擔。Hugging Face 團隊分享了如何透過影片編碼（如 H.264/MP4）與優化關鍵影格（GOP）設定，在維持高訓練讀取效能的前提下，將數據集體積壓縮 10 到 50 倍，並整合至 LeRobot 生態系中。
The 5 Most Under-Rated Tools on Hugging Face★ 75
Hugging Face Blog649d agoTutorialHugging Face 官方部落格盤點了 5 個被低估的「幕後英雄」工具。這些工具能解決開發者在處理 AI 模型與資料集時的痛點，包括支援多線程與斷點續傳的 huggingface-cli、免費測試 15 萬個模型的 Serverless 推論 API、免下載即可用 SQL 查詢的 Dataset Viewer、完全在瀏覽器運行的 Gradio-lite，以及兼顧安全與極速載入的 safetensors 格式。這些工具能顯著優化 AI 開發工作流。
Experimenting with Automatic PII Detection on the Hub using Presidio★ 70
Hugging Face Blog692d agoNew ToolHugging Face 正在 Hub 上實驗一項新功能，利用微軟開源的 Presidio 引擎自動偵測數據集中的個人識別資訊（PII）。此舉旨在防止敏感數據（如身分證號、信用卡、電子郵件等）意外洩露，提升開源 AI 社群的數據隱私與合規性。開發者將能更輕鬆地在分享或訓練模型前，識別並清理敏感資訊。
Announcing New Dataset Search Features★ 70
Hugging Face Blog694d agoReleaseHugging Face 宣布為其平台上的 15 萬多個資料集推出全新的搜尋與篩選功能。用戶現在可以透過任務類型、授權條款（如商業用途）、資料集大小（列數或檔案大小）以及語言等多重維度進行精準篩選。這項更新大幅優化了開發者與研究人員尋找特定機器學習訓練數據的效率。
Ethics and Society Newsletter #6: Building Better AI: The Importance of Data Quality★ 75
Hugging Face Blog708d agoOpinion本期 Hugging Face 倫理與社會通訊聚焦於「數據品質」。文章指出，高質量的數據不僅能提升 AI 模型的技術表現，更是減少偏見、避免幻覺與實踐倫理 AI 的基石。內容探討了數據標註、多樣性、倫理採購以及如何透過開源社群協作來建立更具代表性且安全的數據集。
Data is better together: Enabling communities to collectively build better datasets together using Argilla and Hugging Face Spaces★ 75
Hugging Face Blog820d agoNew ToolHugging Face 宣布與開源數據標註平台 Argilla 深度整合。使用者現在可以一鍵在 Hugging Face Spaces 上部署 Argilla，邀請社群成員共同進行數據標註、反饋與篩選（如 RLHF/DPO 數據）。這項合作降低了社群協作建構高品質數據集的門檻，有助於推動開源 AI 模型的對齊與優化。
The Hugging Face Hub for Galleries, Libraries, Archives and Museums
Hugging Face Blog1086d agoTutorialHugging Face 發布針對 GLAM（美術館、圖書館、檔案館與博物館）領域的應用指南，介紹如何利用 Hugging Face Hub 託管、分享並協作開發文化遺產相關的數據集、機器學習模型與互動式 Spaces 應用。此指南旨在推動文化機構的數位轉型，促進開放科學與文化遺產的 AI 研究。
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub★ 75
Hugging Face Blog1091d agoReleaseHugging Face 宣布與嵌入式 SQL 資料庫 DuckDB 整合。現在開發者無需下載整個數據集，即可直接使用 SQL 語法查詢和分析 Hugging Face Hub 上超過 50,000 個數據集。這項功能結合了 Hugging Face 的 Datasets Server 與 DuckDB 的高效查詢能力，大幅提升了數據探索與預處理的效率。
A Complete Guide to Audio Datasets★ 70
Hugging Face Blog1265d agoTutorialHugging Face 發布音訊資料集處理指南，詳細解析如何利用 datasets 庫管理語音與音訊資料。內容涵蓋 Audio 特徵類型的自動解碼與重採樣、使用 Streaming 模式免下載即時處理超大型資料集，以及搭配 AutoFeatureExtractor 進行模型訓練前的預處理。這為語音識別（ASR）與音訊分類任務提供了標準化且高效的工作流。
Introducing DOI: the Digital Object Identifier to Datasets and Models
Hugging Face Blog1334d agoReleaseHugging Face 宣布支援 DOI（數位物件識別碼），允許用戶為其託管的模型和資料集生成永久且可信賴的引用連結。此舉旨在解決機器學習領域中學術引用不規範與版本混亂的問題。研究人員現在可以一鍵生成 BibTeX 引用格式，大幅提升開源研究的可重複性與學術影響力追蹤。
Introducing new audio and vision documentation in 🤗 Datasets
Hugging Face Blog1405d agoReleaseHugging Face 針對其熱門開源庫 `datasets` 發布了全新的音訊與電腦視覺專屬文件。此更新旨在引導開發者如何載入、預處理及操作非文本資料，並詳細介紹了 `Audio` 與 `Image` 特徵類型的使用方法。這標誌著 Hugging Face 從純文本領域向多模態 AI 邁出的重要一步。
Supercharged Searching on the 🤗 Hub
Hugging Face Blog1589d agoReleaseHugging Face 推出全新升級的 Hub 搜尋功能，大幅提升資源檢索效率。用戶現在可以透過機器學習任務、支援的庫（如 PyTorch、TensorFlow）、語言及授權條款等多重條件進行精確篩選。此更新旨在幫助開發者在快速增長的開源生態系中，迅速定位最適合的 AI 模型、數據集與 Spaces。
Introducing the Data Measurements Tool: an Interactive Tool for Looking at Datasets
Hugging Face Blog1646d agoNew ToolHugging Face 發表了 Data Measurements Tool，這是一個互動式工具，旨在幫助機器學習從業者在訓練模型前深入了解資料集。該工具提供資料集大小、標籤分佈、詞彙多樣性及潛在偏見（如性別或地理偏見）等關鍵指標的視覺化分析。透過此工具，使用者無需撰寫複雜程式碼，即可在 Hugging Face Hub 上直接評估資料品質，推動更負責任的 AI 開發。