Perceiver IO: a scalable, fully-attentional model that works on any modality★ 70
Hugging Face Blog1630d agoReleaseDeepMind 提出的 Perceiver IO 已正式整合至 Hugging Face。該模型透過引入「潛在瓶頸」與「輸出查詢」機制，成功將 Transformer 的二次方複雜度降至線性，使其能高效處理高維度的多模態數據（如圖像、音訊、3D 點雲）。Perceiver IO 不僅能接收任意輸入，還能靈活輸出各種結構的數據，是邁向通用 AI 架構的重要一步。
Course Launch Community Event
Hugging Face Blog1680d agoRelease本活動公告為 Hugging Face 於 2021 年 10 月舉辦的「課程發布社群活動」。該活動旨在慶祝 Hugging Face 官方 NLP 課程的推出，並透過社群黑客松、技術講座與交流，引導開發者與研究人員深入學習 Transformers、Datasets 和 Tokenizers 等開源工具，促進開源 AI 生態系的發展。
Train a Sentence Embedding Model with 1B Training Pairs★ 75
Hugging Face Blog1681d agoTutorialHugging Face 介紹了如何利用超過 10 億個句子對（Sentence Pairs）的大規模數據集，訓練出高效且精準的句子嵌入模型。文中詳細說明了數據集整合、對比學習（Contrastive Learning）的訓練方法，並釋出了包含 all-MiniLM-L6-v2 在內的多款熱門開源模型。這些模型至今仍是 RAG 和語意搜尋系統中非常經典且高效的基準選擇。
Welcome spaCy to the Hugging Face Hub
Hugging Face Blog1785d agoReleaseHugging Face 宣佈將熱門的工業級自然語言處理（NLP）庫 spaCy 整合至 Hugging Face Hub。開發者現在可以使用全新推出的 `spacy-huggingface-hub` 工具，輕鬆將訓練好的 spaCy 管道模型上傳至 Hub 進行版本控制與分享。此外，Hub 還為 spaCy 模型提供了專屬的互動式瀏覽器測試介面（Widget），大幅提升了模型展示與協作的便利性。
Few-shot learning in practice: GPT-Neo and the 🤗 Accelerated Inference API
Hugging Face Blog1825d agoTutorial本文介紹如何使用 EleutherAI 的開源模型 GPT-Neo，結合 Hugging Face 的 Accelerated Inference API 進行「少樣本學習（Few-shot learning）」。讀者將了解如何透過精心設計的提示詞（Prompt），讓模型在不需重新訓練或微調的情況下，僅憑幾個範例就能執行特定任務。這為開發者提供了一種快速、低成本且無需維護複雜基礎設施的 NLP 實作方案。
Understanding BigBird's Block Sparse Attention
Hugging Face Blog1889d agoTutorialGoogle 提出的 BigBird 模型透過「區塊稀疏注意力機制」，成功將傳統 Transformer 的二次方複雜度降至線性複雜度。該機制結合了全域標記、滑動窗口與隨機注意力，並以「區塊（Block）」為單位進行運算以優化 GPU/TPU 效能。這使得 BigBird 能處理高達 4096 個標記的長文本，非常適合問答、摘要與長文本分析等任務。
The Partnership: Amazon SageMaker and Hugging Face★ 75
Hugging Face Blog1897d agoBusinessHugging Face 宣布與 AWS 達成全新合作夥伴關係，將其熱門的 Transformers 庫深度整合至 Amazon SageMaker。透過全新推出的 Hugging Face 深度學習容器（DLCs），開發者可以更輕鬆、快速地在 AWS 雲端上進行 NLP 模型的訓練、微調與推理部署。此合作大幅降低了企業在大規模機器學習基礎設施管理上的門檻。
Hugging Face Reads, Feb. 2021 - Long-range Transformers
Hugging Face Blog1911d agoCommentary本期 Hugging Face Reads 聚焦於解決標準 Transformer 處理長序列時面臨的 O(N²) 計算與記憶體瓶頸。文章回顧了多種「長文本 Transformer」（Long-range Transformers）解決方案，包括 Longformer、BigBird 等。這些模型透過稀疏注意力、滑動窗口及全域標記等機制，成功將複雜度降至線性，使處理數千甚至數萬個 token 的長文本成為可能。
Porting fairseq wmt19 translation system to transformers
Hugging Face Blog2037d agoRelease本文介紹 Hugging Face 將 Facebook AI (FAIR) 的 Fairseq WMT19 機器翻譯系統移植至 `transformers` 程式庫（FSMT）的過程。WMT19 模型在英德、英俄翻譯中表現極佳，但過去需依賴複雜的 `fairseq` 框架。移植後，開發者只需幾行程式碼即可調用這些強大的翻譯模型，大幅降低了學術與工業界的部署難度。
Hyperparameter Search with Transformers and Ray Tune
Hugging Face Blog2038d agoTutorial本文介紹 Hugging Face Transformers 與 Ray Tune 的整合。透過 Trainer API 內建的 hyperparameter_search 功能，開發者只需幾行程式碼即可啟用分散式超參數搜尋。文章詳細說明了如何設定搜尋空間、使用 ASHA 等高效排程演算法，並在多 GPU 環境下加速模型微調與優化過程。
How to train a new language model from scratch using Transformers and Tokenizers★ 75
Hugging Face Blog2300d agoTutorial本文為 Hugging Face 的經典指南，詳細介紹如何從頭訓練全新的語言模型。內容涵蓋使用 tokenizers 快速訓練 Byte-Level BPE 分詞器、準備 Esperanto（世界語）數據集、配置 RoBERTa 模型架構，並利用 Trainer API 進行高效預訓練。這對於想為特定領域或罕見語言構建專屬模型的開發者與研究人員而言，是極具價值的實戰教學。