Llama 2 is here - get it on Hugging Face★ 95
Hugging Face Blog1050d agoReleaseMeta 正式發布開源大型語言模型 Llama 2，包含 7B、13B 和 70B 三種參數規模，並允許商用。Hugging Face 與 Meta 深度合作，第一時間在 Hub 上架所有 Llama 2 模型，並全面支援 Transformers、TGI、PEFT 等工具。開發者可以直接在 Hugging Face 平台上進行 Llama 2 的推論、微調（Fine-tuning）與部署，並透過 Spaces 體驗 Chat 版本。
Open-Source Text Generation & LLM Ecosystem at Hugging Face★ 85
Hugging Face Blog1051d agoRelease本文系統性介紹 Hugging Face 的開源 LLM 生態系。核心組件包括用於模型載入與推理的 Transformers、實現高效微調的 PEFT、專為高並發部署設計的 Text Generation Inference (TGI)，以及支援對齊演算法（如 SFT、DPO）的 TRL。透過這些工具的協同效應，開發者可以低成本、高效地完成從模型選型、微調到生產線部署的全流程。
Deploy LLMs with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1064d agoTutorialHugging Face 介紹了其託管服務 Inference Endpoints，旨在簡化大型語言模型（LLM）的部署流程。開發者只需在 Hugging Face Hub 選擇模型，即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術，支援動態批處理與張量並行，大幅提升推理效率並降低成本。
The Falcon has landed in the Hugging Face ecosystem★ 75
Hugging Face Blog1093d agoRelease阿布達比技術創新研究所（TII）推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅，並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA★ 90
Hugging Face Blog1105d agoReleaseHugging Face 宣布與 bitsandbytes 合作，將 4-bit 量化技術直接整合至 Transformers 庫中，並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器，大幅降低顯存需求，使 65B 參數模型能在單張 48GB GPU 上進行微調，且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
Hugging Face Blog1113d agoReleaseHugging Face 介紹了與 Intel 合作的 Q8-Chat 專案，展示在 Intel Xeon 處理器上高效運行生成式 AI 的可行性。透過 optimum-intel 庫與 SmoothQuant 技術，將模型進行 8-bit (INT8) 量化，大幅降低記憶體佔用並提升推理速度。此方案結合第四代 Intel Xeon 的 AMX 加速技術，證明無需昂貴的 GPU，利用現有 CPU 架構也能部署低延遲的聊天機器人。
Run a Chatgpt-like Chatbot on a Single GPU with ROCm
Hugging Face Blog1114d agoTutorialHugging Face 釋出指南，介紹如何使用 AMD ROCm 軟體棧在單一 AMD GPU 上運行開源大型語言模型。透過 PyTorch 與 Hugging Face 函式庫的整合，開發者與研究人員可以擺脫對 NVIDIA CUDA 的單一依賴，在 AMD 硬體上實現高效能的 AI 聊天機器人部署，並搭配 Gradio 建立互動介面。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1118d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。
Creating a Coding Assistant with StarCoder
Hugging Face Blog1120d agoReleaseHugging Face 發表 StarChat Alpha，這是一個基於 15B 參數 StarCoder 基礎模型進行指令微調的對話式程式助手。透過特定的對話模板與微調資料集，StarCoder 從單純的程式碼補全工具升級為能進行多輪對話的 AI 助手。本篇介紹了其訓練細節、對話格式以及如何在 Hugging Face Spaces 上進行體驗。
StarCoder: A State-of-the-Art LLM for Code★ 85
Hugging Face Blog1125d agoReleaseHugging Face 與 ServiceNow 發起的 BigCode 專案正式推出 StarCoder，這是一款擁有 155 億參數的開源程式碼大語言模型。該模型在 The Stack 數據集上訓練，支援 80 多種程式語言，並具備 8K 上下文視窗與 Multi-Query Attention 技術。StarCoder 在多項程式碼基準測試中超越了當時的其他開源模型，並採用 OpenRAIL-M 授權，允許商業化使用。
Language model roundup, April 2023
Replicate Blog1138d agoReleaseReplicate 發布了 2023 年 4 月的開源語言模型（LLM）彙整報告。文章介紹了當時快速崛起的開源模型，包括基於 LLaMA 微調的 Vicuna、首款可商用的 Dolly v2，以及 Stability AI 推出的 StableLM。讀者可以透過 Replicate 的雲端 API 輕鬆部署與測試這些模型，大幅降低了開發者使用開源大模型的門檻與硬體成本。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face Blog1162d agoTutorialHugging Face 與 Intel 合作，展示在 Habana Gaudi2 晶片上運行 1760 億參數的大型語言模型 BLOOMZ 的推理表現。 透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可在 Gaudi2 上輕鬆部署並加速 LLM。 基準測試顯示 Gaudi2 在處理超大型模型時，展現出超越 NVIDIA A100 的優異吞吐量與低延遲，為企業提供極具性價比的替代方案。
Hugging Face and AWS partner to make AI more accessible★ 75
Hugging Face Blog1197d agoBusinessHugging Face 與 AWS 宣布建立戰略合作夥伴關係，AWS 成為其首選雲端供應商。雙方將深度整合，讓開發者能透過 Amazon SageMaker 輕鬆訓練與部署 Hugging Face 上的超大型 AI 模型。此外，合作也將優化 AWS 自研晶片（Trainium 與 Inferentia）對開源模型的支援，大幅降低企業導入生成式 AI 的成本與門檻。
Parameter-Efficient Fine-Tuning using 🤗 PEFT★ 85
Hugging Face Blog1208d agoNew ToolHugging Face 宣布推出 PEFT（Parameter-Efficient Fine-Tuning）開源庫，旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術，僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體（如單張 24GB 顯示卡）上微調數十億甚至百億參數的模型，並大幅縮小模型權重檔案體積。
Generating Stories: AI for Game Development #5
Hugging Face Blog1211d agoTutorial本教學為 Hugging Face 遊戲開發系列的第五部分，專注於「故事生成」。文章探討如何利用大型語言模型（LLM）來突破傳統遊戲線性敘事的限制，創造出動態、互動性強的遊戲劇情與 NPC 對話。讀者將學習如何透過 Prompt 工程引導模型，並將其整合至 Unity 等遊戲引擎中，實現自動化且具備上下文連貫性的遊戲敘事。
What Makes a Dialog Agent Useful?★ 75
Hugging Face Blog1225d agoOpinion本文探討將基礎語言模型轉化為實用對話代理（如 ChatGPT）的核心要素。Hugging Face 指出，除了預訓練外，透過指令微調（SFT）與人類回饋強化學習（RLHF）來對齊「實用、誠實、無害」三大原則至關重要。此外，賦予代理使用外部工具（如搜尋、計算機）的能力，能大幅提升其回答的準確性與實用性。
Getting Started with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1327d agoTutorialHugging Face Inference Endpoints 是一項完全託管的服務，旨在簡化機器學習模型的部署流程。用戶只需點擊幾下，即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線（VPC），大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。
Very Large Language Models and How to Evaluate Them★ 75
Hugging Face Blog1338d agoNew Tool隨著大型語言模型（LLM）體積急劇膨脹，如何公平且標準化地評估其性能成為一大挑戰。Hugging Face 宣布與 EleutherAI 合作，將其著名的 lm-evaluation-harness 整合至 Hugging Face Hub。用戶現在可以直接在 Hub 上對託管的模型進行零樣本（Zero-shot）與少樣本（Few-shot）評估，這不僅簡化了評估流程，更促進了開源 AI 社群的基準測試透明度與可重複性。
How 🤗 Accelerate runs very large models thanks to PyTorch★ 80
Hugging Face Blog1344d agoTutorialHugging Face 介紹了其 `Accelerate` 函式庫如何解決超大型模型（如 BLOOM-176B）在單一或有限 GPU 上因記憶體不足而無法加載的痛點。透過 PyTorch 的「元設備（Meta Device）」進行空權重初始化，並結合 `device_map="auto"` 自動將模型層分配至 GPU、CPU 甚至硬碟。這項技術讓開發者與研究人員能在消費級硬體或有限的資源下，進行超大模型的推理與微調。
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
Hugging Face Blog1355d agoTutorialHugging Face 釋出技術指南，針對 1760 億參數的開源巨型模型 BLOOM 提供高效推理方案。透過結合 DeepSpeed-Inference 的張量並行（Tensor Parallelism）與 Accelerate 的彈性部署，解決了超大模型需要超高 VRAM 的痛點。文章提供具體 PyTorch 腳本與基準測試，展示如何在多卡環境下將推理延遲降至最低。
Introducing The World's Largest Open Multilingual Language Model: BLOOM★ 75
Hugging Face Blog1421d agoReleaseHugging Face 協同 BigScience 社群正式發表 BLOOM，這是一個擁有 1760 億參數的開源多語言大模型。該模型由全球 70 多國、上千名研究人員歷時一年多共同協作完成，並在法國 Jean Zay 超級電腦上進行訓練。BLOOM 支援 46 種自然語言與 13 種程式語言，旨在打破科技巨頭壟斷，推動 AI 學術研究的民主化與開放合作。
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel★ 75
Hugging Face Blog1492d agoReleaseHugging Face 宣布在其 Accelerate 庫中整合 PyTorch FSDP（完全分片數據並行）技術。FSDP 透過將模型參數、梯度和優化器狀態分片到多個 GPU 上，解決了單一 GPU 記憶體不足（OOM）的問題。這項技術讓開發者與研究人員能夠以更低的硬體門檻，高效訓練和微調擁有數十億甚至數百億參數的超大型語言模型。
Training CodeParrot 🦜 from Scratch
Hugging Face Blog1637d agoTutorialHugging Face 詳細公開了 CodeParrot 專案的訓練全紀錄，展示如何從零開始構建一個專門用於 Python 程式碼生成的 GPT-2 規模模型。 文章深入探討了大規模 GitHub 數據集的清洗與去重、專屬 Tokenizer 的訓練，以及使用 Accelerate 進行多 GPU 分佈式訓練的實務技巧。 此專案不僅提供了一個開源的程式碼模型，更為開發者提供了一套完整的、可複製的大型語言模型（LLM）預訓練工作流。
Large Language Models: A New Moore's Law?
Hugging Face Blog1680d agoOpinion本文探討大型語言模型（LLM）參數規模以驚人速度增長的現象，並將其與「摩爾定律」相提並論。然而，這種「越大越好」的趨勢伴隨著極高的算力成本、碳排放以及技術壟斷風險。Hugging Face 呼籲社群關注模型民主化，並透過開源合作（如 BigScience 專案）與高效能技術（如蒸餾、量化）來打破巨頭壟斷，尋求更永續的 AI 發展路徑。