How to run Mistral 7B with an API
Replicate Blog970d agoTutorialMistral 7B 是由 Mistral AI 推出的高效能開源大型語言模型，在多項基準測試中超越了 Llama 2 13B。 本文詳細說明 Mistral 7B 的核心技術優勢（如分組查詢注意力與滑動窗口注意力），並展示如何利用 Replicate 平台。 開發者只需簡單的 API 呼叫（如 Python 或 Node.js），即可快速將此模型整合至自己的應用程式中。
Overview of natively supported quantization schemes in 🤗 Transformers★ 75
Hugging Face Blog994d agoTutorial本文介紹 Hugging Face Transformers 庫中原生整合的量化方案。主要涵蓋 bitsandbytes（包含 8-bit 與用於 QLoRA 的 4-bit 量化）以及 GPTQ 技術。文章詳細解析了各量化方案的運作原理、記憶體節省幅度、推論速度表現，並提供對應的程式碼範例，幫助開發者在有限的硬體資源下部署與微調大型語言模型。
Spread Your Wings: Falcon 180B is here★ 75
Hugging Face Blog1000d agoRelease阿聯酋技術創新研究所（TII）推出全新開源大語言模型 Falcon 180B，擁有 1800 億參數，並在 3.5 兆 Token 的 RefinedWeb 數據集上進行訓練。該模型在 Hugging Face Open LLM 排行榜上名列前茅，性能超越 LLaMA 2 70B，直逼 Google 的 PaLM-2。然而，其龐大的體積也對硬體提出了極高要求，推論至少需要 640GB 顯存（約 8 張 A100 80GB）。
Code Llama: Llama 2 learns to code★ 85
Hugging Face Blog1012d agoReleaseMeta 正式發布專為程式碼任務設計的開源模型 Code Llama，提供 7B、13B 與 34B 三種尺寸，並包含 Python 專用版與指令微調版。該模型支援高達 100k 的上下文視窗，在多項程式碼基準測試中表現優異。Hugging Face 已同步支援該系列模型的推理、部署與微調。
Streaming output for language models★ 70
Replicate Blog1023d agoReleaseReplicate 宣布其 API 正式支援伺服器傳送事件（SSE）串流功能。開發者無需等待整個語言模型（LLM）生成完畢，即可即時將文字片段推送到前端。此功能可透過官方 Python 與 JavaScript SDK 輕鬆實現，能有效降低用戶感知的延遲，打造更流暢的 AI 互動體驗。
Run Llama 2 with an API
Replicate Blog1041d agoTutorialReplicate 宣布支援 Meta 的開源大語言模型 Llama 2。開發者現在無需自行管理繁雜的 GPU 基礎設施，只需透過 Replicate 提供的 API，用一行程式碼就能在雲端快速呼叫並運行 Llama 2。這大幅降低了開源模型的使用門檻，讓開發者能更輕鬆地將其整合至應用中。
What happened with Llama 2 in the last 24 hours? 🦙★ 80
Replicate Blog1049d agoReleaseMeta 推出新一代開源大語言模型 Llama 2（包含 7B、13B、70B 參數版本）後，在 AI 社群引發連鎖反應。Replicate 在第一時間託管了這些模型並提供 API 服務。本文彙整了發布後 24 小時內，包含雲端部署、API 呼叫及社群生態的最新進展，展現開源 AI 領域的驚人迭代速度。
Llama 2 is here - get it on Hugging Face★ 95
Hugging Face Blog1050d agoReleaseMeta 正式發布開源大型語言模型 Llama 2，包含 7B、13B 和 70B 三種參數規模，並允許商用。Hugging Face 與 Meta 深度合作，第一時間在 Hub 上架所有 Llama 2 模型，並全面支援 Transformers、TGI、PEFT 等工具。開發者可以直接在 Hugging Face 平台上進行 Llama 2 的推論、微調（Fine-tuning）與部署，並透過 Spaces 體驗 Chat 版本。
Open-Source Text Generation & LLM Ecosystem at Hugging Face★ 85
Hugging Face Blog1051d agoRelease本文系統性介紹 Hugging Face 的開源 LLM 生態系。核心組件包括用於模型載入與推理的 Transformers、實現高效微調的 PEFT、專為高並發部署設計的 Text Generation Inference (TGI)，以及支援對齊演算法（如 SFT、DPO）的 TRL。透過這些工具的協同效應，開發者可以低成本、高效地完成從模型選型、微調到生產線部署的全流程。
Deploy LLMs with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1064d agoTutorialHugging Face 介紹了其託管服務 Inference Endpoints，旨在簡化大型語言模型（LLM）的部署流程。開發者只需在 Hugging Face Hub 選擇模型，即可一鍵部署至 AWS 或 Azure 的安全 GPU 環境。該服務整合了 Text Generation Inference (TGI) 技術，支援動態批處理與張量並行，大幅提升推理效率並降低成本。
The Falcon has landed in the Hugging Face ecosystem★ 75
Hugging Face Blog1093d agoRelease阿布達比技術創新研究所（TII）推出的 Falcon-40B 與 Falcon-7B 模型正式整合至 Hugging Face 生態系統。這款模型在 Open LLM 排行榜上名列前茅，並採用了優化推理效率的 Multi-Query Attention 架構。本篇部落格介紹了如何使用 Transformers 庫進行推理、量化以及微調 Falcon 模型。
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA★ 90
Hugging Face Blog1105d agoReleaseHugging Face 宣布與 bitsandbytes 合作，將 4-bit 量化技術直接整合至 Transformers 庫中，並支援全新的 QLoRA 微調方法。這項技術透過 NF4 格式、雙重量化與分頁優化器，大幅降低顯存需求，使 65B 參數模型能在單張 48GB GPU 上進行微調，且幾乎不損失精度。這為資源有限的開發者與研究人員開啟了本地部署與客製化大模型的大門。
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
Hugging Face Blog1113d agoReleaseHugging Face 介紹了與 Intel 合作的 Q8-Chat 專案，展示在 Intel Xeon 處理器上高效運行生成式 AI 的可行性。透過 optimum-intel 庫與 SmoothQuant 技術，將模型進行 8-bit (INT8) 量化，大幅降低記憶體佔用並提升推理速度。此方案結合第四代 Intel Xeon 的 AMX 加速技術，證明無需昂貴的 GPU，利用現有 CPU 架構也能部署低延遲的聊天機器人。
Run a Chatgpt-like Chatbot on a Single GPU with ROCm
Hugging Face Blog1114d agoTutorialHugging Face 釋出指南，介紹如何使用 AMD ROCm 軟體棧在單一 AMD GPU 上運行開源大型語言模型。透過 PyTorch 與 Hugging Face 函式庫的整合，開發者與研究人員可以擺脫對 NVIDIA CUDA 的單一依賴，在 AMD 硬體上實現高效能的 AI 聊天機器人部署，並搭配 Gradio 建立互動介面。
Assisted Generation: a new direction toward low-latency text generation★ 85
Hugging Face Blog1118d agoReleaseHugging Face 發表「輔助生成（Assisted Generation）」技術（即投機解碼），旨在解決 LLM 自迴歸生成速度慢的痛點。該技術透過一個體積小、速度快的「輔助模型」預先生成候選 Token，再由「目標大模型」進行單次並行驗證。此方法在不降低輸出品質的前提下，能將生成速度提升高達 2 至 3 倍，為低延遲文本生成開闢了新路徑。
Creating a Coding Assistant with StarCoder
Hugging Face Blog1120d agoReleaseHugging Face 發表 StarChat Alpha，這是一個基於 15B 參數 StarCoder 基礎模型進行指令微調的對話式程式助手。透過特定的對話模板與微調資料集，StarCoder 從單純的程式碼補全工具升級為能進行多輪對話的 AI 助手。本篇介紹了其訓練細節、對話格式以及如何在 Hugging Face Spaces 上進行體驗。
StarCoder: A State-of-the-Art LLM for Code★ 85
Hugging Face Blog1125d agoReleaseHugging Face 與 ServiceNow 發起的 BigCode 專案正式推出 StarCoder，這是一款擁有 155 億參數的開源程式碼大語言模型。該模型在 The Stack 數據集上訓練，支援 80 多種程式語言，並具備 8K 上下文視窗與 Multi-Query Attention 技術。StarCoder 在多項程式碼基準測試中超越了當時的其他開源模型，並採用 OpenRAIL-M 授權，允許商業化使用。
Language model roundup, April 2023
Replicate Blog1138d agoReleaseReplicate 發布了 2023 年 4 月的開源語言模型（LLM）彙整報告。文章介紹了當時快速崛起的開源模型，包括基於 LLaMA 微調的 Vicuna、首款可商用的 Dolly v2，以及 Stability AI 推出的 StableLM。讀者可以透過 Replicate 的雲端 API 輕鬆部署與測試這些模型，大幅降低了開發者使用開源大模型的門檻與硬體成本。
Language models are on Replicate
Replicate Blog1154d agoRelease知名 AI 雲端託管平台 Replicate 宣布正式支援大型語言模型（LLMs）。平台已上架包括 Vicuna、Alpaca、Flan-T5 等多款開源模型，並優化了冷啟動時間。開發者現在可以透過簡單的 API 與 SDK，輕鬆在應用程式中整合語言模型的文字生成與串流（Streaming）輸出功能。
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face Blog1162d agoTutorialHugging Face 與 Intel 合作，展示在 Habana Gaudi2 晶片上運行 1760 億參數的大型語言模型 BLOOMZ 的推理表現。 透過 optimum-habana 整合，開發者只需修改幾行程式碼，即可在 Gaudi2 上輕鬆部署並加速 LLM。 基準測試顯示 Gaudi2 在處理超大型模型時，展現出超越 NVIDIA A100 的優異吞吐量與低延遲，為企業提供極具性價比的替代方案。
Hugging Face and AWS partner to make AI more accessible★ 75
Hugging Face Blog1197d agoBusinessHugging Face 與 AWS 宣布建立戰略合作夥伴關係，AWS 成為其首選雲端供應商。雙方將深度整合，讓開發者能透過 Amazon SageMaker 輕鬆訓練與部署 Hugging Face 上的超大型 AI 模型。此外，合作也將優化 AWS 自研晶片（Trainium 與 Inferentia）對開源模型的支援，大幅降低企業導入生成式 AI 的成本與門檻。
Parameter-Efficient Fine-Tuning using 🤗 PEFT★ 85
Hugging Face Blog1208d agoNew ToolHugging Face 宣布推出 PEFT（Parameter-Efficient Fine-Tuning）開源庫，旨在解決微調大模型時高昂的算力與儲存成本。PEFT 整合了 LoRA、Prefix Tuning、P-Tuning 等主流技術，僅需微調極少量的額外參數即可達到與全量微調相當的效果。這使得開發者能在消費級硬體（如單張 24GB 顯示卡）上微調數十億甚至百億參數的模型，並大幅縮小模型權重檔案體積。
Generating Stories: AI for Game Development #5
Hugging Face Blog1211d agoTutorial本教學為 Hugging Face 遊戲開發系列的第五部分，專注於「故事生成」。文章探討如何利用大型語言模型（LLM）來突破傳統遊戲線性敘事的限制，創造出動態、互動性強的遊戲劇情與 NPC 對話。讀者將學習如何透過 Prompt 工程引導模型，並將其整合至 Unity 等遊戲引擎中，實現自動化且具備上下文連貫性的遊戲敘事。
What Makes a Dialog Agent Useful?★ 75
Hugging Face Blog1225d agoOpinion本文探討將基礎語言模型轉化為實用對話代理（如 ChatGPT）的核心要素。Hugging Face 指出，除了預訓練外，透過指令微調（SFT）與人類回饋強化學習（RLHF）來對齊「實用、誠實、無害」三大原則至關重要。此外，賦予代理使用外部工具（如搜尋、計算機）的能力，能大幅提升其回答的準確性與實用性。
Getting Started with Hugging Face Inference Endpoints★ 75
Hugging Face Blog1327d agoTutorialHugging Face Inference Endpoints 是一項完全託管的服務，旨在簡化機器學習模型的部署流程。用戶只需點擊幾下，即可將 Hugging Face Hub 上的任何模型部署到 AWS 或 Azure 等雲端基礎設施。該服務支援 GPU/CPU 彈性縮放、自訂容器與私有連線（VPC），大幅降低了開發者與企業維護生產級推論 API 的門檻與成本。
Very Large Language Models and How to Evaluate Them★ 75
Hugging Face Blog1338d agoNew Tool隨著大型語言模型（LLM）體積急劇膨脹，如何公平且標準化地評估其性能成為一大挑戰。Hugging Face 宣布與 EleutherAI 合作，將其著名的 lm-evaluation-harness 整合至 Hugging Face Hub。用戶現在可以直接在 Hub 上對託管的模型進行零樣本（Zero-shot）與少樣本（Few-shot）評估，這不僅簡化了評估流程，更促進了開源 AI 社群的基準測試透明度與可重複性。
How 🤗 Accelerate runs very large models thanks to PyTorch★ 80
Hugging Face Blog1344d agoTutorialHugging Face 介紹了其 `Accelerate` 函式庫如何解決超大型模型（如 BLOOM-176B）在單一或有限 GPU 上因記憶體不足而無法加載的痛點。透過 PyTorch 的「元設備（Meta Device）」進行空權重初始化，並結合 `device_map="auto"` 自動將模型層分配至 GPU、CPU 甚至硬碟。這項技術讓開發者與研究人員能在消費級硬體或有限的資源下，進行超大模型的推理與微調。
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
Hugging Face Blog1355d agoTutorialHugging Face 釋出技術指南，針對 1760 億參數的開源巨型模型 BLOOM 提供高效推理方案。透過結合 DeepSpeed-Inference 的張量並行（Tensor Parallelism）與 Accelerate 的彈性部署，解決了超大模型需要超高 VRAM 的痛點。文章提供具體 PyTorch 腳本與基準測試，展示如何在多卡環境下將推理延遲降至最低。
Introducing The World's Largest Open Multilingual Language Model: BLOOM★ 75
Hugging Face Blog1421d agoReleaseHugging Face 協同 BigScience 社群正式發表 BLOOM，這是一個擁有 1760 億參數的開源多語言大模型。該模型由全球 70 多國、上千名研究人員歷時一年多共同協作完成，並在法國 Jean Zay 超級電腦上進行訓練。BLOOM 支援 46 種自然語言與 13 種程式語言，旨在打破科技巨頭壟斷，推動 AI 學術研究的民主化與開放合作。
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel★ 75
Hugging Face Blog1492d agoReleaseHugging Face 宣布在其 Accelerate 庫中整合 PyTorch FSDP（完全分片數據並行）技術。FSDP 透過將模型參數、梯度和優化器狀態分片到多個 GPU 上，解決了單一 GPU 記憶體不足（OOM）的問題。這項技術讓開發者與研究人員能夠以更低的硬體門檻，高效訓練和微調擁有數十億甚至數百億參數的超大型語言模型。