Llama can now see and run on your device - welcome Llama 3.2★ 95
Hugging Face Blog615d agoReleaseMeta 正式發布 Llama 3.2，最大亮點為首次推出 11B 和 90B 的視覺多模態模型，能理解圖像與圖表；同時推出專為手機與邊緣裝置設計的 1B 和 3B 超輕量文字模型，支援 128k 脈絡長度。Hugging Face 已在 Transformers、TGI 及微調工具中全面支援，方便開發者即刻部署與應用。
Optimize and deploy with Optimum-Intel and OpenVINO GenAI★ 75
Hugging Face Blog620d agoTutorial本文介紹 Hugging Face 與 Intel 合作的最新部署方案。透過 optimum-intel 工具，開發者可以輕鬆將 Transformers 模型轉換並量化（如 INT4）為 OpenVINO 格式。接著，利用全新且輕量化的 openvino-genai API，即可在 Intel CPU、GPU 及 NPU 上實現極速的生成式 AI 推理，大幅簡化了從模型訓練到邊緣端部署的流程。
Fine-tuning LLMs to 1.58bit: extreme quantization made easy★ 85
Hugging Face Blog622d agoTutorialHugging Face 釋出最新指南，介紹如何將現有的預訓練大語言模型（LLM）微調至 1.58-bit（三進制模型）。傳統的 BitNet 1.58B 需要極為昂貴的從頭預訓練，而此方法允許開發者直接對現有開源模型（如 Llama）進行極限非線性量化微調。這項技術將權重限制在 -1、0、1 三個值，極大降低了顯存佔用與計算頻寬，讓大模型在消費級硬體甚至 CPU 上也能高效運行。
Google releases Gemma 2 2B, ShieldGemma and Gemma Scope★ 85
Hugging Face Blog671d agoReleaseGoogle 宣布推出 Gemma 家族新成員：僅有 2.6B 參數但性能強悍的 Gemma 2 2B 輕量模型；專為過濾有害內容設計的安全分類器 ShieldGemma（提供 2B、9B、27B 版本）；以及包含逾 400 個稀疏自編碼器的 Gemma Scope，為 AI 領域提供前所未有的模型內部決策「可解釋性」研究工具。
AMD Pervasive AI Developer Contest!
Hugging Face Blog839d agoBusinessAMD 與 Hugging Face 合作舉辦「Pervasive AI 開發者大賽」，旨在推廣 AMD 的 AI 硬體生態系。競賽分為生成式 AI、機器人 AI 與 PC AI 三大賽道，參賽者需利用 AMD Radeon GPU、Ryzen AI 或 Kria 開發套件，並結合 Hugging Face 的模型進行開發。本活動提供豐富的硬體支援與高達 15 萬美元的總獎金，吸引全球開發者共襄盛舉。
A comprehensive guide to running Llama 2 locally★ 70
Replicate Blog1046d agoTutorial本指南為開發者與 AI 愛好者提供在各種平台上本地運行 Llama 2 的實用方法。內容涵蓋適合 Mac 用戶的 Ollama、跨平台的 llama.cpp、圖形介面的 LM Studio，以及能在手機上運行 Llama 2 的 MLC LLM。透過這些工具，使用者無需依賴雲端 API 即可保護隱私並降低成本。