🔥 Trending today
GGML and llama.cpp join HF to ensure the long-term progress of Local AI★ 95
Hugging Face Blog102d agoBusiness開源 AI 領域迎來震撼消息，主導本地端 LLM 推理的開源專案 GGML 與 llama.cpp 正式宣布加入 Hugging Face。此舉旨在為本地端與邊緣端 AI 技術提供長期且穩定的資源支持。雙方將深化 GGUF 格式與 Hugging Face 平台的整合，確保開源社群能更輕鬆地在消費級硬體上運行高效能模型，持續推動去中心化與隱私優先的 AI 發展。
CO₂ Emissions and Models Performance: Insights from the Open LLM Leaderboard
Hugging Face Blog509d agoCommentaryHugging Face 發表 Open LLM Leaderboard 的碳排放分析報告，探討模型評估過程中的能源消耗與 CO₂ 排放。研究指出，雖然大型模型性能優異，但其碳足跡也呈指數增長；相反地，透過模型量化與參數優化，能在大幅降低能耗的同時保持高水準性能。此報告呼籲社群在追求高分之餘，也應重視「綠色 AI」與運算效率。
Llama 3.1 - 405B, 70B & 8B with multilinguality and long context★ 95
Hugging Face Blog679d agoReleaseMeta 正式發布 Llama 3.1 系列，包含 8B、70B 及首款能與頂級閉源模型媲美的 405B 旗艦模型。此版本將上下文視窗大幅提升至 128k，並增強了多語言能力。Hugging Face 同步推出完整生態系支援，涵蓋 Transformers 整合、TGI 推論優化、TRL 微調以及 FP8 量化，降低 405B 的部署門檻。