🤗 PEFT welcomes new merging methods★ 80
Hugging Face Blog834d agoReleaseHugging Face 的 PEFT 庫正式支援多種先進的 LoRA 合併技術，包括 TIES-Merging、DARE 和 Task Arithmetic。這些方法解決了傳統線性合併時常見的參數干擾與性能衰退問題。開發者現在可以透過簡單的 API，將針對不同任務微調的適配器融合成單一模型，大幅提升多任務模型的部署效率。
Goodbye cold boot - how we made LoRA Inference 300% faster★ 85
Hugging Face Blog910d agoReleaseHugging Face 分享了優化 LoRA 模型推論的技術突破。傳統上，為不同用戶切換微調模型會面臨嚴重的「冷啟動」延遲；新方案透過在 Text Generation Inference (TGI) 中實現動態載入 LoRA 轉接器（Adapters），讓共享同一個基礎模型的不同微調版本能即時切換，使整體推論速度提升達 300%，大幅降低多租戶架構的部署成本與延遲。
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora★ 75
Hugging Face Blog938d agoTutorialHugging Face 釋出技術指南，比較 RoBERTa、Llama 2 與 Mistral 7B 在「災難推特分類」任務上的表現。 透過 LoRA（低秩適應）技術，詳細分析了傳統編碼器模型與現代生成式大模型在分類精準度、訓練時間與硬體資源（VRAM）上的折衷。 結果顯示，雖然 7B 模型具備強大理解力，但較小的 RoBERTa 在特定分類任務上依然展現出極高的成本效益與競爭力。
Open-Source Text Generation & LLM Ecosystem at Hugging Face★ 85
Hugging Face Blog1051d agoRelease本文系統性介紹 Hugging Face 的開源 LLM 生態系。核心組件包括用於模型載入與推理的 Transformers、實現高效微調的 PEFT、專為高並發部署設計的 Text Generation Inference (TGI)，以及支援對齊演算法（如 SFT、DPO）的 TRL。透過這些工具的協同效應，開發者可以低成本、高效地完成從模型選型、微調到生產線部署的全流程。
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU★ 85
Hugging Face Blog1181d agoReleaseHugging Face 發表結合 TRL（Transformer 強化學習）與 PEFT（高效參數微調）的新技術。透過 8-bit 量化與 LoRA，大幅降低 RLHF 訓練時的 VRAM 需求。這項突破讓原本需要多張 A100 的 20B 參數模型微調，現在只需單張 24GB 消費級 GPU（如 RTX 3090/4090）即可完成，顯著降低開源社群實踐 RLHF 的門檻。