Faster Text Generation with Self-Speculative Decoding

Meta 提出 LayerSkip 技術，利用「自投機解碼」無需額外草稿模型即可大幅提升 LLM 生成速度。

Hugging Face 介紹了 Meta 的 LayerSkip 技術，該技術透過「自投機解碼（Self-Speculative Decoding）」來加速 LLM 推理。傳統投機解碼需要額外的草稿模型，而 LayerSkip 讓單一模型在推理時自我預測與驗證。透過在訓練時加入層丟棄與早期退出損失，模型能用前幾層快速生成草稿，再由完整模型驗證，顯著降低記憶體佔用並提升速度。

摘要由 AI 整理,以原文為準。