Introducing RWKV - An RNN with the advantages of a transformer

Hugging Face 宣布正式整合 RWKV 架構，結合 RNN 的低推論成本與 Transformer 的高效訓練優勢。

Hugging Face 官方部落格介紹了 RWKV 架構並宣布將其整合至 transformers 函式庫。RWKV 是一種新型態的深度學習架構，它在訓練時能像 Transformer 一樣進行並行化計算，但在推論時則展現出 RNN 的特性，具備恆定的記憶體與時間複雜度。這項整合讓開發者能以極低的硬體資源部署與運行大規模語言模型。

摘要由 AI 整理,以原文為準。