Latest in AI

Introducing RWKV - An RNN with the advantages of a transformer★ 75

Hugging Face 官方部落格介紹了 RWKV 架構並宣布將其整合至 transformers 函式庫。RWKV 是一種新型態的深度學習架構，它在訓練時能像 Transformer 一樣進行並行化計算，但在推論時則展現出 RNN 的特性，具備恆定的記憶體與時間複雜度。這項整合讓開發者能以極低的硬體資源部署與運行大規模語言模型。