Latest in AI

The Reformer - Pushing the limits of language modeling

Reformer 是一種旨在解決標準 Transformer 處理長序列時記憶體與計算瓶頸的改進架構。它引入了局部敏感雜湊（LSH）注意力機制，將計算複雜度從平方級降至對數線性級，並採用可逆殘差層，在反向傳播時無需儲存激活值。這些技術讓 Reformer 能夠在有限的硬體資源下，高效處理極長的文本序列。