Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method

Hugging Face 介紹 Nyströmformer，利用 Nyström 方法將 Self-Attention 複雜度降至線性，解決長文本處理瓶頸。

Hugging Face 官方部落格介紹了 Nyströmformer 模型。該模型旨在解決傳統 Transformer 在處理長序列時面臨的平方級（O(n²)）時間與記憶體複雜度限制。透過引入數學上的 Nyström 方法，Nyströmformer 能夠以線性（O(n)）的複雜度高效逼近標準的 Self-Attention 機制，並已整合至 Hugging Face transformers 庫中，方便開發者直接調用。

摘要由 AI 整理,以原文為準。