Latest in AI

Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method

Hugging Face 官方部落格介紹了 Nyströmformer 模型。該模型旨在解決傳統 Transformer 在處理長序列時面臨的平方級（O(n²)）時間與記憶體複雜度限制。透過引入數學上的 Nyström 方法，Nyströmformer 能夠以線性（O(n)）的複雜度高效逼近標準的 Self-Attention 機制，並已整合至 Hugging Face transformers 庫中，方便開發者直接調用。