Latest in AI

Tokenization in Transformers v5: Simpler, Clearer, and More Modular★ 82

Hugging Face 宣布將在即將推出的 Transformers v5 中，對核心的 Tokenization（分詞）系統進行重大重構。新版本旨在解決長期以來 Fast 與 Slow Tokenizer 行為不一致的痛點，簡化特殊 Token 與 Chat Template 的處理流程，並透過模組化設計讓開發者能更輕鬆地自定義分詞步驟，大幅提升開發體驗與模型部署的穩定性。