Tokenization in Transformers v5: Simpler, Clearer, and More Modular

Hugging Face 預告 Transformers v5 將重構 Tokenization 模組，帶來更一致的 API、清晰的特殊 Token 處理與高度模組化設計。

Hugging Face 宣布將在即將推出的 Transformers v5 中，對核心的 Tokenization（分詞）系統進行重大重構。新版本旨在解決長期以來 Fast 與 Slow Tokenizer 行為不一致的痛點，簡化特殊 Token 與 Chat Template 的處理流程，並透過模組化設計讓開發者能更輕鬆地自定義分詞步驟，大幅提升開發體驗與模型部署的穩定性。

摘要由 AI 整理,以原文為準。