🔥 Trending today
Faster Text Generation with TensorFlow and XLA
Hugging Face Blog1406d agoTutorialHugging Face 官方部落格介紹了結合 TensorFlow 與 XLA（加速線性代數）編譯器來優化文本生成的方法。透過在 generate() 函數中啟用 jit_compile=True，開發者可以顯著減少推論延遲。然而，由於 XLA 需要靜態形狀（static shapes），使用時必須對輸入進行固定長度的填充與截斷。
Faster TensorFlow models in Hugging Face Transformers
Hugging Face Blog1953d agoTutorial本文介紹如何將 Hugging Face Transformers 中的 TensorFlow 模型導出為 SavedModel 格式，並利用 TensorFlow Serving 進行高效部署。透過啟用 XLA（加速線性代數）編譯，開發者可以顯著降低推理延遲並提高吞吐量。這套方案為生產環境提供了一個無需 Python 運行時、高併發且低延遲的 NLP 模型服務架構。