🔥 Trending today
Transformers backend integration in SGLang★ 75
Hugging Face Blog344d agoRelease高效能 LLM 推理與結構化生成框架 SGLang 宣布正式整合 Hugging Face Transformers 作為其執行後端。此更新讓開發者能直接利用 SGLang 的結構化控制 API（如 gen、select 等）驅動任何 Hugging Face 上的模型，無需等待原生 CUDA 核心適配，為新架構模型的快速原型設計、除錯與相容性測試提供極大便利。
Controlling Language Model Generation with NVIDIA's LogitsProcessorZoo★ 75
Hugging Face Blog526d agoNew ToolNVIDIA 與 Hugging Face 合作介紹 LogitsProcessorZoo，這是一個專為控制大語言模型（LLM）生成行為而設計的工具庫。透過在 Token 生成階段直接干預 Logits（未歸一化的機率值），開發者能輕鬆實現 JSON 結構化輸出、正則表達式約束及自定義解碼策略。該工具與 Hugging Face Transformers 深度整合，大幅提升了生成內容的可靠性與安全性。
Releasing Outlines-core 0.1.0: structured generation in Rust and Python★ 75
Hugging Face Blog588d agoReleaseOutlines 團隊與 Hugging Face 合作發布了 outlines-core 0.1.0，將結構化生成的核心邏輯（如 FSM 與 Token 遮罩）用 Rust 重寫。這項更新不僅大幅降低了引導生成時的 CPU 開銷與延遲，也讓 Rust 開發者能直接在 Rust 生態系中實現精準的 JSON 或正規表示式輸出控制，同時保持對 Python 的完美支援。