Hugging Face BlogOct 22, 2024, 12:00 AM重要 75

Releasing Outlines-core 0.1.0: structured generation in Rust and Python

Outlines-core 0.1.0 發布,將結構化生成核心移植至 Rust,大幅提升 Python 與 Rust 的 LLM 輸出控制效能。

Outlines 團隊與 Hugging Face 合作發布了 outlines-core 0.1.0,將結構化生成的核心邏輯(如 FSM 與 Token 遮罩)用 Rust 重寫。這項更新不僅大幅降低了引導生成時的 CPU 開銷與延遲,也讓 Rust 開發者能直接在 Rust 生態系中實現精準的 JSON 或正規表示式輸出控制,同時保持對 Python 的完美支援。

想看英文原文 / 完整內容?

前往 Hugging Face Blog 原文 →

摘要由 AI 整理,以原文為準。