🔥 Trending today
From OpenAI to Open LLMs with Messages API on Hugging Face★ 80
Hugging Face Blog845d agoReleaseHugging Face 宣布其文字生成推論工具（TGI）正式支援與 OpenAI 相容的 Messages API。這意味著開發者可以使用現有的 OpenAI SDK，僅需更改 Base URL 和 API 金鑰，就能直接調用託管在 Hugging Face 上的開源大語言模型（如 Llama、Mistral 等）。TGI 會在後台自動處理繁瑣的聊天模板（Chat Templates）轉換，大幅降低了從閉源轉向開源模型的門檻。
Chat Templates: An End to the Silent Performance Killer★ 85
Hugging Face Blog973d agoRelease在開發 LLM 對話應用時，不同模型（如 LLaMA、Vicuna）要求不同的特殊標記與格式。過去手動拼接字串極易出錯，微小的空格或換行差異都會嚴重影響模型輸出品質。Hugging Face 推出「Chat Templates」功能，將格式化邏輯以 Jinja 模板儲存於 tokenizer 設定中，開發者只需調用 `apply_chat_template()` 即可自動套用正確格式，徹底解決此痛點。