From OpenAI to Open LLMs with Messages API on Hugging Face

Hugging Face TGI 支援 OpenAI 相容的 Messages API，開發者只需修改程式碼中的 API 網址，即可無縫切換至開源模型。

Hugging Face 宣布其文字生成推論工具（TGI）正式支援與 OpenAI 相容的 Messages API。這意味著開發者可以使用現有的 OpenAI SDK，僅需更改 Base URL 和 API 金鑰，就能直接調用託管在 Hugging Face 上的開源大語言模型（如 Llama、Mistral 等）。TGI 會在後台自動處理繁瑣的聊天模板（Chat Templates）轉換，大幅降低了從閉源轉向開源模型的門檻。

摘要由 AI 整理,以原文為準。