🔥 Trending today
datasette-llm-limits 0.1a0
Simon Willison's Weblog18d agoReleaseSimon Willison 發布了 Datasette 的新插件 `datasette-llm-limits 0.1a0`。該插件與 `datasette-llm` 和 `datasette-llm-accountant` 協同工作，允許管理員為 Datasette 內部的 LLM 使用設定每位用戶（或全域）的消費限制。例如，可以輕鬆配置每位用戶在滾動 24 小時內最多只能消耗 1.00 美元的 LLM 額度，有效防止 API 帳單爆表。
Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face★ 75
Hugging Face Blog760d agoNew ToolHugging Face 宣布與獨立評測機構 Artificial Analysis 合作，將其 LLM 效能排行榜引入平台。該榜單不僅評估模型品質，更著重於實際部署指標，如吞吐量（Tokens/sec）、首字延遲（TTFT）與每百萬 Token 的成本。這讓開發者在選擇模型與託管服務商（如 Groq、Together AI 等）時，能有更直觀且數據驅動的決策依據。