🔥 Trending today
FACTS Benchmark Suite: Systematically evaluating the factuality of large language models★ 80
Google DeepMind Blog175d agoReleaseGoogle DeepMind 發表全新的 FACTS 基準測試套件，專門用於系統化評估大型語言模型（LLM）的真實性。該套件解決了現有評估方法不夠全面或難以標準化的痛點，透過多維度的測試集與自動化評估指標，幫助研究人員與開發者精確量化模型的「幻覺」程度。這對於提升 AI 在高風險領域（如醫療、法律、金融）的實用性與信任度具有重要意義。
Back to The Future: Evaluating AI Agents on Predicting Future Events★ 75
Hugging Face Blog320d agoReleaseHugging Face 發表全新基準測試「FutureBench」，旨在評估 AI Agent 在預測未來事件（如地緣政治、金融市場及科技趨勢）上的表現。該測試挑戰了 Agent 的資訊檢索、機率推理與時間推理能力，有效避免了傳統基準測試中常見的資料洩漏問題。評估結果顯示，目前的 AI Agent 在面對未知的未來事件時，預測準確度與人類專家仍有顯著差距。