Claude’s new model is more ‘honest’ when it messes up
The Verge AI5d agoReleaseAnthropic is releasing Claude Opus 4.8 and highlighting the model’s “honesty” as a key improvement. The company says it trains its models to avoid unsupported claims, addressing a broader issue where AI systems sometimes jump to conclusions. Based on the provided excerpt, the update is positioned around reliability and uncertainty handling rather than a specific new tool or benchmark result.
AI put "synthetic quotes" in his book. But this author wants to keep using it.
Ars Technica AI11d agoOpinion作家 Steven Rosenbaum 在撰寫新書《The Future of Truth》時使用 AI 輔助，卻發現書中出現了 AI 虛構的「合成引言」（synthetic quotes）。儘管面臨內容失真的批評，Rosenbaum 解釋了這些錯誤是如何發生的，並堅稱他不會放棄 AI，而是主張創作者應學會與 AI 共存並改進協作流程。
Send the arXiv AI-generated slop, get a yearlong vacation from submissions★ 75
Ars Technica AI18d agoIncident知名學術預印本平台 arXiv 宣布新政策，針對提交 AI 生成之「垃圾內容（slop）」與「幻覺（hallucinations）」的作者實施嚴厲懲罰。根據 arXiv 社群媒體上板主的說明，違規者將被處以「禁投一年」的處罰。此舉旨在維護學術研究的真實性與品質，防堵日益氾濫的 AI 劣質學術寫作對科研生態造成的破壞。
FACTS Benchmark Suite: Systematically evaluating the factuality of large language models★ 80
Google DeepMind Blog175d agoReleaseGoogle DeepMind 發表全新的 FACTS 基準測試套件，專門用於系統化評估大型語言模型（LLM）的真實性。該套件解決了現有評估方法不夠全面或難以標準化的痛點，透過多維度的測試集與自動化評估指標，幫助研究人員與開發者精確量化模型的「幻覺」程度。這對於提升 AI 在高風險領域（如醫療、法律、金融）的實用性與信任度具有重要意義。
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases★ 75
Hugging Face Blog853d agoReleaseHugging Face 與 AI 評測新創 Patronus AI 合作，推出全新的「企業情境排行榜」（Enterprise Scenarios Leaderboard）。此排行榜旨在解決傳統學術基準（如 MMLU）與實際企業應用脫節的問題。評測涵蓋金融分析（如 SEC 申報文件）、法律合約理解、客戶服務以及隱私資訊（PII）防範等真實場景，為企業選擇最適合的 LLM 提供客觀的實戰數據參考。
The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models★ 75
Hugging Face Blog855d agoReleaseHugging Face 推出全新的「幻覺排行榜」（Hallucinations Leaderboard），這是一項旨在量化評估大型語言模型（LLM）幻覺程度的開源計畫。該排行榜主要評估模型在處理檢索增強生成（RAG）和文本摘要等任務時，產生不實資訊的機率。透過提供公開透明的評測標準，幫助開發者在建構應用時選擇最不易出錯、最可靠的模型。
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard★ 75
Hugging Face Blog872d agoTutorial本教學詳細介紹如何從頭構建一個自訂的 Hugging Face 模型排行榜。文章以 Vectara 的「LLM 幻覺排行榜（Hallucination Leaderboard）」為實際案例，展示如何結合 Hugging Face Spaces（使用 Gradio）與 Datasets 儲存評測數據，並實現自動化更新與前端展示。這對於想要建立特定領域（如 RAG、安全、特定語言）模型評估標準的開發者與研究人員非常實用。