Introducing HELMET: Holistically Evaluating Long-context Language Models

Hugging Face 推出 HELMET 基準測試，擺脫單一的「乾草針」測試，全面評估長文本 LLM 在問答、摘要、檢索等 7 大實際場景的真實實力。

Hugging Face 介紹了由普林斯頓大學等機構提出的 HELMET 基準測試，旨在解決現有長文本評估（如 Needle In A Haystack）過於單一的問題。HELMET 包含 7 大類、11 個真實應用數據集，涵蓋長文本問答、摘要、資訊檢索與程式碼生成等。測試結果顯示，許多宣稱擁有超長上下文的模型，在實際複雜任務中的有效性能會隨著長度增加而顯著衰退。

摘要由 AI 整理,以原文為準。