Showing:inference-time-computeDevelopersClear ×
本文探討了比較開源(如 Llama)與閉源(如 GPT、Claude)模型時,過度依賴單一評估指標(如 MMLU 或 Arena Elo)的盲點。作者指出,基準測試受提示詞敏感度、測試集污染及後訓練(Post-training)策略影響極大。未來,隨著推理期計算(Inference-time compute)與 Agent 應用的興起,評估模型性能的維度將發生根本性轉變。