把智能体的表现交给 LLM 裁判打分，正在成为行业默认做法。但一个越来越尴尬的事实是：任务只做一半、结果靠编、过程全是错的，只要输出足够流畅，依然能拿高分。arXiv 上一项新研究给出反直觉的解法——不训练更聪明的裁判，而是让它先自动生成一张免奖励评分清单，把整体印象分拆成逐项证据核验。
注：三项数字是对该方法核心特征的概括，并非论文实验成绩；具体量化结果请以 arXiv 原文为准。
一个做过 Agent 评测的人都心知肚明、却很少写进论文的现象：同一批任务输出，LLM 裁判给出的分数普遍高于人工复核。这不是某个团队的疏漏，而是模型裁判的系统性倾向——它容易被整体流畅度、自信语气和工整格式"说服"，却不容易发现任务是否真的完成、结果是否真的可验证。
现在的问题，不是裁判不够聪明，而是它太容易"信"了。
裁判阅读最终输出，凭整体印象给 0-10 分。流畅、自信、格式漂亮的回答天然占优。
先为任务自动生成一份专属检查清单，再逐项核验"证据是否成立"，最后汇总结论。
注：左列为当前主流基准的常见打分方式，右列为该研究提出的路径；本图用于对比两种范式的差异。
"过授信"具体长什么样？编辑梳理了最典型的三种形态：
注：三种形态为编辑基于公开评测经验的梳理，用于理解"过授信"的具体表现；原论文对现象的量化分析请以原文为准。
这项题为《Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation》的研究，最核心的改动是给裁判增加了一步前置动作：不直接打分，先让它基于任务描述自动生成一份评分清单。每个任务都会得到一份专属的、可逐项核验的检查项——比如"报告中出现的每个财务数字，是否都能在指定的源文件中找到出处"、"步骤三声称删除的缓存目录，是否存在删除日志佐证"。
所谓"免奖励"，指的是清单生成过程不依赖任何奖励信号或奖励模型，完全从任务本身诱导出来。这决定了它的立场：它不去"学习"以往打分的好恶，也就少了一重被既有偏好带偏的风险。
注：阅读方式——四个环节顺序执行；与传统"整体印象分"相比，最后一步输出的是一张打勾表，而不是一个孤零零的分数。
清单越具体，幻觉越无处遁形。
原理听起来不复杂。真正有价值的问题在于：它具体如何识破上面三种"水分"？
注：以上三个案例为编辑依据该方法原理梳理的典型示意，用于展示"清单核验"如何工作，并非对原论文实验数据的复述。
方法走通了。但更值得注意的，是它的落地方式——这项研究没有选择建一个封闭榜单，而是把评测工具放进 arXivLabs。
作为 arXiv 的实验协作框架，arXivLabs 允许协作者直接在 arXiv 网站上开发、测试并共享新功能，且只与认同开放、社区、卓越、用户隐私这四个价值观的团队合作。换句话说，这篇论文不是把方法写进 PDF 里等着别人复现，而是让方法本身成为一个可以上手操作、可以协作修改的实验对象。
评分清单、证据链与最终得分一并公开，可被逐条拆开复核。
研究者直接在 arXiv 页面交互、迭代与复现，无需另起炉灶。
评测方法从榜单制造商的内部事务，变成社区共同维护的基建。
注：三张卡片为编辑对 arXivLabs 分发方式影响的梳理；框架的具体协作机制以 arXiv 官方说明为准。
但别急着把"免奖励评分清单"捧成评测终局。它压缩过授信的代价同样清晰：清单本身由 LLM 起草——如果裁判对某个领域存在结构性偏见，这份偏见会顺着清单渗进来，只是换了一种更隐蔽的形式。
更现实的局限是：一套小规模的学术方案，离成为主流榜单的默认配置还有很长的路；而"逐项打勾"对真正依赖创造性、没有标准答案的任务，也可能矫枉过正。
给 LLM 裁判发一张检查清单，是评测基建的一小步，却是一次立场转换：打分不再依赖直觉，而是依赖可追溯的证据。但清单的起草者仍然是 LLM——让模型为模型制定标准，压缩的是水分的上限，而不是尺子的偏差。评测的下一战，不在裁判更聪明，而在证据链更硬。
研究已在 arXiv 公开，评测工具随 arXivLabs 框架上线——研究者可以在论文页面直接体验与协作；普通读者也能亲眼看到一套"免奖励"打分的工作过程。
进入 arXivLabs → 查看方法工具