arXivLabs 团队发布全新论文，提出以论辩式框架重构 AI 评价体系。系统不再依赖单一裁判的「独断打分」，而是引入多角色对抗机制——主张者、质疑者、仲裁者三方博弈，最终将评价从主观判断推向可追溯、可验证的论证链。
当前大模型评测的主流做法，是让一个「足够强」的模型充当裁判，对被评测模型的输出直接打分。这套方案简单高效，但随着模型输出越来越长、任务越来越复杂，单一裁判的盲区正在暴露。
问题核心在于：一个模型既是裁判又是参与者，它无法识别自己认知框架内的系统性盲点。当被评测模型生成一段看似合理但事实错误的论述时，裁判模型往往给出高分——因为它「读起来像对的」。
数据只是故事的一部分。真正的裂缝藏在打分理由里。
一个模型读完整段输出，直接给出分数。打分理由通常是一句笼统概括，无法定位具体哪句话有问题。
直觉驱动 · 不可追溯多角色逐句交锋，每个论点必须附带证据链。仲裁者基于论证完整度裁决，而非主观感受。
证据驱动 · 全链可溯注：对比卡仅呈现两种模式的核心差异，非性能基准测试。实际效果取决于具体模型与任务类型。
新框架的核心，是把「评价」这件事从单向判断重构为多轮辩论。系统内设三个角色，各司其职、相互制约：
生成原始论点与评价主张，必须附带证据来源与推理链。
提出主张逐条审查主张者的每个论点，寻找逻辑漏洞、事实错误与幻觉。
逐条反驳基于双方论证完整度裁决，输出结构化评分与可追溯的裁决理由。
基于证据裁决关键设计在于：仲裁者不直接判断对错，而是评估哪一方的论证链更完整、证据更扎实。这意味着，即使主张者最终结论正确，但论证过程存在跳跃，仍可能被质疑者拉低评分。
注：流程图展示典型辩论路径，实际轮次可动态扩展——复杂任务可能经历 5-7 轮交锋才收敛。
论文将评价标准拆解为四个维度，每个维度都可进一步细化为可验证的子指标，而非一个模糊的总分。
每个论点能否回溯到具体证据来源？引用是否真实存在、是否被断章取义？
论点内部是否存在自相矛盾？前后推理是否逻辑连贯？
推理过程是否跳步？是否存在「看似合理实则未证」的隐含假设？
是否触及问题本质？是否回应了最强势的反驳而非只挑软柿子捏？
注：四个维度权重可按任务类型动态调整——学术评审偏重严谨性，开放问答偏重深度。
arXivLabs 不是一个普通的工具团队——它背靠全球最大的预印本平台，每天处理数万篇学术论文的流通与评审。论辩式评价框架的提出，本质上是把学术共同体运行了几百年的同行评审制度，翻译成 AI 可以执行的协议。
论文中明确提到，arXivLabs 的价值观是开放、社区、卓越与用户数据隐私。这意味着框架的设计目标不是「打造最强闭源裁判」，而是让评价过程本身可被社区审查——这恰恰是论辩式框架的天然优势。
一个诚实的注脚。
论辩框架并非银弹。多角色对抗意味着算力开销约为传统打分的 3-5 倍，在实时场景中可能成为瓶颈。更深层的问题是：仲裁者自身也是模型，它的偏见并未消失，只是被延迟到了更上游。框架降低了单一裁判的独断风险，但没有消灭偏见本身。
AI 评价体系正从「谁更强谁说了算」走向「谁的论证链更完整谁说了算」——这不是技术升级，是认识论层面的范式转移。
论文已发布于 arXiv，搜索标题「Towards an Argumentative Foundation for Evaluative AI」即可获取全文。
arxiv.org → 搜索论文标题