一项针对主流大语言模型的最新研究发现，模型在相当比例的推理错误中仍保持高置信度，且这种误校准在不同提示策略下稳定存在——数学推理、逻辑推理与事实性问答成为"重灾区"，为AI在高风险场景的落地敲响警钟。
校准（calibration）衡量的是模型对自身输出的置信度与真实正确率之间的一致性。一个完美校准的模型，在100次给出90%置信度的预测中，应当恰好有90次是正确的。
稳定误校准（Stable Miscalibration）描述的是一种更棘手的情况：模型不仅对错误答案给出高置信度，而且这种误校准在多种提示策略、多种任务格式下持续存在，不会因为提示方式的变化而消失。
一个诚实的注脚：
传统校准问题可以通过温度缩放、Platt缩放等后处理技术部分缓解，但稳定误校准对这类方法具有抵抗力——因为它不是简单的"输出概率偏差"，而是与模型内部的认知表征深度绑定。
模型整体倾向于过度自信或欠自信，可通过后处理技术统一调整。
特定类型的错误与高置信度绑定，不同提示策略下持续存在，后处理难以消除。
注：两种校准问题的本质差异在于"可修正性"——传统偏差是统计层面的偏移，而稳定误校准涉及模型对特定知识类型的错误表征。
研究对多个主流大语言模型进行了系统评估，覆盖数学推理、逻辑推理、事实性问答、代码生成、文本摘要等任务类型。结果显示，误校准在不同任务类型间呈现显著差异：
注：柱形长度示意相对比例，非零起点；百分比表示"错误答案中被赋予高置信度（>0.9）的占比"。数学推理以36%居首，文本摘要最低为18%。
模型规模与校准效果之间不存在简单正相关。研究显示，某些中等规模模型在特定任务上的校准表现优于更大规模的模型，表明模型架构、训练数据分布与校准效果之间存在更复杂的交互关系。
稳定误校准的发现，将校准问题从"模型评估的一项指标"推向了"AI安全的关键议题"。原因有三：
在医疗诊断、法律咨询、金融分析等领域，模型的高置信度错误可能导致实质性决策失误。如果模型对错误诊断保持高置信度，医生或用户很难判断何时该质疑AI的建议。
许多AI系统依赖模型自身的置信度评分来触发人工审核或降级处理。稳定误校准意味着这些安全机制可能失效——模型自信地认为自己的错误答案是正确的，从而绕过审核阈值。
传统以准确率为核心的评估体系无法捕捉误校准风险。一个在数学推理上达到90%准确率的模型，可能仍有30%的错误答案以高置信度输出——这对安全敏感场景是不可接受的。
一个值得注意的发现：研究显示，指令微调（instruction tuning）在某些情况下反而会加剧误校准——模型学会了更"自信"地表达，但正确率并未同步提升。
注：数据基于多项关于大语言模型校准的独立研究，反映了稳定误校准现象在不同模型家族中的普遍性。
当AI系统开始进入医疗、法律、金融等高风险领域，"准确率"已经不是一个足够好的衡量标准。一个模型可能在95%的情况下正确，但剩下的5%中，它可能以一种"自信且看似合理"的方式犯错——而这5%恰好是最需要警惕的。
稳定误校准的"稳定"二字，才是真正值得关注的点。它意味着传统的提示工程、后处理校准、甚至指令微调，都无法从根本上解决这个问题。校准不是一个可以"打补丁"解决的问题，它需要从模型训练的目标函数、数据分布、架构设计层面重新思考。
一个残酷的行业现实是：当前的主流评估体系（MMLU、GPQA、HumanEval等）都以准确率为核心指标，校准指标长期被边缘化。只要校准不进入主流评估框架，模型开发者就没有动力去优化它——而市场会奖励那些"看起来更聪明"的模型，而不是"更诚实"的模型。
校准能力正在从"可选项"变为"必选项"——当AI开始做决策而不是仅仅生成内容时，一个模型是否知道自己不知道，比它知道什么更重要。稳定误校准的研究揭示了一个深层问题：当前大语言模型的"自信"与"正确"之间，存在一条尚未被重视的鸿沟。
该研究已在arXiv发布完整报告，涵盖实验设计、评测数据集与模型响应示例。研究团队同时开源了校准评估工具包，支持在自定义模型上复现评测。
校准评估工具包已在GitHub公开发布 · 支持主流LLM框架