ACL 2026 Findings 收录的一项研究，发布了首个多语言医疗错误检测基准 MedErrBench——覆盖英、中、阿三语原生数据、10 类临床错误，实测主流模型后发现：医疗专用模型普遍输给通用模型；英文原生模型在中文数据上反而表现更好。
医疗是大模型落地最特殊的场景——一个微小的错误，可能致命。但判断一个模型"行不行"，不能靠直觉。
现有的大模型常常能生成非常流畅、甚至有医学术语支撑的诊断，但这些看似专业的输出背后，隐藏着错误。纽约大学阿布扎比分校与阿布扎比克利夫兰诊所的联合团队，与临床医生长期合作后发现：需要一个专门针对"错误检测与纠正"的评测基准，给大模型再加一道安全网。
于是有了 MedErrBench。
三项任务难度递进：错误检测（判断有无）→ 错误定位（指出位置）→ 错误纠正（生成修正文本）。评价指标包括 ROUGE、BLEU、BERTScore、BLEURT 等。
医疗专用模型肯定比通用模型更懂医疗；英文模型处理英文数据肯定最好。
医疗专用模型普遍落后；英文模型在中文原生数据上检测表现反而更好。
发现一：医疗专用模型，不如通用模型。
在英文数据集上，Doubao-1.5-Thinking-Pro 三项任务均表现最优，检测准确率 0.779、定位 0.774。DeepSeek-R1 和 GPT-4o-mini 紧随其后。而医疗专用模型 MedGemma、HuatuoGPT 不仅没有超越通用模型，甚至落后于部分通用模型。
研究团队分析有两个原因：第一，医疗模型的训练目标与错误检测任务不匹配——医学知识丰富，不意味着模型天然擅长识别一段看似合理的临床文本中具体哪里出错；第二，通用模型受益于更大的训练规模和更广泛的数据分布，语言理解与推理能力更强。
这重反直觉还有一个注脚：Doubao 和 DeepSeek 系列在三语数据集上的整体表现，普遍超过了 GPT-4o 和 Gemini。研究者认为，多语言语料构成与推理能力是关键因素。
发现二：英文原生模型在中文原生数据上，表现更好。
团队把中文数据集翻译成英文和阿拉伯语后重新测试，结果各项指标普遍下降，尤其在定位和纠正任务上降幅明显。更出乎意料的是，以英语训练为主的 GPT、Gemini，在中文原生数据集上的检测表现，竟然比在英文原生数据集上还要好。
原因指向一个判断：原生数据的临床信息密度和质量，比翻译带来的多语言覆盖更有价值。翻译会丢失语境细节，还可能引入表达偏差。
评测基准的价值，取决于数据质量。MedErrBench 的构建，本身就是一项工程。
英语和中文数据来自 MedQA 执业医师考试题，筛选出包含完整临床背景的复杂病例；阿拉伯语数据来自 MedArabiQ 和 MedAraBench，结合关键词筛选与人工审核。全部来自原生医学数据源，而非翻译产物。
错误分类由临床医生归纳，覆盖诊断、治疗、药物、病原体、实验室解读等 10 类高频错误。每个案例还标注了关键医学术语、难度等级和推理类型。
质量控制分两阶段：先由三语母语的 NLP 研究者初步标注，再由每种语言两名独立临床医生审核。马聪博透露，最难的不是技术，而是与医生的协作——通过小批量迭代、多轮反馈，才逐步统一标注标准。
实测模型覆盖 GPT-4o、Gemini、Llama、Qwen、DeepSeek、MedGemma、HuatuoGPT 等。结果呈现明显的"梯队效应"：
梯队划分为编辑根据论文描述整理，非官方排名。DeepSeek-R1 等模型具备推理机制，在定位和纠正这类复杂任务上发挥关键作用。
研究者补充了一个重要时间背景：实验完成于 2025 年，测试的是 GPT-4o 和 GPT-4o mini。如果使用 2026 年最新版模型，结果可能有所不同。
此外，实验还发现三个额外影响因素：提示策略设计、示例难度选择、临床数据类型（知识型 vs 场景型）——模型在这些维度上表现出明显偏好差异。
医疗 AI 的下一个竞争点，不在参数规模，而在错误检测与安全校验的系统工程能力。让 AI 先当好"辅助纠错者"，把错误找出来、告诉医生、由医生做最终判断——这比纠结"是否达到人类水平"更有现实价值。
论文发表于 ACL 2026 Findings，代码已开源，可复现全部实验与数据。
MedErrBench → 已开源