避免“长胶陷阱”:为什么优秀的 AI 系统必须学会拒绝“完美覆盖”?
面对概率性 AI 的边缘故障,工程师的本能是修复一切。但在企业级落地中,试图攻克最后 5% 的罕见场景,往往会付出 10 倍代价,甚至毁掉系统原有的核心优势。
面对概率性 AI 的边缘故障,工程师的本能是修复一切。但在企业级落地中,试图攻克最后 5% 的罕见场景,往往会付出 10 倍代价,甚至毁掉系统原有的核心优势。
如今 AI 幻觉的痛点在于:模型不再是漏洞百出地编造,而是带着引用、数据和斩钉截铁的语气“有根有据地胡说”,极难分辨。
但在一次针对“中文文本翻译腔校验”的测试中,一个 AI 给出了不寻常的答复:
知道边界并在边界前停下,恰恰是幻觉的反面。
长胶是乒乓球台上的特殊胶皮,它会借来球旋转,打出反常的慢节奏与断续感。普通选手遇上长胶,本能是专程花大量时间去苦练应对。
破坏应对 95% 正常对手时所需的动作机制与肌肉记忆,打球乐趣荡然无存。
掌握基本战术,接受偶尔输给特殊对手的现实,保护核心比赛风格。
在企业级 AI 系统中,同样存在这种“长胶陷阱”:
当团队把每一个边缘案例都塞进核心系统时,系统最终会被罕见案例塑形,而不是被日常功能塑形。覆盖率提高了,产品反而变差了。
当真实业务(Competition)遇到了意料之外的故障输入,不应该自动把所有失败都变成核心引擎的新需求。可以依据 3C 框架逐层诊断:
若案例反复出现且有价值,但基础组件稳健。最佳选择是组装新的工作流,成本低且安全。
仅当故障揭示了基础能力本身的真实弱点时才修改。因为修改底层组件会影响所有依赖它的连招,需要极高证据链。
若案例罕见、适配极贵且会扭曲核心功能,最正确的选择是设立边界——路由出去、升级给人工、或明确拒绝。
“解决问题”有三种诊断,不该得到相同的工程回应。
为什么工程师极其不愿意选择“设立边界”?很大程度上是因为受到情绪刺激的驱使。
“系统成功处理了一万个普通请求,然后在一个高管面前搞砸了一次,突然整个团队就动员起来确保它不再发生。没人停下来问问这到底有多罕见,消除它有多大价值,或者这个修复会在别处悄悄破坏什么。”
罕见失败带来的尴尬与情绪冲击,往往给了它超过实际发生频率的权重。但烦人从来不是重塑整个系统架构的理由。
Agent 落地时代,行业正在从“盲目追求 100% 完美覆盖”转向“精确定义边界”。一个懂得承认局限、能把例外优雅路由给人工的 AI 系统,远比一个被边缘案例塞满例外逻辑、最终在主线业务崩溃的臃肿引擎更具实用价值。