一项名为「点火指数」（Ignition Index）的新评测框架，将大模型能力评估的焦点从「单轮问答」转向持续多步工作区动态——首次为衡量 AI 智能体在长程任务中的上下文演化能力提供了可复现的量化标尺。
长期以来，大模型评测沿用的是一套「考试逻辑」——给一道题，看模型答得对不对。MMLU、GPQA 等基准莫不如此。但真实的 AI 智能体工作场景，从来不是一次问答就能解决的。
一个智能体需要接收意图、拆解任务、调用工具、验证结果，中间可能经历十几步操作，上下文在每一步都在演化。传统基准对此无能为力——它们只能看到最终答案，看不到中间过程。
但过程，才是智能体时代的真正考点。
考「模型知不知道」——单轮答题式评测，只看终态对错，忽略中间工作区动态。
考「模型能不能持续工作」——量化多步任务中上下文演化、工具调用与状态保真全链路。
注：对比卡展示两种评测范式的核心差异。点火指数并非替代传统基准，而是覆盖了后者无法触及的「过程维度」。
点火指数将大模型工作区动态拆解为四个可量化维度，每个维度独立打分后合成总指数。这种拆法的好处是：能精确定位模型在长程任务中哪一环最薄弱，而非笼统给一个分数。
注：以上为点火指数评测体系下的示意分数，展示各维度独立打分逻辑。实际分数因模型与任务而异，柱形自 60 分起缩放以便直观对比。
值得注意的是，中间状态保真度是四个维度中区分度最高的一项——它衡量的是模型在多步操作后，是否还能准确记住并利用早期步骤产生的中间结果。这恰恰是当前大多数大模型的软肋。
点火指数的评测任务覆盖了智能体最常被调用的三类工作场景，每类场景对四个维度的考验侧重不同。
点火指数的可信度，很大程度上来自它的孵化环境——arXivLabs。这不是一个闭门造车的评分体系。
arXivLabs 是一个允许协作者直接在 arXiv 平台上开发和共享新功能的框架。它有一套明确的价值对齐机制：参与者和组织必须接受开放、社区、卓越与用户数据隐私四项核心原则。arXiv 只与遵守这些原则的伙伴合作。
这意味着，点火指数从设计第一天起就在开放社区的目光下成长。
具体到点火指数，这意味着评测流程、任务设计、打分规则都对社区透明。任何研究者都可以在 arXivLabs 框架内复现评测、提交改进、甚至贡献新的工作场景。这与传统闭源榜单「给一个分数但不给过程」的做法形成鲜明对比。
点火指数的出现，折射出 AI 评测领域一个更深层的趋势转移。
过去两年，大模型评测一直在做一件事：把模型当学生考。题越来越难，从中学知识考到博士级推理。但点火指数换了一个视角——把模型当员工考。不只看你会不会，还要看你能不能把一件事从头做到尾，中途不丢线索、不乱调工具、不忘记中间结果。
这个视角切换，可能比评分本身更值得关注。
一个诚实的注脚：点火指数目前仍处于早期阶段，任务覆盖场景有限，打分维度是否完备也需更大规模验证。但方向是对的——智能体时代的评测，必须能看见过程。
当大模型从「答题器」变成「工作者」，评测体系必须从考卷进化为工位。点火指数迈出了这一步，但真正的考验在于：社区能否就「工作能力」达成像 MMLU 那样的行业共识。