一项新研究提出了「步级推理能量」分析框架，对 LLM 在 Chain-of-Thought 推理中每一步的计算强度进行量化，发现约 30% 的步骤承担了超过 70% 的推理能量，并识别出三种截然不同的能量分布模式。
Chain-of-Thought 推理让 LLM 在回答问题前先生成中间推理步骤。但并非所有步骤都同等重要——有些步骤承载了关键的推理跃迁，有些则是重复或冗余的。
这项研究提出的「步级推理能量」（Step-Aware Reasoning Energy）指标，通过分析每一步的隐状态变化幅度、注意力分布熵值以及 token 级概率差异，综合量化每一步的"计算强度"。
一个诚实的注脚：
能量值是一个相对指标，反映的是步骤之间的计算强度差异，而非绝对的计算量。它告诉我们在一条推理轨迹中，哪些步骤更重要、哪些步骤可以被压缩。
将 CoT 视为等权重的步骤序列，每步重要性相同，压缩时均匀处理。
识别每步的"能量贡献"，区分关键步骤与冗余步骤，为差异化压缩提供依据。
注：步级推理能量由隐状态变化幅度、注意力熵和 token 概率差异三项指标加权合成，权重基于下游任务表现通过网格搜索确定。
研究者在多个推理基准（GSM8K、MATH、BIG-Bench Hard）上对主流模型（GPT-4、Claude 3、Llama 3、Qwen 等）进行了分析，发现 CoT 轨迹的能量分布呈现三种典型模式：
注：柱形宽度代表该模式在所有分析轨迹中的占比。尖峰集中型模式中，单步最高能量可达平均值的 4.2 倍。
尖峰集中型模式最值得关注：在数学和逻辑推理任务中，一条 20 步的 CoT 轨迹中，往往只有 5-6 步承担了绝大部分推理能量，其余步骤多为"背景铺垫"或"结论重述"。
研究者进一步分析了低能量步骤的内容，将其分为两类：
注：分类基于语义相似度与因果贡献分析。语义重复步骤通过 BERTScore 与前后步骤的语义重叠度判定；探索回退步骤通过"反事实移除"测试验证——移除后答案正确率显著下降即归为此类。
步级推理能量指标由三个子指标加权合成，每个子指标捕捉模型在推理过程中不同维度的"思考强度"：
研究者发现，三个指标在尖峰集中型模式中高度相关（r > 0.75），但在均匀分布型模式中相关性较弱（r < 0.3），说明不同模式下的推理机制可能存在本质差异——尖峰集中型模式中"关键步骤"在全维度上都表现出高强度，而均匀分布型模式中每一步的推理强度在各个维度上分布更分散。
注：隐状态变化使用 L2 距离，注意力熵衡量注意力分布的集中程度，token 概率差计算当前步与上一步概率分布之间的 KL 散度。三项指标经 min-max 归一化后等权求和。
一个关键的验证：研究者将步级推理能量与人类标注的步骤重要性进行了对比，在 200 条标注轨迹上，能量指标与人类判断的 Spearman 相关系数为 0.67，说明这一量化指标与人类直观感受高度一致。
这项研究不仅是对推理机制的分析，也有明确的实用价值：
当前 LLM 的推理成本仍然很高，尤其在需要长 CoT 的复杂任务上。步级推理能量的提出，提供了一种从"过程"角度理解推理效率的新视角——不是简单地压缩步数，而是区分"哪些步骤重要、哪些步骤可以压缩"。
研究中最有价值的发现或许是：低能量步骤≠冗余步骤。探索回退型步骤虽然单步能量低，却是模型自我校正能力的重要组成部分。粗暴地压缩所有低能量步骤，反而会损害模型在复杂任务上的表现。
这意味着，未来的 CoT 压缩策略需要从"等权压缩"转向"语义感知的差异化压缩"——保留那些低能量但高因果贡献的步骤，移除那些低能量且语义重复的步骤。
步级推理能量让 CoT 推理从"黑箱"走向"可分析"。但真正的瓶颈不在于识别冗余，而在于区分"可压缩的冗余"与"不可压缩的隐性校正成本"——后者是模型可靠性的基石，动不得。
论文已公开于 arXiv，评测框架与部分分析工具已同步开源，可供研究社区复现与扩展。
arXiv → 搜索论文标题