🔬 强化学习 · 基础设施
强化学习进入"训推一致"时代，AI基础设施从算力供应走向智能生产线
当预训练边际收益递减，后训练强化学习（RL）成为模型能力持续Scaling的关键引擎。九章智算云与智谱GLM-5系列等模型协同验证：RL不再是单一算法，而是连接训练、推理与状态管理的"智能生产线"，训推一致正在成为衡量AI基础设施的核心标准。
综合公开信息整理•
2026-07-25•
全文约 4 分钟读完
#强化学习
#训推一致
#九章智算云
#GLM-5
#AI基础设施
🏭 3 大组件
Generator · Environment · Trainer 闭环
62.1分
GLM-5.2 SWE-bench Pro
1.5×
首日推理速度提升
39.33%
小模型RL迭代 AIME 2024
⚡ 30 秒速览 精华
- 核心转变：大模型从"一次性预训练"进入"持续后训练"阶段，RL让模型能力Scaling延伸到生成、反馈与迭代全过程。
- RL系统三要素：Generator（生成Rollout）、Environment（执行并返回Reward）、Trainer（更新权重），三者形成持续闭环，吞吐匹配是关键。
- 训推一致：九章智算云将Generator、Environment、Trainer纳入统一工作流，全局动态调度，首日速度提升1.5倍，随流量变化再提升1.25倍。
- 状态资源化：KV Cache、轨迹数据从临时缓存升级为可复用状态资源，零拷贝链路降低非计算开销，让已产生的上下文持续创造价值。
- 研究验证：DeepSeek-R1-Distill-Qwen-1.5B在AIME 2024达39.33%，Qwen2.5-32B可通过持续RL迭代释放推理潜力，On-policy学习是关键。
01从预训练到后训练 RL为什么成为新引擎
过去几年，大模型竞争的主线很清晰：更大的模型、更多的数据和更强的GPU集群。但随着预训练边际收益递减，数学推理、代码生成、复杂决策、长时序Agent等高阶能力，越来越依赖后训练强化学习（RL）来激发。
RL通过生成、执行、反馈和奖励，让模型持续学习推理、规划与自我纠错的能力。这意味着，大模型发展从"一次性训练"进入"持续训练"，模型能力Scaling也从预训练延伸至生成、反馈和迭代全过程。
当RL成为模型能力持续Scaling的关键，竞争的就不只是算法，还有支撑模型持续生成、训练和更新的AI基础设施系统。
传统预训练范式
依赖固定数据集，一次性训练完成后部署，模型能力上限在训练时已基本确定。
后训练RL范式
训练数据由模型实时生成，训练与推理形成连续生产关系，模型能力持续迭代进化。
62.1GLM-5.2 SWE-bench Pro
81.0GLM-5.2 Terminal-Bench 3.0
39.33%DeepSeek-R1-Distill AIME 2024
1.5×首日推理速度提升
注：GLM-5.2与GLM-5.3在相同基座上推进强化学习，后训练Scaling持续提升模型智能上界。小模型通过持续RL迭代即可释放显著推理潜力。
02RL系统的结构 Generator · Environment · Trainer
强化学习与传统预训练的核心差异，不在于增加一种训练算法，而在于改变了训练系统的结构。一个完整的RL系统由三部分组成：Generator 接收Prompt并通过推理生成Rollout；Environment 执行代码、工具调用或任务模拟并返回Reward；Trainer 依据Rollout和Reward更新模型权重，再将新权重回传Generator。
Generator→
Environment→
Trainer→
权重更新→
Generator
与预训练依赖固定数据集不同，RL的训练数据由模型实时生成，因此训练与推理第一次真正形成了连续生产关系。问题也随之出现：如果Trainer每秒能够消费100个样本，而Generator只能生成60个，训练算力就会闲置；反之则会造成Rollout堆积、数据陈旧，形成Policy Staleness。
因此，RL基础设施优化的核心不再是单点GPU利用率，而是Trainer Throughput与Effective Generator Throughput的动态匹配。RL系统本质上是一个需要持续平衡吞吐、数据新鲜度与资源利用率的分布式生产系统。
注：图中箭头表示数据与权重的闭环流转。Generator与Trainer之间的动态匹配是RL系统效率的关键瓶颈，也是训推一致要解决的核心问题。
03九章智算云：训推一致的工程实现
九章智算云围绕RL工程化基础设施构建了统一工作流，将Generator、Environment和Trainer纳入全局动态调度，适应不同阶段的资源需求——生成环节成为瓶颈时增加推理资源，训练进入高峰时重新分配算力，Environment等待时释放闲置GPU。调度对象从"哪台机器有空闲GPU"升级为"模型、轨迹、状态和下一步计算应该在哪里"。
⚡ 全局动态调度 生产验证
- 统一工作流：Generator、Environment、Trainer纳入同一调度系统，按阶段动态分配算力资源。
- 实际效果：在MiniMax M2.1 229B和Qwen3-Coder-Next 80B等前沿模型上，首日速度提升1.5倍；随着流量变化，速度比静态预测器再提升1.25倍。
- 核心价值：训练与推理不再各自为政，而是共享同一套感知计算、数据、状态和工作流的统一基础设施。
工程亮点：在线投机者学习被重新定义为在生产环境中运行的异步RL问题，接受和拒绝的令牌作为奖励信号，训练服务器持续更新投机者，新权重可热插拔实现零停机。
🧠 状态资源化 架构创新
- 零拷贝链路：依托DingoFS分布式文件底座、DFKV分布式缓存、RDMA高速网络，重新组织数据与状态流转，缩短数据传输路径。
- KV Cache复用：将KV Cache从单GPU临时缓存升级为可定位、可迁移、可跨任务复用的状态资源，避免重复Prefill。
- 调度升级：AI调度逻辑从"哪里有空闲GPU"升级为"模型、算力、上下文和状态应该在哪里组合"。
行业意义：运行状态本身成为基础设施的核心资源，Agent交互产生的上下文与KV Cache、轨迹数据与奖励信号、实时更新的模型权重，共同构成AI持续进化的状态资产。
注：以上数据基于九章智算云在生产环境中的实际部署验证，涵盖MiniMax M2.1 229B、Qwen3-Coder-Next 80B等前沿模型。
04有效Token产出率 训推一致的最终目标
"训推一致"的系统能力带来显著好处：加速推理优化技术进入生产级别，反过来影响训练效率，促成Token成本直线下降。Prefill与Decode的PD分离、Chunked Prefill、Speculative Decoding等技术的本质，都在解决同一个问题：让有限GPU生产更多有效Token。
在九章智算云体系中，这些技术变为一条生产线——Generator产生的Token不是最终答案，而是下一轮训练的原材料。Generator效率越高，同等算力就能生成更多Rollout；KV Cache复用减少重复Prefill；PD分离与动态调度进一步提升计算与带宽匹配效率。
传统方案
训练与推理各自独立部署，算力、数据、状态彼此割裂，Token生成后即丢弃，非计算开销层层累积。
九章智算云方案
训练与推理共享统一基础设施，Token即原材料，KV Cache可复用，状态跨任务流转，单位算力的有效Token产出率显著提升。
训练与推理优化最终统一为AI基础设施生产级目标：单位算力的有效Token产出率，以及Token向模型智能的转化效率。这也正是九章智算云RL技术路线的核心价值——并非单独搭建RL训练平台，而是将Generator、Trainer、Environment、模型权重、KV Cache与GPU算力整合进统一AI Runtime。
注：有效Token指能够直接用于模型训练或推理优化、产生实际价值的Token，不包含重复计算或无效Prefill的Token。
编辑核心判断
RL正在从单一模型训练算法，成为连接大模型、Agent与具身智能的通用技术底座。训推一致不是效率优化，而是AI基础设施的范式升级——当模型能力Scaling依赖于持续生成、反馈与迭代，基础设施的核心任务就不再是提供算力，而是让训练与推理在统一的生产线上高效协同。九章智算云在中国市场率先完成的大规模工程验证表明：谁先实现训推一致，谁就能在RL驱动的下一阶段竞争中占据结构性的成本与效率优势。
AI云正从"算力供应商"转变为连接训练、推理、状态与模型迭代的核心底座，而训推一致是衡量这一底座是否合格的关键标尺。