World Labs 发布 R2S2R 引擎:用世界模型训练机器人,五种真机平台验证
李飞飞创企 World Labs 推出机器人训练闭环引擎 R2S2R(真实-仿真-真机),在五种不同机器人平台上完成验证,实现仿真到真机的零落差迁移。这项成果试图破解困扰行业多年的数据采集贵、真机测试慢、泛化能力弱三重难题。
李飞飞创企 World Labs 推出机器人训练闭环引擎 R2S2R(真实-仿真-真机),在五种不同机器人平台上完成验证,实现仿真到真机的零落差迁移。这项成果试图破解困扰行业多年的数据采集贵、真机测试慢、泛化能力弱三重难题。
机器人的训练困境与大语言模型截然不同。LLM 可以靠互联网文本数据快速迭代,但机器人需要真实的物理交互数据——采集成本高、场景受限、安全风险大,规模化复制几乎不可能。
World Labs 的答案是:用世界模型创造可交互的数字世界,让机器人在虚拟环境中完成绝大部分训练和评估,再迁移到真实世界。
R2S2R 引擎由两个阶段构成:
与传统仿真依赖人工搭建虚拟环境不同,R2S2R 利用世界模型技术,从真实机器人任务出发,自动重建与现实高度一致的数字世界。这意味着仿真环境不仅还原了视觉信息,还模拟了物理反馈和动态变化。
人工搭建虚拟环境,资产复用率低;与真实世界存在「视觉+物理」双重差距;训练出的策略迁移到真机后效果不可控。
从真实任务自动重建仿真环境,视觉与动力学双对齐;仿真中训练的策略可直接迁移到真机,无需额外微调。
注:R2S2R 发布于 2026 年 7 月 29 日,由 World Labs 与 7 月 21 日收购的机器人仿真创企 SceniX 联合打造。
Real-to-Sim 的目标很直接:让仿真环境与真实世界在视觉、几何、物理和动力学四个维度上高度对齐。
但真实环境不会提供完整、干净的测量数据。物体的形状、重量、摩擦力存在不确定性;相机和机器人硬件有参数偏差;线缆、包装材料等柔性物体的形变难以用简单模型还原。
World Labs 开发了一套新的生成式世界建模系统,能够采集机器人本体、传感器、环境、操作物体及任务演示数据,再重建为可交互的虚拟世界。
验证方法很「笨」但很有效:在仿真和真实环境中执行相同的开环动作序列,直接对比两者的观测结果、物体响应和最终任务表现。
注:以上案例涵盖刚性物体、关节结构物体、可变形物体三种类型,适配不同机器人平台和传感器配置。
完成真实任务重建后,对齐的仿真环境就成了训练和评估平台。研发人员可以在仿真中训练新策略、主动发现模型容易失败的场景、生成针对性数据,再回到真机验证。
一个诚实的注脚:
World Labs 明确表示,R2S2R 的价值「并非在于展示单个成功案例,而在于通过虚实对齐的仿真环境,让机器人具备适应多任务、多物理交互场景的泛化能力」。
注:五种真机平台包括 YAM、ALOHA、RB-Y1、Flexiv、xArm,覆盖刚性/柔性/关节物体操作。
更关键的是评估能力。World Labs 认为,机器人研发迭代速度远慢于大语言模型,核心限制是模型效果评估高度依赖实体硬件。R2S2R 的仿真环境可以实现规模化评估:
这意味着,机器人团队可以利用 R2S2R 引擎筛选模型检查点、发现性能退化、指导策略和数据迭代,只把最有潜力的策略投入高成本硬件测试。
World Labs 由李飞飞创立,其核心判断是:仿真器是世界模型体系中的关键环节,能让智能体在虚拟世界中完成行动、学习和评估。
R2S2R 的实验结果验证了这一判断。但更值得关注的是它的底层逻辑:
传统机器人研发中,仿真环境是一次性的测试工具——项目结束,仿真资产就废弃了。R2S2R 的逻辑是:同一个任务场景经过一次重建后,可以持续用于后续模型训练和硬件迭代,让仿真环境变成可重复使用的研发平台。
这背后有一个更深层的认知:
仅优化算法、增加真实硬件数据,仍难以解决机器人从实验室演示走向实际应用的泛化难题。R2S2R 通过打通 Real-to-Sim 与 Sim-to-Real 两个环节,把「真实世界数据昂贵」这个硬约束,转化为「虚拟世界数据可规模化生成」的新范式。
机器人领域的 Scaling Law 不会来自堆砌真实数据,而是来自对物理世界的高保真建模。R2S2R 证明了仿真环境可以成为机器人训练的基础设施——但真正的考验在于,这套方法能否在真实产业场景中持续跑通,而不是停留在实验室的「完美案例」里。
World Labs 已在技术博客中公开 R2S2R 的完整方法论与实验数据,涵盖所有案例的执行快照与评估结果。
worldlabs.ai → 技术博客