🤖 机器人 · 技术突破

World Labs 发布 R2S2R 引擎:用世界模型训练机器人,五种真机平台验证

李飞飞创企 World Labs 推出机器人训练闭环引擎 R2S2R(真实-仿真-真机),在五种不同机器人平台上完成验证,实现仿真到真机的零落差迁移。这项成果试图破解困扰行业多年的数据采集贵、真机测试慢、泛化能力弱三重难题。

来源:综合公开信息整理 2026-07-29 全文约 4 分钟读完
#World Labs #R2S2R #机器人训练 #世界模型 #仿真到真机
5 种 真机平台验证,全部成功迁移
2 核心环节:Real-to-Sim + Sim-to-Real
7 任务类型,覆盖刚性/柔性/关节物体

⚡ 30 秒速览

  • 核心突破:R2S2R 引擎打通了「真实任务→仿真重建→策略训练→真机部署」闭环,五种机器人平台全部迁移成功,无需真实数据微调。
  • Real-to-Sim:将真实物理任务(含传感器、环境、物体、交互过程)重建为高保真可交互仿真环境,视觉与动力学双对齐。
  • Sim-to-Real:在仿真中训练策略,再迁移到真机执行。团队称仿真环境能「预测」真实世界中的成功与失败边界。
  • 隐藏信号:仿真环境不仅能复现成功,还能复现失败——这意味着机器人团队可以在虚拟世界中「主动搜索」模型失效场景。
  • 产业意义:World Labs 认为仿真器是世界模型体系的关键环节,R2S2R 让仿真从「一次性测试工具」变成「可重复使用的研发平台」。

01R2S2R:真实世界与仿真世界的双向桥梁

机器人的训练困境与大语言模型截然不同。LLM 可以靠互联网文本数据快速迭代,但机器人需要真实的物理交互数据——采集成本高、场景受限、安全风险大,规模化复制几乎不可能。

World Labs 的答案是:用世界模型创造可交互的数字世界,让机器人在虚拟环境中完成绝大部分训练和评估,再迁移到真实世界。

R2S2R 引擎由两个阶段构成:

接收真实任务Real-to-Sim 重建仿真仿真训练策略Sim-to-Real 真机部署

与传统仿真依赖人工搭建虚拟环境不同,R2S2R 利用世界模型技术,从真实机器人任务出发,自动重建与现实高度一致的数字世界。这意味着仿真环境不仅还原了视觉信息,还模拟了物理反馈和动态变化。

传统仿真方法

人工搭建虚拟环境,资产复用率低;与真实世界存在「视觉+物理」双重差距;训练出的策略迁移到真机后效果不可控。

R2S2R 方法

从真实任务自动重建仿真环境,视觉与动力学双对齐;仿真中训练的策略可直接迁移到真机,无需额外微调。

注:R2S2R 发布于 2026 年 7 月 29 日,由 World Labs 与 7 月 21 日收购的机器人仿真创企 SceniX 联合打造。

02Real-to-Sim:把真实世界「搬」进仿真器

Real-to-Sim 的目标很直接:让仿真环境与真实世界在视觉、几何、物理和动力学四个维度上高度对齐。

但真实环境不会提供完整、干净的测量数据。物体的形状、重量、摩擦力存在不确定性;相机和机器人硬件有参数偏差;线缆、包装材料等柔性物体的形变难以用简单模型还原。

World Labs 开发了一套新的生成式世界建模系统,能够采集机器人本体、传感器、环境、操作物体及任务演示数据,再重建为可交互的虚拟世界。

验证方法很「笨」但很有效:在仿真和真实环境中执行相同的开环动作序列,直接对比两者的观测结果、物体响应和最终任务表现。

🦾 YAM 机械臂 · 线缆操控 虚实对齐通过

  • 通过持续接触完成线缆滑动、布线和插拔操作,仿真与真实环境中的动作过程和任务结果保持高度一致。
  • 线缆属于可变形物体,形变过程中的接触力变化被仿真环境准确还原。
对齐维度:视觉观测 ✓ 运动轨迹 ✓ 任务结果 ✓

🤖 ALOHA 双臂 · 柔性线缆插入 虚实对齐通过

  • 机器人在线缆发生形变和持续接触的情况下,完成抓取线缆末端并将其插入孔洞的操作。
  • 验证了仿真环境对复杂柔性物体交互过程的还原能力。
对齐维度:视觉观测 ✓ 运动轨迹 ✓ 任务结果 ✓

🔄 RB-Y1 双臂 · 电源线布线 虚实对齐通过

  • 机器人通过双手协同操作,将可形变线缆围绕冰箱完成完整布线
  • 仿真与真实环境中的操作效果高度匹配。
对齐维度:视觉观测 ✓ 运动轨迹 ✓ 任务结果 ✓

注:以上案例涵盖刚性物体、关节结构物体、可变形物体三种类型,适配不同机器人平台和传感器配置。

03Sim-to-Real:在虚拟世界里学会真本事

完成真实任务重建后,对齐的仿真环境就成了训练和评估平台。研发人员可以在仿真中训练新策略、主动发现模型容易失败的场景、生成针对性数据,再回到真机验证。

一个诚实的注脚:

World Labs 明确表示,R2S2R 的价值「并非在于展示单个成功案例,而在于通过虚实对齐的仿真环境,让机器人具备适应多任务、多物理交互场景的泛化能力」。

📦 ALOHA 双臂 · 完全基于仿真训练 零真实数据

  • 机器人策略完全基于仿真数据训练,不使用任何真实世界训练数据。
  • 训练完成后直接从仿真环境迁移至真实 ALOHA 机器人,完成双臂装箱操作。
  • 在光照扰动条件下,同一策略仍能保持稳定运行。
验证结论:仿真训练策略可直接迁移至真机,且具备环境鲁棒性。
5真机平台
7任务类型
0真实数据依赖
1次仿真→真机迁移

注:五种真机平台包括 YAM、ALOHA、RB-Y1、Flexiv、xArm,覆盖刚性/柔性/关节物体操作。

更关键的是评估能力。World Labs 认为,机器人研发迭代速度远慢于大语言模型,核心限制是模型效果评估高度依赖实体硬件。R2S2R 的仿真环境可以实现规模化评估

🔬 评估验证:仿真能预测真实世界中的成败

  • 在仿真与真实环境的临界成功测试中,策略在立方体中心区域完成抓取;当任务接近泛化边界时,机械臂尝试靠近边缘抓取,两种环境中均复现了相同的接近失败行为。
  • 失败测试中,系统同样能还原对应的失败行为和任务结果。
  • 实验覆盖不同策略架构、训练配置,以及训练集内位置(ID)和训练集外未知位置(OOD)两类场景。
核心结论:仿真中表现更好的策略,在真实硬件中同样表现更优——相对排名与成功/失败区域分布均保持一致。

这意味着,机器人团队可以利用 R2S2R 引擎筛选模型检查点、发现性能退化、指导策略和数据迭代,只把最有潜力的策略投入高成本硬件测试

04为什么是 World Labs 做出来了?

World Labs 由李飞飞创立,其核心判断是:仿真器是世界模型体系中的关键环节,能让智能体在虚拟世界中完成行动、学习和评估。

R2S2R 的实验结果验证了这一判断。但更值得关注的是它的底层逻辑

传统机器人研发中,仿真环境是一次性的测试工具——项目结束,仿真资产就废弃了。R2S2R 的逻辑是:同一个任务场景经过一次重建后,可以持续用于后续模型训练和硬件迭代,让仿真环境变成可重复使用的研发平台

这背后有一个更深层的认知:

仅优化算法、增加真实硬件数据,仍难以解决机器人从实验室演示走向实际应用的泛化难题。R2S2R 通过打通 Real-to-Sim 与 Sim-to-Real 两个环节,把「真实世界数据昂贵」这个硬约束,转化为「虚拟世界数据可规模化生成」的新范式。

编辑核心判断

机器人领域的 Scaling Law 不会来自堆砌真实数据,而是来自对物理世界的高保真建模。R2S2R 证明了仿真环境可以成为机器人训练的基础设施——但真正的考验在于,这套方法能否在真实产业场景中持续跑通,而不是停留在实验室的「完美案例」里。

研究已公开

World Labs 已在技术博客中公开 R2S2R 的完整方法论与实验数据,涵盖所有案例的执行快照与评估结果。

worldlabs.ai → 技术博客