世界模型有了触觉:首个隐式触觉动作模型发布,50 万小时人类视频打通"预判—执行—反馈"链路
7 月 28 日,BeingBeyond(智在无界)发布 Being-H0.8——首个基于人类视频数据的隐式触觉世界动作模型。它把触觉纳入世界模型的完整闭环:接触前预判将怎样碰、接触后据触觉实时纠偏,在真实双臂机器人上完成了包中取物、毛笔写字、挤牙膏、夹薯片等仅凭视觉难以完成的精巧任务。
7 月 28 日,BeingBeyond(智在无界)发布 Being-H0.8——首个基于人类视频数据的隐式触觉世界动作模型。它把触觉纳入世界模型的完整闭环:接触前预判将怎样碰、接触后据触觉实时纠偏,在真实双臂机器人上完成了包中取物、毛笔写字、挤牙膏、夹薯片等仅凭视觉难以完成的精巧任务。
现有世界模型大多以视觉为核心。它们可以看到物体如何移动、形变,却很难准确判断接触是否发生、发生在哪里、物体正承受怎样的作用力。
更现实的问题是:绝大多数大规模人类视频和机器人数据集,本身就没有同步记录触觉信息。想要训练一个具备触觉能力的世界模型,既缺统一的触觉表征,也缺能规模化获取的训练数据。
能看到"物体怎么动",难判断"碰没碰、碰在哪、多大力"——接触推断靠猜。
接触前预判交互后果,接触后据触觉实时纠偏——触觉进入预测、执行、调整全过程。
Being-H0.8 的解法是:不试图在像素层面完整重建未来画面,而是在隐空间中预测与任务真正相关的交互后果——是否发生接触、接触会带来怎样的状态变化——并利用预测出的潜在状态调节动作生成。
在真实双臂机器人实验中,Being-H0.8 完成了多个依赖触觉、仅凭视觉难以完成的高难度精巧任务:
从开口有限的包内取出目标物体,视线被遮挡,需凭触觉判断物体与手指的相对位置,避免抓空或硬拽。
落笔力度直接决定笔画粗细与墨色,需实时感知笔尖与纸面的接触、滑动与受力变化来调整下笔轻重。
软管形变与挤出量呈非线性,需凭接触反馈判断力度——多了溢出、少了不出,力度窗口极窄。
薯片脆、轻、形状不规则,夹取力度窗口极窄:轻了滑落、重了碎裂,必须靠触觉闭环实时纠偏。
Being-H0.8 由四个核心模块组成,分别负责预测、执行、感知与动作对齐:
训练时,未来时刻的触觉 token 进入后验分支,帮助模型理解真实接触发生后世界状态如何变化;部署时负责提前预测交互后果。
慢速流缓存视觉、语言和隐世界状态等计算成本更高的上下文,维持整体任务与动作计划;快速流在动作执行中读取最新状态和触觉反馈,只重新生成下一小段动作。机器人不必每次触觉变化都重算完整计划。
在统一手部拓扑上建立由粗到细的触觉金字塔——从整只手是否接触,到具体区域、指尖,再到逐顶点的压力或邻近度。不同来源数据映射到对应粒度,再通过 Perceiver 结构压缩成固定数量的触觉 token。
将手部表示拆分为手腕位姿、形态编码、20 个规范关节角和夹爪张开量,让人手、灵巧手和平行夹爪使用一套可相互对齐的动作语言——不是把所有手改造成同一种结构。
50 万小时原始视频并不等于 50 万小时可训练数据。其中混有大量看不到手、缺少有效操作、镜头剧烈抖动或内容高度重复的片段。团队先搭建数据处理管线完成过滤、去重、切分、语言标注和分布再平衡,再用 MANO 统一手部表示 + HMR 恢复裸手轨迹 + Caliball 补齐相机参数,从视频中恢复出可学习的手部动作信息。
但到这里,数据仍然缺少最关键的一环——触觉。把没有触觉的视频变成可训练的触觉数据,靠的是下面四步:
利用手与物体三维几何关系,在 MANO 手部表面 778 个顶点上预测两类信息:接触标注(哪里已碰)和邻近度标注(从靠近到接触的连续过程)。用 21 个人—物交互数据源、3010 万帧训练,引入时序信息辅助判断——单帧看似贴合可能只是视角重叠。
几何关系能恢复接触位置,却难获得压力、摩擦、剪切力、滑移和材质等细致物理信息。UniHand-3.0 加入约 55 小时、540 万同步帧的压力手套数据,将真实压力信号投影到同一套 MANO 手部表面,与视频推断形成互补。
不同来源触觉格式各异——有的只标是否接触,有的来自几个指尖传感器,有的逐顶点给压力。有效性标记尤其关键:"没有压力传感器"和"压力读数为零"不是一回事。
人手、灵巧手、平行夹爪在几何结构、自由度和控制空间上差异明显。TopoHand 将手部表示拆分为手腕位姿、形态编码、规范关节角和夹爪张开量,让语义相近的动作进入相同表示槽位。
至此,从普通视频中恢复的隐式触觉、真实传感器采集的压力信号,以及不同本体的动作数据,才被统一到同一套表示体系,真正进入 Being-H0.8 的"预测—执行—反馈"链路。
本篇报道源自企业通稿,实验结果为单方披露,未见第三方复测。读者可带着两条背景读:其一,"首个"的定性基于"使用大规模人类视频数据预训练"这一限定,触觉世界模型本身在学界已有李飞飞、徐丹飞、宋舒然等多条探索线,并非全新方向;其二,包中取物、夹薯片等任务目前只见定性展示,未见量化基准对比,能力边界尚不清晰。