🦾 具身智能 · 模型发布

世界模型有了触觉:首个隐式触觉动作模型发布,50 万小时人类视频打通"预判—执行—反馈"链路

7 月 28 日,BeingBeyond(智在无界)发布 Being-H0.8——首个基于人类视频数据的隐式触觉世界动作模型。它把触觉纳入世界模型的完整闭环:接触前预判将怎样碰、接触后据触觉实时纠偏,在真实双臂机器人上完成了包中取物、毛笔写字、挤牙膏、夹薯片等仅凭视觉难以完成的精巧任务。

来源:公开报道 2026-07-28 全文约 4 分钟读完
#具身智能 #世界模型 #触觉感知 #BeingBeyond
首个 基于人类视频数据的隐式触觉世界动作模型
50万小时 第一人称人类操作视频数据池,国内规模最大
4 无触觉视频 → 可训练触觉数据的完整 pipeline

⚡ 30 秒速览

  • 发布了什么:Being-H0.8,在 Being-H0.7 隐式世界—动作模型基础上,首次把触觉模态纳入隐空间表示。
  • 核心突破:触觉不再只是动作完成后的附加反馈,而是同时进入"预测、执行与调整"全链路。
  • 数据底座:50 万小时第一人称视频,经清洗、动作恢复、触觉标注形成 UniHand-3.0 训练集。
  • 关键难点:大规模人类视频没有同步触觉记录——用 TactoHand 从视频推断接触,再用压力手套补真实物理量。
  • 实验验证:真实双臂机器人完成包中取物、毛笔写字、挤牙膏、夹薯片等依赖触觉的高难度任务。
  • 团队背景:BeingBeyond 成立于 2025 年 5 月,创始人卢宗青为北大计算机学院长聘副教授。

01触觉如何进入世界模型 一直是个开放问题

现有世界模型大多以视觉为核心。它们可以看到物体如何移动、形变,却很难准确判断接触是否发生、发生在哪里、物体正承受怎样的作用力

更现实的问题是:绝大多数大规模人类视频和机器人数据集,本身就没有同步记录触觉信息。想要训练一个具备触觉能力的世界模型,既缺统一的触觉表征,也缺能规模化获取的训练数据。

视觉世界模型

能看到"物体怎么动",难判断"碰没碰、碰在哪、多大力"——接触推断靠猜。

隐式触觉世界动作模型

接触前预判交互后果,接触后据触觉实时纠偏——触觉进入预测、执行、调整全过程。

Being-H0.8 的解法是:不试图在像素层面完整重建未来画面,而是在隐空间中预测与任务真正相关的交互后果——是否发生接触、接触会带来怎样的状态变化——并利用预测出的潜在状态调节动作生成。

02它能做什么 真实双臂机器人实验

在真实双臂机器人实验中,Being-H0.8 完成了多个依赖触觉、仅凭视觉难以完成的高难度精巧任务:

🎒 包中取物依赖触觉

从开口有限的包内取出目标物体,视线被遮挡,需凭触觉判断物体与手指的相对位置,避免抓空或硬拽

🖌️ 毛笔写字依赖触觉

落笔力度直接决定笔画粗细与墨色,需实时感知笔尖与纸面的接触、滑动与受力变化来调整下笔轻重。

🪥 挤牙膏依赖触觉

软管形变与挤出量呈非线性,需凭接触反馈判断力度——多了溢出、少了不出,力度窗口极窄。

🍟 夹薯片依赖触觉

薯片脆、轻、形状不规则,夹取力度窗口极窄:轻了滑落、重了碎裂,必须靠触觉闭环实时纠偏。

03模型架构 四个核心模块

Being-H0.8 由四个核心模块组成,分别负责预测、执行、感知与动作对齐:

Mixture of Transformers(MoT)预测交互后果

训练时,未来时刻的触觉 token 进入后验分支,帮助模型理解真实接触发生后世界状态如何变化;部署时负责提前预测交互后果

慢—快动作专家执行与实时调整

慢速流缓存视觉、语言和隐世界状态等计算成本更高的上下文,维持整体任务与动作计划;快速流在动作执行中读取最新状态和触觉反馈,只重新生成下一小段动作。机器人不必每次触觉变化都重算完整计划。

通用触觉编码器统一触觉输入

在统一手部拓扑上建立由粗到细的触觉金字塔——从整只手是否接触,到具体区域、指尖,再到逐顶点的压力或邻近度。不同来源数据映射到对应粒度,再通过 Perceiver 结构压缩成固定数量的触觉 token

TopoHand统一动作空间

将手部表示拆分为手腕位姿、形态编码、20 个规范关节角和夹爪张开量,让人手、灵巧手和平行夹爪使用一套可相互对齐的动作语言——不是把所有手改造成同一种结构

0450 万小时视频怎么变成触觉数据 四步 pipeline

50 万小时原始视频并不等于 50 万小时可训练数据。其中混有大量看不到手、缺少有效操作、镜头剧烈抖动或内容高度重复的片段。团队先搭建数据处理管线完成过滤、去重、切分、语言标注和分布再平衡,再用 MANO 统一手部表示 + HMR 恢复裸手轨迹 + Caliball 补齐相机参数,从视频中恢复出可学习的手部动作信息。

但到这里,数据仍然缺少最关键的一环——触觉。把没有触觉的视频变成可训练的触觉数据,靠的是下面四步:

1

TactoHand从视频恢复接触

利用手与物体三维几何关系,在 MANO 手部表面 778 个顶点上预测两类信息:接触标注(哪里已碰)和邻近度标注(从靠近到接触的连续过程)。用 21 个人—物交互数据源、3010 万帧训练,引入时序信息辅助判断——单帧看似贴合可能只是视角重叠。

2

压力手套补充真实物理量

几何关系能恢复接触位置,却难获得压力、摩擦、剪切力、滑移和材质等细致物理信息。UniHand-3.0 加入约 55 小时、540 万同步帧的压力手套数据,将真实压力信号投影到同一套 MANO 手部表面,与视频推断形成互补。

3

通用触觉编码器统一不同触觉数据

不同来源触觉格式各异——有的只标是否接触,有的来自几个指尖传感器,有的逐顶点给压力。有效性标记尤其关键:"没有压力传感器"和"压力读数为零"不是一回事。

4

TopoHand对齐人手与机器人动作

人手、灵巧手、平行夹爪在几何结构、自由度和控制空间上差异明显。TopoHand 将手部表示拆分为手腕位姿、形态编码、规范关节角和夹爪张开量,让语义相近的动作进入相同表示槽位。

至此,从普通视频中恢复的隐式触觉、真实传感器采集的压力信号,以及不同本体的动作数据,才被统一到同一套表示体系,真正进入 Being-H0.8 的"预测—执行—反馈"链路。

编辑视角

本篇报道源自企业通稿,实验结果为单方披露,未见第三方复测。读者可带着两条背景读:其一,"首个"的定性基于"使用大规模人类视频数据预训练"这一限定,触觉世界模型本身在学界已有李飞飞、徐丹飞、宋舒然等多条探索线,并非全新方向;其二,包中取物、夹薯片等任务目前只见定性展示,未见量化基准对比,能力边界尚不清晰。

具身智能的竞争正从"有没有大规模视频"转向"能不能从视频中提取有物理意义的训练信号"——数据质量工程正在超过数据规模比拼。