🦿 前沿应用 · 辅助出行

Meta 开源视觉模型植入辅助轮椅,ARPA-H 4150 万美元押注边缘 AI 辅助出行

匹兹堡大学 HERL 实验室正牵头研发 RAMMP 辅助机器人平台,将 Meta 开源的 DINOv3 与 SAM 模型部署在轮椅与机械臂的边缘端,让设备在无网环境下也能实时「看懂」路况与桌面物体。这笔高达 4150 万美元 的联邦资金,正试图把前沿 AI 变成 550 万美国轮椅用户的日常安全感。

来源:公开报道 全文约 3 分钟读完 i>
#Meta AI #DINOv3 #SAM #辅助机器人 #边缘计算
$41.5M ARPA-H 联邦资金支持上限
550 美国轮椅用户规模
10万+ 美国每年急诊处理的轮椅相关伤

⚡ 30 秒速览

  • 谁在做什么:匹兹堡大学 HERL 联合 ATDev 牵头 RAMMP 项目,打造集成 AI 视觉的辅助移动与操作平台。
  • Meta 的角色:提供 DINOv3 与 SAM 两个开源视觉模型,作为设备的「视觉大脑」,在边缘端实时运行,不依赖网络。
  • 关键工程挑战:在电池供电、散热受限的紧凑硬件上跑大模型,需在精度与速度间取舍,换取实时响应。
  • 用户侧改变:用户可用自然语言配合图像直接指令设备(如「拿起桌上的杯子」),降低认知负担与界面操作。
  • 下一步:团队计划整合 SAM 3.1 与 DINOv3,强化时序一致性与多场景鲁棒性,向个性化适配推进。

01为什么从轮椅开始 550 万人的安全缺口

美国约有 550 万轮椅用户,移动能力直接决定了他们能否参与教育、就业与日常社交。但当前的辅助技术在面对复杂现实时往往力不从心——每年有超过 10 万起轮椅相关伤害被送进急诊,主因是跌倒与碰撞。

当设备无法理解现实世界的复杂性,受损的不只是身体安全,更是用户的独立性与信心。RAMMP 项目的出发点,正是用机器人与 AI 填补这个信任缺口。

02它到底会做什么?三个已落地的感知场景

🚪 自动门按钮识别DINO 赋能

  • 利用 DINO 查询机器人图像传感器,自动检测环境中的自动门按钮,辅助用户顺畅通行。
  • 无需人工预设目标,模型从海量无标注数据中自主学习视觉特征,适应陌生场景。

☕ 桌面物体抓取SAM 赋能

  • SAM 能以极少的提示「分割一切」,精准识别并勾勒图像中的任意物体轮廓。
  • 用户只需用自然语言结合图像下达指令(如「拿桌上上的杯子」),机器人即可定位并执行,省去繁琐的界面操作。

🛣️ 360 度路况感知RF-DETR + 双模型

  • 以轻量级检测模型 RF-DETR 为基础,使用 DINOv2 嵌入进行微调,用 SAM 自动生成多角度、多光照条件的高质量标注。
  • 结合数据增强与多视角策略,实现对周围环境的实时 360 度感知与自适应物体检测,应对儿童突然窜出、路缘出现等突发状况。

03怎么做到的?边缘部署的工程取舍

把大模型塞进电池供电、体积受限的轮椅或机械臂里,不是简单调用 API 就能解决。RAMMP 团队在工程上做了一系列硬核取舍:

传统云端调用

依赖网络连接,延迟不可控;断网时设备「失明」,对安全敏感场景不可接受。

RAMMP 边缘部署

模型直接在设备端运行,实时感知响应;牺牲少量边界精度与特征细节,换取速度与稳定性。

具体而言,DINOv3 被定位为紧凑高效的「视觉大脑」,作为通用基础模块,上面再叠加物体检测或运动追踪等轻量任务模块,实现视觉数据复用与功耗控制。模型部署时则通过降低内存占用、适当降低精度、使用专用格式等手段,确保在紧凑硬件上依然实时可靠。

DINOv2 嵌入SAM 自动标注RF-DETR 微调边缘端实时推理

这套链路让团队无需人工标注,就能快速生成覆盖各种角度、高度、背景与光照条件的高质量训练数据,大幅缩短开发周期。

「辅助机器人的性能不能只看基准测试的准确率,而要看它能否在日常生活的不可预测性中可靠运行。在设备端运行 DINOv3 和 SAM,才能让用户信任实时感知——不依赖网络连接,也不牺牲安全性。」

—— Sivashankar Sivakanthan,RAMMP 项目幕僚长
编辑视角

本文原始素材来自 Meta AI 官方博客,属于企业通稿性质。报道重点突出 Meta 开源模型在医疗辅助场景的应用价值,但未披露第三方独立复测数据,模型在真实轮椅场景中的故障率、误检率与极端天气表现尚无公开验证。读者可将其视为「开源 AI 外溢至医疗硬件」的标志性案例,但对其工程成熟度宜保持审慎。

值得注意的是,ARPA-H 作为美国联邦级健康研究资助机构,用 4150 万美元押注开源视觉模型而非闭源商业方案,本身就是一个信号:在事关人身安全的辅助设备领域,开源架构的可审计性与可定制性,正在成为公共资金的下注偏好

前沿 AI 的真正普惠,不在于模型榜单分数有多高,而在于它能否以可接受的成本与功耗,跑进那些断网也能救命的硬件里。

开源仓库与延伸阅读

Meta DINOv3 与 SAM 模型均已开源,开发者可获取论文与代码进行本地部署研究。

github.com/facebookresearch → 获取 DINO / SAM