Meta 开源视觉模型植入辅助轮椅,ARPA-H 4150 万美元押注边缘 AI 辅助出行
匹兹堡大学 HERL 实验室正牵头研发 RAMMP 辅助机器人平台,将 Meta 开源的 DINOv3 与 SAM 模型部署在轮椅与机械臂的边缘端,让设备在无网环境下也能实时「看懂」路况与桌面物体。这笔高达 4150 万美元 的联邦资金,正试图把前沿 AI 变成 550 万美国轮椅用户的日常安全感。
匹兹堡大学 HERL 实验室正牵头研发 RAMMP 辅助机器人平台,将 Meta 开源的 DINOv3 与 SAM 模型部署在轮椅与机械臂的边缘端,让设备在无网环境下也能实时「看懂」路况与桌面物体。这笔高达 4150 万美元 的联邦资金,正试图把前沿 AI 变成 550 万美国轮椅用户的日常安全感。
美国约有 550 万轮椅用户,移动能力直接决定了他们能否参与教育、就业与日常社交。但当前的辅助技术在面对复杂现实时往往力不从心——每年有超过 10 万起轮椅相关伤害被送进急诊,主因是跌倒与碰撞。
当设备无法理解现实世界的复杂性,受损的不只是身体安全,更是用户的独立性与信心。RAMMP 项目的出发点,正是用机器人与 AI 填补这个信任缺口。
把大模型塞进电池供电、体积受限的轮椅或机械臂里,不是简单调用 API 就能解决。RAMMP 团队在工程上做了一系列硬核取舍:
依赖网络连接,延迟不可控;断网时设备「失明」,对安全敏感场景不可接受。
模型直接在设备端运行,实时感知响应;牺牲少量边界精度与特征细节,换取速度与稳定性。
具体而言,DINOv3 被定位为紧凑高效的「视觉大脑」,作为通用基础模块,上面再叠加物体检测或运动追踪等轻量任务模块,实现视觉数据复用与功耗控制。模型部署时则通过降低内存占用、适当降低精度、使用专用格式等手段,确保在紧凑硬件上依然实时可靠。
这套链路让团队无需人工标注,就能快速生成覆盖各种角度、高度、背景与光照条件的高质量训练数据,大幅缩短开发周期。
「辅助机器人的性能不能只看基准测试的准确率,而要看它能否在日常生活的不可预测性中可靠运行。在设备端运行 DINOv3 和 SAM,才能让用户信任实时感知——不依赖网络连接,也不牺牲安全性。」
本文原始素材来自 Meta AI 官方博客,属于企业通稿性质。报道重点突出 Meta 开源模型在医疗辅助场景的应用价值,但未披露第三方独立复测数据,模型在真实轮椅场景中的故障率、误检率与极端天气表现尚无公开验证。读者可将其视为「开源 AI 外溢至医疗硬件」的标志性案例,但对其工程成熟度宜保持审慎。
值得注意的是,ARPA-H 作为美国联邦级健康研究资助机构,用 4150 万美元押注开源视觉模型而非闭源商业方案,本身就是一个信号:在事关人身安全的辅助设备领域,开源架构的可审计性与可定制性,正在成为公共资金的下注偏好。
Meta DINOv3 与 SAM 模型均已开源,开发者可获取论文与代码进行本地部署研究。
github.com/facebookresearch → 获取 DINO / SAM