李飞飞团队具身智能新作：500 美元，一切家务机器人帮你干

如今的机器人可以跑步和做后空翻，但究竟何时可以承担家务，帮助人类养老呢？

为了解决这一难题，李飞飞的团队推出了具身智能研究的最新成果——𝗕𝗘𝗛𝗔𝗩𝗜𝗢𝗥 𝗥𝗼𝗯𝗼𝘁 𝗦𝘂𝗶𝘁𝗲 (𝗕𝗥𝗦)，这个综合框架旨在解决机器人在家庭任务中的全身操作问题。

而且，这个核心组件的实现成本不到500美元。

在机器人学习领域中，“圣杯”级的挑战是执行通用日常家庭移动操作任务。通过一种新型双臂移动机器人，我们的最新成果——BRS，正在尝试攻克这一极其复杂且尚未解决的难题！

打开门把手，早上出去丢垃圾：

等大人上班后，再帮忙整理一下杂货架：

顺便收拾一下客厅，把脏碗放入洗碗机：

接着不辞辛劳，再里里外外把马桶清洗干净：

经过一番忙碌，一个机器人就完成了所有的家务。

而且研究团队还发现，即使在工作中出现了失误，机器人也能自动纠正。

（起初手臂的活动范围无法达到马桶盖，然后进行了一次向前倾的动作）

网友们纷纷表示，距离实现通用家庭机器人又近了一步。

那么，李飞飞团队究竟是如何实现的呢？

核心聚焦三项全身控制能力

根据论文，团队通过对 BEHAVIOR-1K（包含1000项日常家庭活动的机器人测试基准）的深入分析，确定了机器人成功完成家务活动所需的三项全身控制能力：

• 双臂之间的协同协调能力；

• 稳定精准的导航能力；

• 机械手臂末端执行器具有广泛的可操作范围和触碰能力；

特别是最后一项，许多人可能忽略了末端执行器控制的关键能力。

在家庭环境中，日常物品通常位于不同的高度和位置，因此机器人必须调整其伸展范围以适应。

基于这一考虑，团队认为为家务机器人搭载双臂、移动底座和灵活躯干是实现全身操作的关键。

具体来说，他们选择了 Galaxea R1 机器人（国内星海图出品）作为硬件，其配备两个6自由度手臂（每个手臂都配置一个平行钳口夹持器）、4自由度躯干以及全向移动底座，满足家庭任务所需的核心能力。

然而，这种复杂设计给策略学习方法带来了不小的挑战，尤其是在数据规模化采集和全身协作方面。

为此，BRS通过两个关键创新来解决软硬件协同的问题：

• 推出 JoyLo，一种通用的低成本全身遥操作接口；

• 提出新的学习算法 WB-VIMA；

具体来说，JoyLo（Joy-Con on Low-Cost Kinematic-Twin Arms）通过操控木偶的方法，利用运动学孪生臂与任天堂 Joy-Con 控制器实现高效的全身控制。

同时提供丰富的用户反馈，优化策略学习的数据质量。

在总成本不超过500美元的情况下，团队在R1机器人上实现了JoyLo的设计目标：

• 高效的全身协调控制系统，以实现复杂动作的流畅衔接；

• 丰富的用户反馈机制，提供直观的远程操作体验；

• 确保高质量的示范动作，提高策略学习效果；

• 低成本实现方案，大幅提升系统的可及性；

• 实时、便捷的控制器设计，确保操作流畅无缝。

而另一种 WB-VIMA（Whole-Body VisuoMotor Attention）学习算法的核心目标是利用机器人的自身运动学层次结构对全身动作进行建模。

基于 Transformer 的 WB-VIMA通过自回归全身动作去噪和多模态观察注意力机制，有助于机器人有效学习协调性的全身动作。

在训练和部署阶段，使用特定的优化器和噪声调度器，并在工作站中进行推理以实现低延迟控制。

值得注意的是，WB-VIMA还解决了一个关键问题：

尤其是在人形机器人中，移动基座或躯体动作中产生的微小误差在末端执行器处会显著放大。

对此，WB-VIMA在预测下游组件动作时，并非孤立进行，而是分析上游组件当前的动作状态、位置等信息，将这些信息作为条件和依据，推算出下游组件应该如何动作，以实现整体的协调运动。

BRS适用于各种家庭任务

研究团队在五个具有代表性的家庭任务上评估BRS，任务包括清洁房屋、清洁厕所、倒垃圾、将物品放置在架子上和晾晒衣物。

结果表明，BRS能够执行多种家庭任务。

同时，实验环节还进一步验证了两个创新方法的有效性。

整体来看，JoyLo在数据收集效率、策略学习适用性和用户体验方面表现优异，而WB-VIMA在性能上优于基线方法。

针对JoyLo，团队对10名参与者进行了全面的用户研究，以评估JoyLo的效果及其收集数据对策略学习的适用性。

下图是JoyLo与VR控制器和Apple Vision Pro的对比示意：

从结果来看，JoyLo在所有接口中的表现都非常优秀，任务成功率最高、完成时间最短，其完成任务的平均成功率是VR控制器的5倍，而使用Apple Vision Pro无人能完成所有任务。

在用户研究中，所有参与者均认为JoyLo是最友好的界面。

此时，WB-VIMA在所有任务中全面超越基准方法。

其端到端任务成功率比DP3高出13倍，比RGB-DP高出21倍；平均子任务表现分别比DP3（1.6倍）和RGB-DP（3.4倍）更好。

而且WB-VIMA在任务出错的几率上更小。它与环境物体的碰撞几乎为零，且几乎不会因施加过大力量导致电机失去动力。

最后，关于BRS框架的所有工作现已完全开源，感兴趣的可以进一步了解。

项目主页：

• https://behavior-robot-suite.github.io/

论文：

• https://arxiv.org/abs/2503.05652

算法代码：

• https://github.com/behavior-robot-suite/brs-algo

机器人代码：

• https://github.com/behavior-robot-suite/brs-ctrl

训练数据：

• https://huggingface.co/datasets/behavior-robot-suite/data

参考链接：

• https://x.com/drfeifei/status/1899127976979226835

本文来自微信公众号：量子位（ID：QbitAI），作者：一水