苹果用千套虚拟住宅训练宇树G1，研究基于仿真的感知人形机器人运动

思聪网 TechGG.com 报道 文/小雨

在苹果研究团队的一组试验里，宇树G1顺利侧身穿过半开的门，却没能接着走向指定物体。出门时机身朝向变了，物体离开视野，任务停在两项技能的交界处。团队11月4日提交的HALO预印本记录了这次失败，也展示了同一套系统如何把仿真中学到的动作带进此前没见过的真实房间。

机器人过半开的门，需要同时估计开口宽度和自己的身体姿态。为了让G1见到足够多的变化，研究人员在约1000套程序生成的住宅中制作样本，把机器人视角的画面、自然语言指令与全身动作配在一起。到了真机上，系统根据当前画面生成短段动作，控制器结合深度信息和机身状态执行，再用新看到的画面更新计划。

研究人员在六处未预先扫描或建图、也未出现在训练中的真实环境里进行了360次试验，报告总体成功率为91%。任务包括走向指定物体、过门、从桌下通过、坐下和推箱。团队另在仿真中检验场景多样性的作用：坐下任务的训练场景从1个增加至100个，测试成功率由43%升至81%，增加到1000个后为84%。这组结果来自仿真对照，说明在该项测试中，同一种动作放进更多布局训练，有助于应对新场景。

仿真让团队可以扩充同一项技能遇到的房间和障碍。增加一种新技能，仍需人工编写指令并设计动作关键帧。把技能连起来时，过门后的那次停顿暴露了另一个具体问题：下一步目标不在眼前时，系统需要会主动转身搜索，再接着执行。

HALO由苹果研究团队开发，宇树科技的双足人形机器人Unitree G1是这项研究的实机验证平台。论文展示的是HALO在G1上运行的研究结果。

代码和视频请访问https://apple-aiml-research.github.io/ml-halo/ 。

论文及项目资料