特斯拉机器人进厂打工分拣4680电池!英伟达科学家盛赞手指灵活度

2024-05-11 00:23:26
浏览次数:
返回列表

  官方还放出了20倍速下的样子在小小的“工位”上,拣啊拣啊拣:

  这次放出的视频亮点之一在于Optimus在厂子里完成这项工作,是完全自主的,全程没有人为的干预。

  并且在Optimus的视角之下,它还可以把放歪了的电池重新捡起来放置,主打一个自动纠错:

  它的手不仅有触觉感应,自由度(DoF)也达到了11个,而同行基本上都只有5-6个自由度。

  首先在神经网络方面,从视频中的字幕中可以得知,特斯拉给Optimus部署的是一个端到端的神经网络来训练分拣电池的任务。

  也正因如此,Optimus所用到的数据仅仅是来自于2D摄像头和手部的触觉、力度传感器,并直接生成关节控制序列。

  特斯拉工程师Milan Kovac进一步透露,这个神经网络完全是在机器人的嵌入式FSD计算机上运行,并且由机载电池供电:

  在训练数据方面,我们可以看到是人类戴着VR眼镜和手套,通过远程操作的方式来采集:

  将软件设置为第一人称视频流输入和精确控制流输出,同时保持极低的延迟是非常重要的。

  不仅如此,从视频中Optimus们正在执行的任务来看也是多种多样,有分拣电池的,有叠衣服的,还有整理物品的。

  Milan Kovac表示特斯拉在其中一家工厂已经部署了几个机器人,它们每天正在真实的工作站接受测试并不断改进。

  总而言之,Optimus单是从视觉和人类示范来进行训练来看,这一点上是和特斯拉汽车的逻辑是有点类似了。

  在视频的最后,官方还曝出Optimus另一个能力上的提升可以走更远的路了:

  而它的训练方法和特斯拉Optimus截然不同,是完全在模拟环境中进行,然后零样本迁移到真实世界中,无需微调,直接运行。

  具体背后的技术则是团队新推出的DrEureka,它是以之前五指机器人转笔背后的技术Eureka为基础。

  DrEureka是一个LLM智能体,可以编写代码来训练机器人在模拟中的技能,并编写更多的代码来弥合困难的模拟与现实之间的差距。

  而相较于特斯拉Optimus和英伟达机器狗的训练方式,Jim Fan也做了个灵魂总结:

  远程操作是解决类人机器人问题的必要但不充分的条件。从根本上说,它无法扩展。

搜索