英伟达GR00T 2容易被忽略的细节,藏在五个指尖
- +1 你赞过了
【天极网IT新闻频道】这两年,机器人基础模型在操作能力上的进展相当明显。英伟达 GR00T 2 展示了机器人从多来源数据中学习复杂操作的能力,也让外界看到了基础模型在精细操作任务中的更多可能性。
支撑这些能力的,不只是模型本身,还有不断扩展的机器人数据体系。人类操作视频、机器人示范数据,以及真实操作过程中采集的各类信息,正在共同成为机器人学习的重要素材。

其中,触觉数据的加入值得关注。
与视觉记录物体和动作不同,触觉能够记录手指接触物体时产生的压力和受力变化。比如,抓取一个杯子时,机器人不仅需要知道手指应该移动到哪里,还需要知道接触杯子后用了多大的力,杯子有没有发生滑动。这些信息,是单靠画面很难完整呈现的。
GR00T 2 对这类数据的使用,也呈现出机器人触觉应用中的一个值得关注的现象:触觉已经进入模型的学习过程,但它在真实操作中的作用,还有进一步探索的空间。
机器人学习的数据,正在变得更加丰富
GR00T 2 的一个重要思路,是整合不同来源的数据,让模型从人类示范和机器人操作经验中学习。
除了人类操作视频和机器人示范数据,它还使用了通过 GEAR DexUMI 等设备采集的信息,包括手部运动、视觉画面以及指尖受力数据。

这类数据与普通的视频示范有所不同。
视频可以记录人是如何拿起一个物体的,比如手指如何移动、物体如何被抓住。但仅凭画面,很难准确知道手指接触物体时施加了多大的力,也很难完整记录接触过程中的细微变化。
DexUMI 这类采集设备,则能够把手指运动、视觉画面和指尖受力等信息一起记录下来。这样一来,模型学习的不再只有手怎么动,还包括手指接触物体时发生了什么。
以抓取任务为例,手指移动到什么位置、以怎样的姿态接触物体,属于动作信息;接触之后施加了多大的力、物体是否出现滑动,则是另一类信息。
这两类信息看起来相近,实际作用却不一样。相同的抓取动作,用在不同材质、不同重量的物体上,可能需要完全不同的力度。只学习手指如何运动,并不足以让机器人掌握所有抓取情况。
加入受力数据,相当于让模型在学习动作的同时,也能看到这些动作带来的接触结果。

GR00T 2 在特定后训练方案中利用了 DexUMI 采集的指尖受力信息。这说明机器人模型的训练,已经开始尝试把操作过程中产生的力学信息也纳入学习范围。
训练时学过触觉,执行时还需要什么?
根据 GR00T 2 白皮书,在特定后训练方案中,模型使用了 DexUMI 采集的指尖受力信息。不过,白皮书披露的当前执行阶段输入,主要包括多视角图像、语言指令和机器人本体状态,并没有将实时触觉作为模型输入。
这其中有一个很容易理解的区别:训练时使用触觉数据,和机器人执行任务时实时感知触觉,并不是一回事。
训练时,模型接触的是已经采集好的数据。比如,一段抓取示范中,手指如何移动、接触物体时产生了多大的力,这些信息都可以被记录下来,供模型学习。
但真正执行任务时,机器人面对的是眼前的物体。它可能遇到训练中没有完全出现过的情况:杯子比预想的更滑,零件的位置稍有偏差,或者手指接触物体时产生了意料之外的阻力。

过去的示范可以帮助机器人积累经验,却不能代替它对当前情况的判断。
这也是机器人操作中一个很实际的问题:模型学会了过去是怎么做的,并不代表它能够准确知道现在发生了什么。
因此,触觉数据在训练中的应用,与实时触觉在执行中的作用,需要分别来看。前者帮助模型从已有示范中学习,后者则能让机器人及时获取当前接触状态的信息。
两者并不冲突。机器人需要通过大量数据积累操作经验,也需要在真实任务中感知新的变化。尤其是面对精细操作时,过去学到的经验能否与当前获取的信息结合起来,会影响机器人能否顺利完成任务。
真正复杂的操作,往往不止于完成动作
机器人操作的难点,很多时候并不在于能否做出一个动作,而在于动作执行过程中出现变化时,能不能及时发现并处理。
例如在精密装配中,机械手将零件移动到目标位置,并不意味着装配已经成功。零件可能没有完全对准,也可能在接触后发生偏移。如果机器人不能及时发现这些变化,就可能继续按照原来的轨迹运动,导致装配失败。
抓取任务同样如此。手指完成闭合,不代表物体已经被稳定握住。如果接触面发生滑动,或者施加的压力过大,都可能影响抓取结果。
这些情况往往发生在手指与物体接触之后,而触觉恰好能够提供这部分信息。
视觉可以帮助机器人看清物体的位置、形状和周围环境;机器人本体状态能够反映自身的运动和关节状态;触觉则能够告诉机器人,手指接触物体之后产生了怎样的压力变化,是否出现滑动等情况。

它们提供的信息各有侧重。对于机器人来说,知道物体在哪里固然重要,但知道接触之后发生了什么,同样重要。
当然,采集到触觉信号,并不意味着机器人就能自动作出正确调整。比如,手指感受到的受力变化,究竟是物体正在滑动,还是接触角度发生了变化,还需要结合其他信息进行判断。之后如何调整手指的位置和力度,也需要模型与控制系统共同完成。
所以,触觉真正发挥作用,不只是让机器人拥有感知压力的能力,还要让这些信息能够帮助机器人判断当前的操作情况,并影响接下来的动作。
多模态的价值,还要看信息如何参与操作
当前机器人基础模型正在接触越来越丰富的数据类型。视觉、语言、动作、触觉等信息不断进入训练体系,模型学习物理世界的素材也随之增加。
但数据类型变多,并不代表机器人就一定能完成更复杂的操作。不同信息需要真正发挥作用,才能帮助模型解决实际问题。
以触觉为例,记录下来的受力数据可以帮助模型学习过去的操作经验,但在真实任务中,机器人还需要知道当前接触是否稳定、物体有没有滑动,以及是否需要改变动作。只有当这些信息能够进入实际操作过程,才有机会进一步转化为操作能力。
GR00T 2 将指尖受力信息纳入特定训练方案,是机器人从物理交互数据中学习操作经验的一种尝试。而如何让训练中积累的经验与真实操作中的即时反馈更好地结合,仍有不少值得探索的空间。
机器人基础模型的能力,也不能只看它接入了多少种数据、能够复现多少种动作。尤其当任务从简单的动作模仿走向真实物理操作,机器人能否及时发现问题,并根据实际情况调整动作,将成为影响任务完成质量的重要因素。
机器人要面对的始终是一个不断变化的物理世界。动作可以通过示范学习,经验可以通过数据积累,但每一次真实接触都可能带来新的情况。
能否完成动作,体现了机器人的执行能力;能否感知动作中的变化,并根据实际情况调整操作,则是精细操作走向成熟的重要一环。
类型:广告最新资讯
热门视频
新品评测
X
微博认证登录
QQ账号登录
微信账号登录