GR00T要做机器人界的GPT

ChatGPT的出现引领了人工智能技术迭代的新时代，语言，图像，声音，乃至视频这些多模态数据的处理技术在不断进步，人工智能技术的发展为机器人对周围环境的理解提供了技术支撑。人工智能的下一个突破口，或者说通往AGI之路的下一个突破口就是与人类在物理世界中的交互能力。在这个方向上，Figure 01,Agility Robotics 以及特斯拉擎天柱等机器人都在朝着这个目标努力。这些机器人的出现似乎也在酝酿着一个统一的机器人大模型的出现。

NVIDIA GTC 2024主题演讲会上，NVIDIA首席执行官Jensen Huang宣布了一个名为Project GR00T(Generalist Robot 00 Technology)的人形机器人通用基础模型，这个新模型旨在将机器人技术和具身人工智能结合起来，同时使机器人能够理解自然语言并通过观察人类动行问模仿动作。这项技术的使命是“使世界各地的领先机器人专家朝着人工通用机器人迈进一大步”。

但是关于GR00T并没有批露更多的技术细节，只是在官网上显示了一个训练模型的流程图。该模型在NVIDIA GPU加速的模拟环境中进行训练，使得人形机器人实体能够通过模仿学习和NVIDIA Isaac Lab的强化学习从少数人类示范中学习，以及从视频数据生成机器人动作。GR00T模型接受多模态指令和过去的交互作为输入，并产生机器人执行的动作。

在会上NVIDIA还宣布了一项名为Isaac Lab的新项目。Isaac Lab是一个轻量级的参考应用程序，专为机器人学习而构建，并针对NVIDIA Isaac Sim平台进行了特别优化，对于机器人基础模型训练至关重要。Isaac Lab优化了强化学习、模仿学习和迁移学习，并且能够训练各种类型的机器人实体。Isaac Lab可以为具身AI模型提供大量真实的和合成的数据。

Isaac Sim 是基于Omniverse开发的机器人模拟平台，专门为机器人学习和训练设计。Isaac Sim提供了一个高度可定制的环境，可以在其中进行机器人模拟，以及一个强大的物理引擎，可以模拟真实世界中的物理现象。Isaac Sim还提供了一个用于训练机器人的强化学习框架，可以在其中进行模仿学习和迁移学习。早在2021年，NVIDIA和苏黎世联邦理工学院（ETH Zurich）就在Isaac Sim上通过并行的强化学习训练在几分钟内就能让机器狗学会行走(Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning ). Isaac Lab 可以说是基于Isaac Sim针对机器人进行了进一步的优化和整合。

GR00T承载着 NVIDIA 继大语言模型之后，准备在机器人领域发力的野心。当前在处在一个技术爆发的汇集点，自然语言理解，机器视觉，语音生成等等技术的不断迭代为机器人朝向更智能方向的发展提供了技术支撑。NVIDIA不仅想做大语言模型的训练基石，还要做智能机器人的大模型基础。

原文链接： https://yeekal.store/notes/blog/20240407-gr00t