NVIDIA déclare que "l'ère de la robotique généraliste est arrivée" et annonce Isaac GR00T N1, "le premier modèle de fondation ouvert au monde"

Pour accélérer le développement des robots humanoïdes

NVIDIA déclare que "l'ère de la robotique généraliste est arrivée" et annonce Isaac GR00T N1, "le premier modèle de fondation ouvert au monde", pour accélérer le développement des robots humanoïdes.

NVIDIA annonce Isaac GR00T N1, son premier modèle de fondation ouvert entièrement personnalisable, pour apporter des compétences et un raisonnement généralisés aux robots humanoïdes. NVIDIA annonce également des cadres de simulation pour accélérer le développement des robots. NVIDIA, Google DeepMind et Disney Research collaborent pour développer le moteur physique open source Newton de nouvelle génération. En outre, NVIDIA annonce le nouveau Blueprint Omniverse pour la génération de données synthétiques et le jeu de données open source pour donner un coup d'accélérateur aux données physiques de l'IA

En mars 2024, Brett Adcock, fondateur et PDG de Figure AI, a déclaré que les robots humanoïdes deviendront des "biens essentiels dans un avenir proche." L'entrepreneur américain affirmait que cette évolution permettrait à chacun de posséder son propre robot. Selon lui, ce sera un peu comme posséder une voiture ou un téléphone aujourd'hui. En effet, les robots humanoïdes ont émergé comme une nouvelle frontière critique pour l'industrie de l'IA, lui permettant d'appliquer des technologies de pointe à des tâches du monde réel.

Quelques jours avant ces déclarations, NVIDIA avait dévoilé une plateforme d'IA appelée GR00T (Generalist Robot 00 Technology) qui vise à créer des robots humanoïdes dotés d'une compréhension et de mouvements semblables à ceux des humains. NVIDIA avait qualifié sa nouvelle plateforme de "modèle de base à usage général pour les robots humanoïdes". GR00T est conçu pour servir de plateforme de base aux fabricants de robots humanoïdes comme Boston Dynamics et Agility Robotics.

Un an plus tard, lors de la keynote de la GTC 2025, Jensen Huang, fondateur et PDG de NVIDIA, a annoncé Isaac GR00T N1, le premier modèle de fondation open-source, pré-entraîné mais personnalisable, conçu pour accélérer le développement et les capacités des robots humanoïdes. "L'ère de la robotique généraliste est arrivée", a déclaré Huang. "Avec le NVIDIA Isaac GR00T N1 et les nouveaux cadres de génération de données et d'apprentissage des robots, les développeurs robotiques du monde entier ouvriront la prochaine frontière de l'ère de l'IA."


Huang a présenté le robot humanoïde NEO Gamma de 1X effectuant des tâches de rangement autonomes à l'aide d'une politique post-entraînée construite sur le modèle GR00T N1. D'autres entreprises développant des robots humanoïdes ont eu un accès anticipé au modèle GR00T N1, notamment Boston Dynamics, les créateurs d'Atlas, Agility Robotics, Mentee Robotics et Neura Robotics. Le modèle de fondation GR00T N1 utilise une architecture à deux systèmes inspirée de la cognition humaine.

Le système 1, comme l'appelle NVIDIA, est décrit comme un "modèle d'action à réflexion rapide" qui se comporte de manière similaire aux réflexes et à l'intuition de l'homme. Il a été entraîné à partir de données collectées lors de démonstrations humaines et de données synthétiques générées par la plateforme Omniverse de NVIDIA.

Le système 2, qui est alimenté par un modèle de langage de vision, est un "modèle à réflexion lente" qui "raisonne sur son environnement et les instructions qu'il a reçues pour planifier des actions". Ces plans sont transmis au système 1, qui les traduit en "mouvements robotiques précis et continus", notamment pour saisir et déplacer des objets à l'aide d'un ou de deux bras, ainsi que pour effectuer des tâches plus complexes en plusieurs étapes qui impliquent des combinaisons de compétences de base.

Alors que le modèle de fondation GR00T N1 est pré-entraîné avec un raisonnement et des compétences humanoïdes généralisés, les développeurs peuvent personnaliser son comportement et ses capacités pour des besoins spécifiques en le post-entraînant avec des données recueillies à partir de démonstrations ou de simulations humaines. NVIDIA a mis à disposition les données d'entraînement du GR00T N1 et les scénarios d'évaluation des tâches, qui peuvent être téléchargés via Hugging Face et GitHub.

Il serait maintenant intéressant de voir l'impact de cette technologie de NVIDIA dans le domaine de la robotique. Pour rappel, en mai 2024, un rapport a révélé qu'il existait au moins 37 robots humanoïdes différents en cours de développement. Si de nombreux robots humanoïdes en sont encore au stade du prototype ou à d'autres stades précoces de développement, quelques-uns sont déjà entrés dans le monde réel. Le rapport constatait notamment que grâce aux technologies libres et aux fabricants de composants spécialisés, "il est plus facile que jamais d'en fabriquer".


Voici un extrait de l'annonce de NVIDIA :

NVIDIA annonce GR00T N1 pour aider la communauté des développeurs de robots humanoïdes

Le modèle de base GR00T N1 présente une architecture à deux systèmes, inspirée des principes de la cognition humaine. Le "Système 1" est un modèle d'action à réflexion rapide, reflétant les réflexes ou l'intuition de l'homme. Le « Système 2 » est un modèle de réflexion lente pour une prise de décision délibérée et méthodique.

Alimenté par un modèle de langage de vision, le système 2 raisonne sur son environnement et sur les instructions qu'il a reçues pour planifier ses actions. Le système 1 traduit ensuite ces plans en mouvements précis et continus du robot. Le Système 1 est entraîné sur des données de démonstration humaines et sur une quantité massive de données synthétiques générées par la plateforme NVIDIA Omniverse.

GR00T N1 peut ainsi généraliser les tâches courantes - telles que la saisie, le déplacement d'objets avec un ou deux bras, et le transfert d'objets d'un bras à l'autre - ou effectuer des tâches à plusieurs étapes qui nécessitent un long contexte et des combinaisons de compétences générales. Ces capacités peuvent être appliquées à des cas d'utilisation tels que la manutention, l'emballage et l'inspection.

Les développeurs et les chercheurs peuvent post-entraîner le GR00T N1 avec des données réelles ou synthétiques pour leur robot humanoïde ou leur tâche spécifique. Lors de sa présentation à la GTC, le PDG Huang a fait la démonstration d'un robot humanoïde de 1X effectuant de manière autonome des tâches de rangement domestique à l'aide d'une politique post-entraînée basée sur le GR00T N1. Les capacités autonomes du robot sont le résultat d'une collaboration entre 1X et NVIDIA pour la formation à l'IA.

"L'avenir des humanoïdes repose sur l'adaptabilité et l'apprentissage", a déclaré Bernt Børnich, PDG de 1X Technologies. "Bien que nous développions nos propres modèles, le GR00T N1 de NVIDIA stimule considérablement le raisonnement et les compétences des robots. Avec un minimum de données post-entraînement, nous avons entièrement déployé NEO Gamma - faisant avancer notre mission de créer des robots qui ne sont pas seulement des outils, mais des compagnons capables d'aider les humains de façon significative et incommensurable."

Parmi les autres développeurs humanoïdes ayant un accès anticipé au GR00T N1 figurent Agility Robotics, Boston Dynamics, Mentee Robotics et NEURA Robotics.


NVIDIA, Google DeepMind et Disney Research collaborent ensemble

NVIDIA a annoncé une collaboration avec Google DeepMind et Disney Research pour développer Newton, un moteur physique open source qui permet aux robots d'apprendre à gérer des tâches complexes avec une plus grande précision. Construit sur le framework NVIDIA Warp, Newton sera optimisé pour l'apprentissage des robots et compatible avec les frameworks de simulation tels que MuJoCo de Google DeepMind et NVIDIA Isaac Lab. En outre, les trois sociétés prévoient de permettre à Newton d'utiliser le moteur physique de Disney.

Google DeepMind et NVIDIA collaborent pour développer MuJoCo-Warp, qui devrait accélérer les charges de travail d'apprentissage automatique en robotique de plus de 70x et sera disponible pour les développeurs via la bibliothèque open-source MJX de Google DeepMind, ainsi que via Newton. Disney Research sera l'un des premiers à utiliser Newton pour faire progresser sa plateforme de personnages robotiques qui alimente les robots de divertissement de la prochaine génération, tels que les droïdes BDX expressifs inspirés de la Guerre des étoiles qui ont rejoint Huang sur scène lors de son discours d'ouverture de la GTC.

"Les droïdes BDX ne sont qu'un début. Nous nous engageons à donner vie à davantage de personnages de manière inédite, et cette collaboration avec Disney Research, NVIDIA et Google DeepMind est un élément clé de cette vision", a déclaré Kyle Laughlin, senior vice président de Walt Disney Imagineering Research & Development. "Cette collaboration nous permettra de créer une nouvelle génération de personnages robotiques plus expressifs et engageants que jamais - et de nous connecter avec nos invités d'une manière que seul Disney peut le faire."

NVIDIA et Disney Research, ainsi qu'Intrinsic, ont annoncé une collaboration supplémentaire pour créer des pipelines OpenUSD et des meilleures pratiques pour les flux de données robotiques.

Plus de données pour faire progresser la robotique après la formation

Des ensembles de données importants, diversifiés et de haute qualité sont essentiels pour le développement des robots, mais leur acquisition est coûteuse. Pour les humanoïdes, les données de démonstration humaine dans le monde réel sont limitées par la journée de 24 heures d'une personne. Annoncé également, le Blueprint NVIDIA Isaac GR00T pour la génération de mouvements de manipulation synthétique devrait aider à relever ce défi. Basé sur les modèles de base Omniverse et NVIDIA Cosmos Transfer, le Blueprint permet aux développeurs de générer des quantités exponentielles de données de mouvements synthétiques pour les tâches de manipulation à partir d'un petit nombre de démonstrations humaines.

En utilisant les premiers composants disponibles pour le blueprint, NVIDIA rapporte avoir généré 780 000 trajectoires synthétiques - l'équivalent de 6 500 heures, ou neuf mois continus, de données de démonstrations humaines - en seulement 11 heures. Ensuite, en combinant les données synthétiques avec des données réelles, NVIDIA a amélioré les performances du GR00T N1 de 40 % par rapport à l'utilisation des seules données réelles.

Pour fournir à la communauté des développeurs des données de formation précieuses, NVIDIA publie le jeu de données GR00T N1 dans le cadre d'un jeu de données d'IA physique open-source plus vaste, également annoncé à la GTC et désormais disponible sur Hugging Face.

Concernant la disponibilité de ces produits, voici la confirmation de NVIDIA :


Source : NVIDIA Isaac GR00T (GitHub)

Et vous ?

Pensez-vous que cette annonce de NVIDIA est crédible ou pertinente ?
Quel est votre avis sur ces différents technologies ?

Voir aussi :

Nvidia lance la simulation de monde virtuel omniverse pour le développement de nouveaux robots. NVIDIA Omniverse permet de minimiser l'écart entre la simulation et la réalité

Google DeepMind lance deux nouveaux modèles d'IA basés sur Gemini, conçus pour aider les robots à « effectuer un plus grand nombre de tâches dans le monde réel comme jamais auparavant »

NVIDIA annonce les « supercalculateurs personnels d'IA » : DGX Spark et DGX Station permettront aux utilisateurs de créer des prototypes, d'affiner et d'exécuter des modèles d'IA de différentes tailles