Un groupe de chercheurs universitaires et privés vient de dévoiler le projet « Genesis ». Il s'agit d'un nouveau système de simulation informatique open source visant à réduire le temps d'entraînement des robots de plusieurs dizaines d'années à quelques heures grâce à des univers en 3D créés à partir de textes. Genesis permet aux robots de s'entraîner à des tâches dans une réalité simulée 430 000 fois plus vite que dans le monde réel. Les chercheurs prévoient également d'introduire un agent d'IA capable de générer des simulations physiques en 3D à partir d'invites textuelles. Le groupe estime que Genesis peut accélérer les progrès dans le secteur de la robotique.Genesis : un outil pour tester et entraîner les robots dans des univers virtuels
Ce mois de décembre 2024 a été marqué par le lancement de nombreux nouveaux produits dans le domaine de l'IA. Après les lancements de Sora, le modèle de génération de vidéo développé par OpenAI, et Veo 2, son concurrent développé par Google DeepMind, les projecteurs sont désormais braqués sur Genesis. Ce dernier arrive à un moment où les chercheurs en robotique sont à la recherche de meilleurs outils pour accélérer le développement des robots.
Genesis est une plateforme physique conçue pour un large éventail d'utilisations, y compris la robotique, l'IA qui interagit avec le monde réel et l'IA qui travaille avec des objets physiques. Il est le résultat d'une grande collaboration entre plus de 20 laboratoires de recherche pendant deux ans. La plateforme vise notamment à permettre aux chercheurs de tester et d'entraîner les robots dans des environnements virtuels avant de les déployer dans le monde réel.
Contrairement aux générateurs classiques de vidéo, Genesis a été conçu spécifiquement comme un moteur physique. Il combine différents outils physiques (comme les corps rigides, les fluides, etc.) en un seul système. Il est ainsi capable de gérer diverses simulations du monde réel. Genesis peut être utilisé comme :
- moteur physique : il s'agit d'un simulateur physique très avancé qui peut gérer toutes sortes de matériaux et d'événements physiques, entièrement reconstruit à partir de zéro ;
- simulateur robotique : il est décrit comme étant léger, rapide, facile à utiliser avec Python, et idéal pour simuler des robots ;
- système de rendu : il est capable de créer des images réalistes très rapidement et avec une grande qualité ;
- générateur de données : il peut prendre des descriptions en langage naturel et les transformer en toutes sortes de données.
La « simulation accélérée » signifie qu'un réseau neuronal destiné à piloter des robots peut passer l'équivalent virtuel de décennies à apprendre à ramasser des objets, à marcher ou à manipuler des outils en seulement quelques heures de temps informatique réel. Selon le groupe de chercheur, Genesis permet aux robots de s'entraîner à des tâches dans une réalité simulée 430 000 fois plus vite que dans le monde réel. Ce qui représente une avancée majeure.
L'un membres de l'équipe a notamment fait à une scène du film de science-fiction Matrix ou le protagoniste Neo apprend les arts martiaux à une vitesse impressionnante. « Une heure de calcul donne à un robot 10 ans d'expérience d'entraînement. C'est ainsi que Neo a pu apprendre les arts martiaux en un clin d'œil dans le Dojo de la Matrice », a écrit Jim Fan, coauteur de l'article sur Genesis, sur X (ex-Twitter). Jim Fan est un expert en simulation robotique.
Des caractéristiques clés de Genesis comparé à d'autres outils de simulation
Une simulation rapide et précise permet aux robots d'apprendre plus rapidement des tâches complexes tout en réduisant la nécessité d'effectuer des tests physiques coûteux. Genesis traite les calculs physiques jusqu'à 80 fois plus rapidement que les simulateurs robotiques existants (comme Isaac Gym). Il utilise des cartes graphiques similaires à celles qui sont utilisées par les joueurs pour exécuter jusqu'à 100 000 copies d'une simulation à la fois.
« Si une IA peut contrôler 1 000 robots pour qu'ils exécutent 1 million de compétences dans 1 milliard de simulations différentes, alors elle peut « fonctionner » dans notre monde réel, qui n'est qu'un autre point dans le vaste espace des réalités possible. C'est le principe fondamental qui sous-tend la raison d'être de l'IA. C'est le principe fondamental qui explique pourquoi la simulation est si efficace en robotique », a écrit Jim Fan dans son billet partagé sur X.
Les mondes générés par l'IA incluront des éléments physiques réalistes, des mouvements de caméra et des comportements d'objets, le tout à partir de commandes textuelles. Le système crée ensuite des vidéos et des données physiquement précises, tracées par rayons, que les robots peuvent utiliser pour s'entraîner. Comparé aux anciennes plateformes de simulation, Genesis présente les caractéristiques clés suivantes (selon les rapports de divers testeurs) :
- vitesse : Genesis est extrêmement rapide, simulant plus de 43 millions d'images par seconde (FPS) pour un bras robotique sur une RTX 4090. C'est 430 000 fois plus rapide que le temps réel. Genesis est le moteur physique le plus rapide au monde, jusqu'à 80 fois plus rapide que d'autres simulateurs comme Isaac Gym ou Mujoco, sans perdre en précision ;
- multiplateforme : Genesis fonctionne sous Linux, macOS et Windows, et prend en charge différents matériels, y compris les CPU, les GPU Nvidia, les GPU AMD et Apple Metal ;
- système physique tout-en-un : Genesis combine de nombreux outils physiques en un seul système, simulant les corps rigides, les liquides, les gaz, les objets déformables, etc. Il peut gérer une grande variété de matériaux et leurs interactions ;
- support de plusieurs types de robots : Genesis prend en charge les bras robotiques, les drones, les robots mous, les robots humanoïdes... Genesis fonctionne avec une large gamme d'objets et supporte les types de fichiers populaires tels que .xml, .obj, .stl, et autres ;
- Python : Genesis est entièrement construit en Python, ce qui le rend simple à utiliser et à personnaliser.
Ce système basé sur des invites pourrait permettre aux chercheurs de créer des environnements d'essai complexes pour les robots en tapant des commandes en langage naturel au lieu de les programmer à la main. « Traditionnellement, les simulateurs nécessitent un énorme travail manuel de la part des artistes : actifs 3D, textures, agencement des scènes, et bien d'autres encore. Mais chaque élément du flux de travail peut être automatisé », a écrit Jim Fan.
Grâce à son moteur, Genesis peut également générer des mouvements de personnages, des scènes 3D interactives, des animations faciales, etc., ce qui pourrait permettre la création d'actifs artistiques pour des projets créatifs, mais aussi conduire à l'avenir à des jeux et des vidéos générés par l'IA plus réalistes, en construisant un monde simulé dans les données au lieu d'opérer sur l'apparence statistique des pixels comme avec un modèle de synthèse vidéo.
Genesis est hébergé sur GitHub et est un projet en développement actif
Genesis est un projet open source hébergé sur GitHub. Bien que le système génératif ne fasse pas encore partie du code actuellement disponible sur GitHub, l'équipe prévoit de le publier dans un avenir proche. L'équipe a également annoncé qu'elle accepte les contributions de la communauté.
If an AI can control 1,000 robots to perform 1 million skills in 1 billion different simulations, then it may "just work" in our real world, which is simply another point in the vast space of possible realities. This is the fundamental principle behind why simulation works so… pic.twitter.com/sKDsisBewZ
— Jim Fan (@DrJimFan) December 19, 2024
Genesis se distingue de ses rivaux en utilisant Python à la fois pour son interface utilisateur et son moteur physique de base. D'autres moteurs utilisent C++ ou CUDA pour leurs calculs sous-jacents et les enveloppent dans des API Python. Genesis adopte une approche Python d'abord.
En particulier, la nature non propriétaire de la plateforme Genesis permet à tout chercheur d'accéder gratuitement à des simulations d'entraînement de robots à grande vitesse grâce à de simples commandes Python fonctionnant sur des ordinateurs ordinaires dotés d'un matériel standard.
« Auparavant, l'exécution de simulations robotiques nécessitait une programmation complexe et du matériel spécialisé, ce qui ne devrait pas être le cas. La robotique devrait être une initiative de type moonshot appartenant à l'ensemble de l'humanité », a écrit Jim Fan dans son billet annonçant Genesis.
Source : Genesis (1, 2, 3)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du simulateur physique Genesis et de ses caractéristiques ? En quoi Genesis peut-il contribuer à accélérer les progrès dans le domaine de la robotique ? Quels sont les avantages et les inconvénients de Genesis par rapport aux simulateurs physiques existants ?Voir aussi
La version 5.0 de PhysX, le moteur physique de Nvidia, est maintenant disponible en open source, le dépôt GitHub du projet comprend également le code source de Flow 2.0 La version stable de Godot 4.0 est disponible avec la prise en charge de Vulkan et l'amélioration de l'éditeur Godot, ainsi que l'amélioration du son et des animations 2D et 3D Un nouveau simulateur de physique entraîne les robots 430 000 fois plus vite que la normale et utilise une IA pour créer des simulations physiques en 3D, à partir de simples descriptions textuelles