NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D

NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D. Le potentiel d'une telle techologie est énorme.

NVIDIA a introduit un nouveau modèle d’IA baptisé Neuralangelo capable de créer des répliques 3D d’objets à partir de vidéos en 2D, qu’il s’agisse de sculptures classiques ou de véhicules ou encore de bâtiments. Neuralangelo fonctionne en sélectionnant plusieurs images montrant le sujet sous différents angles dans une vidéo 2D, pour avoir un aperçu clair de sa profondeur, sa taille et ses formes. Il crée alors une représentation 3D grossière de l’objet avant d’optimiser cette base de travail pour reproduire les détails.

NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D

Selon l’entreprise, ce nouveau modèle repose sur la technologie d’un autre modèle, le Instant NeRF, pour pouvoir reproduire avec précision les détails les plus fins de ce que l’utilisateur veut recréer en 3D. Textures, motifs, variations de couleurs, autant d’éléments qui, selon NVIDIA, peuvent être détectés et reproduits fidèlement par Neuralangelo, d’une manière qui « surpasse grandement les méthodes existantes. » Le système serait suffisamment doué pour créer des objets virtuels utilisables depuis des vidéos prises par des smartphones, ce qui donnerait aux créateurs une méthode simple pour générer des versions 3D de leurs éléments pour leurs projets. C’est aussi, apparemment, très rapide : NVIDIA Research affirme que l’outil peut créer des scènes 3D en deux heures.

Le potentiel d’une telle techologie est énorme

Ming-Yu Liu, coauteur du papier sur Neuralangelo, explique que cela « permettra à terme aux développeurs d’importer des objets détaillés – qu’il s’agisse de petites statues ou d’énormes bâtiments – dans des environnements virtuels pour les jeux vidéo ou les jumeaux numériques industriels. » Dans la vidéo ci-dessous montrant les possibilités de cette technologie, NVIDIA explique qu’elle peut recréer des scènes à grande échelle depuis des vidéos de drones, simplifiant la tâche aux développeurs qui voudraient reproduire des localisations réelles dans leurs jeux. Le potentiel est énorme, pour la robotique, les expériences de réalité virtuelle, l’architecture et l’art, évidemment.

La division recherche de NVIDIA présentera Neuralangelo durant la Conference on Computer Vision and Pattern Recognition (CVPR), événement qui aura lieu du 18 au 22 juin à Vancouver.