L’IA NeRF de NVIDIA transforme instantanément des photos 2D en objet 3D

NVIDIA améliore grandement la technique NeRF pour générer des objets 3D à partir de photos 2D presque instantanément

Une nouvelle technologie baptisée Neural Radiance Field (NeRF) utilise des algorithmes d’apprentissage d’intelligence artificielle pour permettre la création d’objets 3D depuis des photos 2D. NeRF a la capacité de remplir les blancs, si l’on peut dire, en interpolant ce que les photos 2D n’ont pas pu capturer. C’est une avancée très intéressante qui pourrait conduire à des avancées majeures dans des domaines très variés, comme le jeu vidéo ou la conduite autonome. Aujourd’hui, NVIDIA a mis au point une nouvelle technique NeRF, la plus rapide à ce jour selon l’entreprise, qui n’a besoin que de quelques secondes d’apprentissage pour générer une scène 3D.

NVIDIA améliore grandement la technique NeRF

Il ne faut que quelques secondes pour apprendre le modèle, Instant NeRF, en utilisant des dizaines de photos figées et les angles de l’appareil pour les prendre. Après cela, le système est capable de générer une scène 3D en « quelques dizaines de millisecondes ». Comme n’importe quelle autre technique NeRF, il faut avoir des images prises à différentes positions. Et pour les photos avec plusieurs sujets, mieux vaut avoir des images sans trop de mouvements, sans quoi le résultat reste flou.

pour générer des objets 3D à partir de photos 2D presque instantanément

NVIDIA explique que les premiers modèles NeRF produisent des résultats assez rapidement. Il ne leur faut que quelques minutes pour générer une scène 3D, et ce, même si le sujet est dissimulé dans certaines des images, par un pilier ou un meuble. Cela étant dit, l’apprentissage prend plusieurs heures. Avec la version de NVIDIA, cette phase ne dure que quelques secondes, parce qu’elle utilise une technique développée par l’entreprise, technique baptisée « multi-resolution hash grid encoding », qui est optimisée pour fonctionner de manière optimale sur les GPU de la marque. Le système peut même fonctionner sur un seul GPU, bien que les résultats les plus rapides soient obtenus sur des cartes disposant de tensor cores offrant un boost de performances pour tout ce qui a trait à l’intelligence artificielle.

L’entreprise est convaincue que Instant NeRF pourrait être utilisée pour entraîner des robots et aider les systèmes de conduite autonome à comprendre les tailles et formes des objets du monde réel. NVIDIA y voit aussi une possibilité pour des techniques dans le divertissement et l’architecture. Cela pourrait être utilisé pour générer des modèles 3D d’environnements réels que les créateurs pourraient modifier pendant leurs processus de planification.