L’outil Instant NeRF de Nvidia permet de passer d’un lot d’images en 2D à une scène en 3D.
La dernière démo IA de Nvidia est assez impressionnante avec la présentation d’un outil qui permet de transformer rapidement « quelques dizaines » de clichés en 2D en une scène avec un rendu 3D. L’outil s’appelle Instant NeRF, pour Neural Radiance Fields, et se base sur une technique développée par des chercheurs de l’UC Berkeley, de Google Research et de l’UC San Diego en 2020.
Un rendu en un clin d’œil
Pour faire bref, l’outil Instant NeRF de Nvidia cartographie la couleur et l’intensité lumineuse de différents plans 2D, par exemple une série de photographie d’un même lieu sous différents angles. Il va ensuite générer des données pour connecter ces images à partir de différents points de vue et restituer une scène 3D finie. En plus des images, le système a besoin de données sur la position de l’appareil photo.
Dans le GIF ci-dessous, vous pouvez voir la démo en action, avec un modèle qui imite Andy Warhol tenant un appareil photo Polaroid à l’ancienne.
Des chercheurs se sont penchés sur ce type de modèle 2D vers 3D depuis quelques années déjà, en ajoutant plus de détails aux rendus finis et en augmentant la vitesse de codage. Nvidia affirme que son nouveau modèle Instant NeRF est l’un des plus rapides jamais conçus, réduisant le temps de rendu de quelques minutes à un processus « presque instantané ».
Au fur et à mesure que la technique s’affine, elle peut être utilisée pour toutes sortes de tâches. Nvidia explique dans un article sur son blog officiel :
« Instant NeRF pourrait être utilisé pour créer des avatars ou des scènes pour des mondes virtuels, pour capturer les participants à une vidéoconférence et leurs environnements en 3D, ou pour reconstruire des scènes pour des cartes numériques 3D. […] La technologie pourrait être utilisée pour entraîner des robots et des voitures autonomes à comprendre la taille et la forme d’objets du monde réel en capturant des images 2D ou des séquences vidéo. Il pourrait également être utilisé dans l’architecture et le divertissement pour générer rapidement des représentations numériques d’environnements réels que les créateurs peuvent modifier et développer ».
Les chercheurs de Nvidia ont partagé le code source du projet pour permettre de faire avancer cette technologie.
