La startup Runway spécialisée dans l’intelligence artificielle a annoncé un nouveau modèle IA pour générer du contenu vidéo à partir de texte.
Alors que les générateurs d’images par IA commencent à se démocratiser, les générateurs de vidéos IA sont encore à un stade rudimentaire. L’idée derrière ces nouveaux modèles IA est de vous permettre de saisir une description en texte afin de générer une vidéo correspondante et dans le style de votre choix. Les technologies actuelles sont bien en deçà de ce rêve, mais pour les geeks qui suivent les progrès en la matière, l’annonce faite le 20 mars dernier par la startup Runway d’un nouveau modèle IA baptisé Gen-2 vaut un coup d’œil.
Générer une vidéo à partir d’un texte, un rêve à portée de main ?
La startup Runway propose un éditeur vidéo en ligne spécialisé dans les outils IA comme la suppression de l’arrière-plan. La société a notamment travaillé au développement du modèle IA du générateur d’images open source Stable Diffusion et a également annoncé Gen-1, son premier modèle IA d’édition vidéo IA au mois de février dernier.
Gen-1 se concentre sur la transformation de séquences vidéo existantes, permettant aux utilisateurs de traiter une animation 3D approximative ou une vidéo de smartphone tremblante grâce à l’IA.
De son côté, le modèle Gen-2 est axé sur la génération de vidéos à partir de texte, bien qu’il y ait de nombreuses réserves à garder en tête. Tout d’abord, les vidéos de démonstration partagées par la société sont brèves, parfois instables et certainement pas photoréalistes. En bref, tout ce que nous avons pour juger des capacités de Gen-2 à l’heure actuelle est la démo ci-dessous :
Generate videos with nothing but words. If you can say it, now you can see it.
Introducing, Text to Video. With Gen-2.
Learn more at https://t.co/PsJh664G0Q pic.twitter.com/6qEgcZ9QV4
— Runway (@runwayml) March 20, 2023
Néanmoins, les résultats sont là et la perspective de la génération de vidéos par l’IA est certainement fascinante, promettant de nouvelles opportunités créatives. Il est également intéressant de mettre en parallèle les travaux de cette startup de 45 employés avec les recherches menées par de grandes entreprises comme Meta et Google. Le travail de ces géants sur l’IA générative est certes plus avancé, mais pas à la mesure des moyens colossaux investis.
En bref, les startups continuent d’abattre un travail impressionnant dans le domaine de l’IA générative, y compris dans des territoires encore peu explorés comme la conversion de texte en vidéo.
Votre réserve sur les démonstrations de Gen-2 me paraît essentielle : une belle séquence ne dit pas combien de tentatives ont été nécessaires. Pour comparer les générateurs vidéo actuels, je regarderais aussi la stabilité des visages, la cohérence du mouvement et le respect de l’action demandée. Sur une scène de retrouvailles avec deux personnages, par exemple, un changement de visage peut casser toute l’émotion. Un comparatif avec le même scénario, plusieurs essais et le coût par résultat exploitable serait particulièrement utile.