Le nouveau modèle IA de NVIDIA, Fugatto, génère de l’audio à partir de prompts textuels

NVIDIA vient de dévoiler Fugatto, un nouveau modèle d'intelligence artificielle révolutionnaire capable de générer des fichiers audio à partir de simples instructions textuelles.

NVIDIA dévoile Fugatto, un modèle d’IA révolutionnaire

NVIDIA, l’un des leaders mondiaux en matière de technologie, a récemment présenté son nouveau projet innovant : un modèle d’Intelligence Artificielle (IA) qu’il décrit comme un « couteau suisse pour le son ». Baptisé Fugatto, ce modèle est conçu pour générer ou modifier des fichiers audio en réponse à des instructions textuelles.

Une avancée majeure dans le domaine de l’IA

Le modèle Fugatto a été conçu par une équipe de chercheurs en IA du monde entier, ce qui, selon NVIDIA, a renforcé ses capacités multi-accents et multilingues. Rafael Valle, l’un des chercheurs à l’origine du projet et responsable de la recherche audio appliquée chez NVIDIA, a déclaré : « Nous voulions créer un modèle qui comprend et génère le son comme les humains le font ».

Des applications variées pour Fugatto

NVIDIA a énuméré plusieurs scénarios d’utilisation réelle pour Fugatto. Parmi eux :

• Les producteurs de musique pourraient utiliser cette technologie pour générer rapidement un prototype d’idée de chanson, qu’ils pourraient ensuite facilement modifier pour essayer différents styles, voix et instruments.
• Les particuliers pourraient l’utiliser pour générer des supports pour des outils d’apprentissage des langues dans la voix de leur choix.
• Les développeurs de jeux vidéo pourraient s’en servir pour créer des variations d’actifs préenregistrés en fonction des choix et actions des joueurs.

Fugatto : une IA aux capacités étendues

L’équipe de recherche a également découvert que Fugatto est capable d’accomplir des tâches pour lesquelles il n’a pas été pré-entraîné, avec un peu de fine-tuning. Par exemple, il peut combiner des instructions sur lesquelles il a été formé séparément, comme générer un discours qui sonne en colère avec un accent spécifique ou le son d’oiseaux chantant pendant un orage. Fugatto peut aussi générer des sons qui évoluent avec le temps, comme le bruit d’une tempête de pluie se déplaçant à travers le paysage.

NVIDIA n’a pas encore annoncé si le grand public aura accès à Fugatto. Il est important de noter que ce n’est pas la première technologie d’IA générative capable de créer des sons à partir de descriptions textuelles. En effet, Meta a déjà publié un kit d’IA open source avec des fonctionnalités similaires, et Google a développé MusicLM, une IA de texte à musique accessible via le site web de l’AI Test Kitchen de l’entreprise.