ElevenLabs travaille sur une machine IA de doublage universelle

ElevenLabs travaille sur une machine IA de doublage universelle. Son système est capable de préserver la voix ainsi que l'émotion et l'intonation de l'acteur original.

Lorsque Disney sort un nouveau film en anglais, l’entreprise doit le faire traduire dans pas moins de 46 langues pour pouvoir le proposer à un maximum de spectateurs. C’est un travail titanesque, une mission qui monopolise d’ailleurs une division entière chez Disney, Disney Character Voices International Inc. Et la chose n’est pas aisée : il faut trouver les acteurs locaux et chaque version sonne différemment selon leur voix. Mais avec un nouveau système de « doublage IA » signé ElevenLabs, nous pourrions bientôt avoir droit à la voix de Chris Pratt, par exemple, dans n’importe quelle langue.

ElevenLabs travaille sur une machine IA de doublage universelle

ElevenLabs est une startup spécialisée dans l’IA qui offre un service de clonage vocal permettant aux abonnés de générer du contenu vocal presque identique à la voix de leur choix grâce à une intelligence artificielle et quelques minutes d’échantillons audio. Sans surprise, dès que la fonctionnalité fut proposée en bêta, elle a été utilisée pour imiter des personnalités, souvent même, malheureusement, sans que celles-ci ne le sachent et, évidemment, ne donnent leur consentement.

Cette nouvelle fonctionnalité de doublage IA fait peu ou prou la même chose, dans plus de 20 langues différentes, y compris le hindi, le portugais, l’espagnol, le japonais, l’ukrainien, le polonais et l’arabe, mais, on s’en doute, avec toutes les permissions nécessaires. Cet outil est pensé et conçu pour être utilisé par les sociétés media, les éducateurs et autres influenceurs du web qui n’ont pas le budget de Disney pour financier des doublages en bonne et due forme avec des artistes locaux.

Son système est capable de préserver la voix ainsi que l’émotion et l’intonation de l’acteur original

ElevenLabs indique que son système pourra non seulement traduire « le contenu parlé dans une autre langue en quelques minutes », mais aussi générer de nouveaux dialogues dans la langue cible en utilisant la propre voix de l’acteur. Ou, tout du moins, une copie générée par l’IA. Le système est même capable de préserver « l’émotion et l’intonation » du dialogue existant et transférer cela sur la traduction générée.

« Cela aidera les spectateurs à profiter du contenu qu’ils veulent, peu importe la langue qu’ils parlent », déclarait le PDG d’ElevenLabs, Mati Staniszewski, dans un communiqué de presse. « Et cela signifie que les créateurs de contenu pourront accéder facilement et de manière plus authentique à un plus grand public dans le monde entier. »