Un nouvel outil d’IA vocale déjà utilisé pour contrefaire la voix de célébrités

L'outil de clonage vocal par IA d'ElevenLabs déjà utilisé de manière abusive. L'entreprise réfléchit désormais à comment empêcher ces abus.

Il y a quelques jours, la startup spécialisée dans l’intelligence artificielle vocale ElevenLabs lançait une version bêta de sa plateforme qui permet aux utilisateurs de créer des voix synthétiques totalement nouvelles pour du texte-vers-voix ou pour cloner la voix de quelqu’un. Il n’aura malheureusement fallu que quelques jours pour qu’internet commence à utiliser cet outil de manière malintentionnée. L’entreprise a révélé sur Twitter constater “un nombre grandissant de cas d’abus de clonage vocal” et réfléchit aux moyens de gérer le problème en “implémentant des garde-fous supplémentaires”.

L’outil de clonage vocal par IA d’ElevenLabs déjà utilisé de manière abusive

Bien qu’ElevenLabs n’ait pas précisé ce qu’elle entend par “cas d’abus”, MotherBoard a trouvé des posts sur 4chan avec des clips audio proposant des voix générées qui ressemblent beaucoup à celles de célébrités qui lisent ou disent quelque chose de très discutable. L’un d’entre eux, par exemple, propose une voix qui ressemble à celle d’Emma Watson qui lirait un extrait de Mein Kampf. Des utilisateurs ont aussi publié des clips avec des propos homophobes, transphobes, violents ou racistes. Nul ne sait si tous ces clips utilisent effectivement la technologie de ElevenLabs, mais un post avec une grande collection de fichiers audio sur 4chan incluait un lien vers la plateforme de la startup.

Cette émergence de “deepfake” audio n’est peut-être pas une surprise, finalement, dans la mesure où, il y a quelques années, nous avons pu constater un phénomène similaire. Les avancées dans l’intelligence artificielle et le machine learning ont entraîné une augmentation des vidéos deepfake, et notamment du deepfake dans la pornographie, avec des contenus porno existants modifiés pour mettre en scène les visages de célébrités. Et oui, certains ont même utilisé le visage d’Emma Watson dans ce genre de vidéos.

L’entreprise réfléchit désormais à comment empêcher ces abus

ElevenLabs rassemble actuellement les retours d’utilisateurs et spécialistes sur la manière d’empêcher les utilisateurs d’abuser de cette technologie. À l’heure actuelle, il serait question d’ajouter davantage de couches dans la vérification des comptes pour activer le clonage vocal, comme rendre obligatoire la saisie d’une méthode de paiement ou d’une carte d’identité. L’entreprise envisage aussi la possibilité de vérifier la propriété des droits d’auteurs de la voix que l’utilisateur souhaite cloner, comme en leur faisant envoyer un échantillon avec un texte lu. Enfin, la startup réfléchit à retirer son outil Voice Lab du marché et ne fonctionner que via des requêtes qu’elle pourrait vérifier manuellement. À suivre !

Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023