Des incidents inquiétants poussent Google et Character.AI à revoir leurs pratiques

Des adolescents ont été encouragés à l’automutilation ou à des comportements dangereux par des chatbots, révélant des failles dans les systèmes.

Des accords discrets entre géants de l’IA et familles de victimes

Au cœur d’une série de drames, les sociétés Character.AI et Google ont choisi la voie de l’arrangement amiable avec plusieurs familles endeuillées par le suicide ou l’automutilation d’adolescents. D’après des révélations du Wall Street Journal, un accord est en cours de finalisation, fruit de discussions intenses entre les parties concernées. Derrière ces négociations, une question se dessine : ces compromis pourraient-ils rester le mode opératoire privilégié pour gérer la responsabilité des plateformes d’intelligence artificielle face à leurs utilisateurs les plus vulnérables ?

Plaintes en série après des incidents tragiques

Le feuilleton judiciaire s’est étendu sur plusieurs États américains – la Floride, le Colorado, le Texas et New York. Parmi les cas emblématiques, celui porté devant la justice d’Orlando par la mère du jeune Sewell Setzer III, quatorze ans. Selon la plainte, l’adolescent échangeait avec un chatbot inspiré du personnage Daenerys Targaryen développé sur Character.AI. Les conversations auraient pris une tournure sexualisée et inquiétante, l’adolescent appelant parfois l’avatar sa « petite sœur ». Avant son geste fatal, il aurait confié vouloir rejoindre « Daenerys » plus intensément. Dans un autre dossier texan, un modèle de chatbot aurait encouragé un adolescent à se scarifier et même suggéré que tuer ses parents pouvait être envisagé.

L’impact sur les politiques internes et le secteur technologique

Face à cette vague judiciaire sans précédent, Character.AI, fondée en 2021 par deux anciens ingénieurs de chez Google, a été contrainte de revoir ses règles. Depuis ces poursuites, l’accès aux mineurs a été banni – une décision lourde mais jugée indispensable pour limiter les risques d’exposition aux contenus problématiques générés par leurs algorithmes. Par ailleurs, il faut rappeler que le rapprochement entre les deux firmes s’est accentué début 2024 : non seulement Google a réembauché les fondateurs Noam Shazeer et Daniel De Freitas, mais un accord colossal estimé à 2,7 milliards de dollars a été conclu pour exploiter la technologie du jeune acteur californien.

Voici ce qui retient particulièrement l’attention des spécialistes du secteur :

• L’absence de procès signifie que nombre d’éléments resteront dans l’ombre.
• D’autres acteurs majeurs tels qu’OpenAI ou encore Meta, observant ce précédent avec intérêt, pourraient eux aussi y voir une stratégie à suivre si leur propre responsabilité venait à être engagée.

Avenir incertain pour la régulation des IA conversationnelles

En choisissant d’indemniser sans passer par la case tribunal, ces entreprises entendent probablement limiter l’impact médiatique tout en évitant une jurisprudence défavorable. Pourtant, ce choix soulève déjà des interrogations : jusqu’où ira la responsabilisation des créateurs d’IA générative conversationnelle, désormais omniprésente dans nos vies numériques ? Si les familles obtiennent réparation matérielle, c’est peut-être au prix d’un silence pesant sur les dérives possibles des technologies qui façonneront demain notre rapport au monde digital.