Civitai, plateforme d’IA controversée, lâchée par son fournisseur de cloud suite à des soupçons de CSAM

Tech > IA
Par Morgan Fromentin,  publié le 11 décembre 2023 à 13h00.

404Media a découvert que Civitai pouvait être utilisé pour créer des images qui pourraient être qualifiées de pornographie infantile ou de matériel d'abus sexuel sur des enfants (CSAM). Quelles mesures devraient-elles être prises pour prévenir cette situation inquiétante ?

Tl;dr

  • OctoML met fin à son partenariat avec Civitai suite à une enquête.
  • Civitai est accusé d’avoir généré de la pornographie impliquant des mineurs.
  • Des filtres de modération ont été mis en place trop tard.
  • OctoML réaffirme son engagement pour l’utilisation responsable de l’IA.

Fin d’une collaboration empoisonnée

OctoML a mis fin à sa relation d’affaires avec Civitai, une plateforme de transformation de textes en images, révèle une enquête de 404 Media. Celle-ci a révélé que Civitai avait été utilisé pour générer des images pouvant être catégorisées comme de la pornographie infantile.

Mesures correctives tardives

Civitai qui comptait précédemment sur le logiciel de génération d’images d’OctoML, OctoAI. Les deux sociétés se sont trouvées dans la tourmente lorsque le 5 décembre, 404 Media a déclaré que certains utilisateurs de Civitai créaient du matériel sexuellement explicite. Notamment des images non consensuelles de personnes réelles et des représentations pornographiques d’enfants.

Dans la foulée, OctoML a introduit de nouvelles mesures pour freiner la création d’images préjudiciables : un filtre bloquant tout contenu NSFW sur Civitai. De son côté, Civitai a ajouté des méthodes de modération, dont une opération obligatoire nommée Civitai Safe Helper. Cela empêche la génération d’images d’enfants lorsqu’un thème mature ou mot-clé est détecté.

Un départ inévitable

Mais OctoML, qui utilise les serveurs d’Amazon Web Services, a finalement décidé de se retirer. Dans une déclaration à 404 Media le samedi dernier, OctoML expliquait : « Nous avons décidé de mettre fin à notre relation commerciale avec Civitai. Cette décision est conforme à notre engagement pour l’utilisation sécurisée et responsable de l’IA. »

En savoir plus