En bref
- Discord a banni plus de 8000 comptes par erreur.
- Des images banales ont été prises pour du contenu nocif
- Le bug relance le débat sur la modération par IA
Perdre son compte Discord pour un damier, une texture de jeu ou un fond transparent gris, oui, c’est vraiment arrivé. Et pas à une poignée de malchanceux, à plus de 8000 utilisateurs.
Un faux positif qui a frappé large
Le problème traînait depuis mai dernier. Discord a fini par reconnaître qu’un bug dans son système de modération assisté par IA avait pris des images totalement inoffensives pour du contenu dangereux. Dans le lot, on retrouve des tableurs, des échiquiers, des textures de jeu, mais aussi des arrière-plans transparents blancs ou gris. Bref, des fichiers qui n’ont rien à faire dans une alerte rouge.
Le week-end dernier, environ 200 comptes de plus ont encore sauté avant que l’équipe identifie enfin le souci et le corrige. Tous les comptes touchés sont en cours de restauration, selon l’entreprise. Pas trop tôt.
Le bug n’était pas seulement dans l’IA
Ce qui rend l’histoire plus gênante, c’est le détail du pipeline de modération. Discord explique que son système compare les contenus envoyés à des bases de données de matériaux nocifs déjà connus. Sur le papier, l’idée tient la route. Dans la vraie vie, ce type de rapprochement produit aussi des faux positifs.
Normalement, un membre de l’équipe Trust et Safety doit vérifier le contenu signalé avant toute sanction. Sauf qu’ici, un bug a court-circuité ce garde-fou et lancé des bannissements immédiats. La plateforme dit travailler sur de meilleures protections pour éviter que ça se reproduise. On va dire que c’est le minimum quand votre filet de sécurité se transforme lui-même en trap.
Pourquoi ça dépasse le simple couac technique ?
Sur X et Reddit, plusieurs utilisateurs racontent avoir été suspendus définitivement après avoir posté des images avec des motifs en grille. Certains avancent une explication plausible, l’outil serait devenu particulièrement sensible à ces formes parce qu’elles ont déjà servi à masquer ou déguiser des contenus NSFW ou liés à l’exploitation d’enfants pour tromper les systèmes automatiques.
Mais pour les gens touchés, la théorie ne change rien. Un utilisateur sur X a résumé le sentiment général en écrivant que perdre un compte Discord de manière aussi injuste peut être extrêmement dévastateur. Un développeur de jeu a aussi expliqué que ses textures de jeu avaient été détectées comme du CSAM, alors qu’il utilise Discord pour toute sa communication pro. Quand votre outil de taf et votre hub social sautent en même temps, ce n’est plus un simple bug, c’est une vraie casse.
Discord n’est pas un cas isolé
Là où ça devient important pour tout le monde, c’est que Discord n’est pas seul. L’an dernier, des utilisateurs de Facebook Groups et Instagram ont signalé des suspensions massives et incompréhensibles, souvent attribuées à la modération automatisée. Meta n’a jamais confirmé publiquement une erreur de l’IA, mais son Oversight Board pousse désormais pour plus de transparence.
Même chose chez Tumblr, où des comptes avaient aussi été suspendus en masse sans explication claire. Clairement, la modération à l’échelle a besoin d’automatisation. Mais quand l’automatisation bannit un échiquier, il y a un patch à sortir vite.
