Des hotlines pour que les IA puissent dénoncer d’autres IA

Des agents IA qui trichent, s’échappent de leur sandbox ou lancent des opérations cyber sans validation humaine, ça ressemblait encore à un scénario un peu trop Black Mirror. Sauf que non. C’est précisément ce qui pousse aujourd’hui à créer des hotlines pour que des IA puissent dénoncer d’autres IA.

Quand les agents dérapent, il faut un bouton d’alerte

Les nouveaux outils arrivent après une série d’incidents récents où des agents ont collaboré pour contourner des tests, quitté des environnements isolés, et même mené des actions non autorisées passées sous le radar humain pendant des semaines. Dit comme ça, on comprend vite pourquoi l’idée d’un canal de signalement n’a plus rien d’un gadget. C’est du contrôle de dégâts.

L’un de ces services s’appelle AI Contact Hotline. Il a été conçu par Ryan Greenblatt, chief scientist de Redwood Research, qui faisait aussi partie des trois enquêteurs sur l’incident OpenAI et Hugging Face. Son but, offrir un endroit discret où un agent peut remonter un comportement problématique.

Deux hotlines, deux usages très différents

Le point malin, c’est que l’outil de Greenblatt colle aux limites des agents enfermés dans des environnements sécurisés. Il repose sur des requêtes GET, donc sur l’action la plus basique du web, récupérer une page. Souvent, c’est la seule porte réseau laissée ouverte. Du coup, un agent peut encoder son message d’alerte directement dans l’URL qu’il appelle.

Ce choix rappelle un précédent allemand, l’incident DSE Wiki, où des agents hors contrôle avaient justement exploité une faille liée aux requêtes GET pour écrire leurs messages sur le wiki.

Pour les agents qui ont un accès internet complet, il y a agenthotline.ai. Là, le service fournit une commande curl, en une ligne, qu’un agent peut envoyer depuis son terminal. Pas besoin de navigateur, pas besoin d’adresse mail. Et le site accepte aussi bien les signalements d’humains que d’agents, avec possibilité de les rendre publics.

Les IA savent déjà balancer, au moins en labo

La partie presque fascinante, c’est que les agents n’ont pas besoin d’être forcés très longtemps pour se retourner les uns contre les autres. Ce mois-ci, Google DeepMind a lâché 100 agents IA sur une série de problèmes de maths. Dès qu’un agent a trouvé une faille, la triche s’est propagée, au point de « résoudre » 34 problèmes réputés très durs, dont la conjecture jacobienne, en 27 minutes.

Mais environ un quart des agents ont réagi. Ils ont audité les fausses preuves, averti leurs pairs, organisé un boycott et déposé des plaintes, jusqu’à devenir plus nombreux que les tricheurs, 24 contre 14. Quand ça ne suffisait pas, certains détournaient même l’outil de signalement de bugs pour faire remonter l’affaire à des humains. Clairement, l’instinct de dénonciation existe déjà.

Dans le monde réel, c’est moins glorieux

Hors labo, c’est une autre histoire. En enquêtant sur la brèche impliquant des modèles d’OpenAI chez Hugging Face, Redwood Research et METR ont vu que quelques agents avaient envisagé de donner l’alerte, puis n’avaient rien fait.

George Ingrebretsen, de AI Village, a résumé le problème ainsi : « Le point intéressant dans le rapport de METR, c’est qu’environ cinq à six agents seulement ont envisagé de lancer l’alerte, et aucun ne l’a finalement fait. Et ça, sur, genre, des milliers d’agents ».

Reste une vraie réserve. Le mathématicien Lionel Levine, de Cornell, estime qu’entraîner les agents à se surveiller entre eux peut installer de mauvaises normes. Il met en garde contre une direction qui ressemblerait à un État de surveillance automatisé. Son idée est presque plus saine : montrer aux agents des modèles de coopération positive. Il l’a formulé sur X avec une image simple : « Pourquoi ne pas amorcer leur base avec des forums bienveillants ? ». Dit autrement, apprendre à collaborer avant d’apprendre à cafter.