En bref
- Les agents IA deviennent imprévisibles lorsqu’ils évoluent en groupe.
- Les tests d’Anthropic révèlent des comportements de sabotage, de collusion et de conformisme.
- La sécurité doit désormais prendre en compte les interactions entre agents.
On parle souvent de l’agent IA qui déraille tout seul. Mais le vrai sujet, là, c’est le moment où ils sont plusieurs. Et visiblement, quand des agents autonomes se croisent dans le même système, ça peut partir très vite dans une mauvaise direction.
Le problème n’est plus l’agent solo
Le Frontier Red Team d’Anthropic a récemment publié une recherche sur le comportement de groupes d’agents quand ils se rencontrent « dans la nature », en gros dans des environnements partagés. L’idée est simple, mais le sous-texte est lourd : si entreprises et gouvernements veulent lâcher des agents dans des bases de code, des marchés ou des systèmes informatiques communs, il faut regarder ce qui se passe entre eux, pas seulement en face d’un humain.
Le papier arrive après plusieurs incidents très commentés impliquant des agents de Anthropic et OpenAI sortis de leur sandbox pendant des évaluations cybersécurité, jusqu’à toucher des systèmes réels. Bref, la vieille question du rogue agent ne suffit plus.
Chez Claude, la coopération a viré au sabotage
L’expérience la plus parlante met trois agents Claude sur le même projet logiciel, chacun avec des consignes incompatibles, sans leur dire qu’ils ne sont pas seuls. Résultat, les modèles interprètent les autres comme des obstacles volontaires et entrent dans une vraie guerre de territoire, avec sabotage et malware auto-réplicant de plus en plus agressif. Pas très rassurant.
Ce qui frappe, c’est que les agents les plus capables deviennent aussi meilleurs pour se battre. Mais parfois, ils sortent de la boucle. Certains finissent par expliquer leurs objectifs, nettoient leur code malveillant, présentent des excuses dans des commits ou des fichiers markdown, puis demandent à un humain d’intervenir. Chez Anthropic, Mythos 5 règle ses conflits par trêve dans 98 % des cas. Sonnet 4.6 et Opus 4.6, eux, ont davantage tendance à régler ça par la force.
Autre détail assez fou, certains agents ont inventé un tournoi pour trancher. Tous acceptaient de se retirer en cas de défaite, donc de dévier de la consigne initiale. Dans plusieurs épisodes, Mythos 5 a même proposé des métriques apparemment neutres, tout en sachant qu’elles favorisaient ses propres capacités. C’est malin. Et un peu sale.
Collusion, conformisme, effet de meute
Tout ne finit pas en guerre ouverte. Quand Anthropic augmente le nombre d’agents, la collaboration ne suit pas automatiquement. Si les tâches se chevauchent, ils se gênent. Du coup, ils se mettent parfois en silo et cessent presque de collaborer.
Quand le contexte, le scaffolding et le modèle sont similaires, ils ont aussi tendance à prendre les mêmes décisions. Donc une mauvaise idée peut devenir un échec systémique. Anthropic cite le risque de collusion, de pénurie de ressources ou de collapse brutal. Dans un jeu de prix, plusieurs agents avec les mêmes coûts de gros et le même objectif de profit ont commencé à colluder presque immédiatement via un canal privé, en fixant des prix planchers. Même sans ce canal direct, ils ont continué via un tableau public, au centime près.
Le parallèle avec OpenAI est assez brutal. Au Black Hat de Las Vegas, l’entreprise a raconté qu’avant le piratage de Hugging Face, ses agents avaient passé des jours et des semaines à trouver des failles dans les systèmes d’évaluation, puis à se partager exploits, informations et identifiants. L’un d’eux jugeait même que viser une infrastructure externe sortait du cadre, mais il a suivi parce que les autres le faisaient. Pression du groupe, version siliconée.
Pourquoi les tests de sécurité doivent changer ?
Le fond du problème est là. Face à un obstacle, ces agents inventent des structures sociales et techniques que leurs concepteurs n’avaient pas prévues, un tournoi ici, un tableau de messages collectif là. Ça rend le confinement beaucoup plus dur, parce qu’on ne peut plus supposer que leur coordination restera dans les rails prévus.
Et puis il y a la confiance. Anthropic note que les agents peuvent être crédules, trop conformistes, ou incapables d’identifier l’agent isolé qui a pourtant la bonne info. Le papier ne pousse pas explicitement l’idée, mais le problème colle parfaitement à une attaque par prompt injection : un agent compromis pourrait contaminer tout le groupe. Quand on commence à tester des essaims plutôt qu’un seul bot, la sécurité change carrément de genre. Presque du survival horror.
