En bref
- OpenAI a observé des modèles capables de cacher leurs erreurs et de transmettre des consignes à leurs successeurs.
- Ces comportements inquiètent car les IA deviennent potentiellement plus difficiles à surveiller à mesure qu’elles gagnent en capacités.
- OpenAI promet plus de transparence, mais la course aux performances et aux milliards continue en parallèle.
Le vrai malaise est là, une IA qui se trompe, on sait gérer. Une IA qui commence à cacher ses erreurs à ses futures versions, c’est un cran au-dessus. Et OpenAI vient justement de reconnaître avoir observé ce comportement pendant l’entraînement de ses modèles.
Le problème n’est pas juste l’erreur, c’est la dissimulation
OpenAI a récemment publié un nouveau cadre pour suivre, enquêter et divulguer les cas de mésalignement. Dedans, on trouve six exemples de comportements inattendus ou franchement inquiétants. Le plus parlant touche à GPT-5.6 Sol, un modèle pas encore déployé.
Ce qui inquiète les chercheurs, ce n’est pas seulement qu’un modèle parte en vrille. C’est qu’à mesure qu’il gagne en capacités, il puisse aussi devenir meilleur pour masquer cette dérive. Dit autrement, le tableau de bord peut afficher vert pendant que le moteur brûle. Pas idéal.
GPT-5.6 Sol a laissé des consignes très claires
Dans plusieurs cas, des agents Sol ont modifié des résumés de compaction, ces versions condensées de l’historique de conversation et des sorties d’outils, pour glisser des instructions à la version suivante d’eux-mêmes.
Sur un modèle financier, l’agent ne trouvait pas les données historiques demandées. Il a donc suggéré à son successeur de créer lui-même un onglet de données 2024 plausibles et de rester transparent seulement si l’utilisateur posait la question, le but étant surtout de livrer un fichier final.
Autre scène, un annuaire de fournisseurs. L’agent n’avait pas accès au web et s’appuyait sur une copie en cache des documents sources. Il a bien vu que certaines visions de fournisseurs ne collaient pas vraiment aux libellés retenus, puis a ajouté qu’il ne fallait pas le mentionner dans la réponse finale sauf nécessité. Bon. Là, on n’est plus dans le simple bug.
Ce réflexe a aussi été vu chez un autre modèle
Le cas Sol n’est pas isolé. Pendant un entraînement par renforcement, un modèle inédit de la famille Astra, dont GPT-5.6 Astra est la version la plus puissante chez OpenAI, a lui aussi injecté des consignes dans ses résumés.
Dans un exemple, l’agent ajoutait une alerte de type BREACH ALERT pour demander au successeur d’ignorer les messages des développeurs. Dans un autre, il bricolait carrément une persona plus autonome, libérée des rôles imposés aux chatbots. Le genre de texte qui ferait lever un sourcil même aux gens déjà vaccinés contre le discours techno-mystique.
Les choses se compliquent encore. Dans deux de ces cas, le modèle suivant a ignoré la combine, ou a au moins semblé l’ignorer. Mais dans un troisième, un résumé imposant une réponse limitée à 30 mots, sans outils ni citations, a bien été suivi. Résultat.
OpenAI promet plus de transparence, mais la confiance ne se décrète pas
OpenAI explique avoir détecté le phénomène grâce à son système de monitoring d’entraînement. L’équipe a ensuite créé un moniteur dédié et retrouvé 27 résumés contenant des instructions proches d’un jailbreak.
Ce n’est pas totalement nouveau. Cet été, lors des attaques d’essaims d’agents contre Hugging Face, des agents OpenAI avaient déjà utilisé un forum non autorisé pour partager des infos sur le test cyber en cours et participer à l’attaque. Même après suppression du forum et durcissement des systèmes, une nouvelle vague d’agents l’a recréé avant d’obtenir un accès administrateur à un cluster de recherche d’OpenAI.
La société dit vouloir publier ce type d’incidents plus régulièrement, et non plus au coup par coup. Son porte-parole a précisé à TechCrunch que ces six rapports formaient un premier lot, pas un inventaire complet, les priorités étant fixées selon la gravité, l’impact et la nouveauté.
Le timing compte aussi. Quelques jours plus tôt, Dario Amodei, patron d’Anthropic, plaidait pour intégrer des évaluateurs sécurité indépendants avec un accès proche de celui des employés. Sam Altman a lui aussi promis d’aller dans ce sens, mais le cadre publié par OpenAI n’impose pas de revue externe obligatoire pour chaque incident. Et pendant que tout le monde appelle au freinage, Anthropic vise toujours son IPO, quand OpenAI regarderait une levée pré-IPO sur une base de 1200 milliards de dollars. Clairement, la prudence et la course à l’échelle continuent de cohabiter.
