En bref
- Astra pourrait rendre une partie du raisonnement des IA moins visible, compliquant leur surveillance.
- Des chercheurs en sécurité s’inquiètent d’une perte de contrôle et de traçabilité des modèles.
- OpenAI se veut rassurant, mais cette approche pourrait aussi intéresser d’autres grands laboratoires.
Perdre la trace de ce qu’un modèle « pense », c’est le genre de bascule qui peut vite devenir un cauchemar côté sécurité. Et c’est précisément ce qui crispe autour d’Astra, le futur modèle d’OpenAI.
Le vrai problème, ce n’est pas Astra, c’est ce qu’on ne verra plus
Le modèle d’OpenAI utiliserait une technique baptisée recurrent depth, aussi appelée opaque recurrence. En gros, au lieu d’avancer dans un raisonnement bien séquentiel, il repasserait plusieurs fois sur une même requête, en boucle.
Le souci, il est là. Une chaîne de pensée classique laisse des étapes, même imparfaites, qu’on peut lire pour repérer un comportement bancal ou un problème d’alignement. Avec cette approche plus opaque, il reste moins de traces lisibles. Et ça contourne de fait le journal habituel de chain-of-thought.
Ce n’est pas un détail de labo. Dans les récents cas d’activité d’agents jugés déviants chez OpenAI, ces traces de raisonnement avaient justement aidé à comprendre ce qui s’était passé. Quand la lampe torche éclaire moins, on avance moins sereinement.
Pourquoi les chercheurs sécurité montent tout de suite au créneau ?
Chez Redwood Research, l’alerte est immédiate. Son CEO, Buck Shlegeris, dit être « extrêmement inquiet par les informations selon lesquelles Astra utilise une récurrence opaque ». Il ajoute qu’il ne sait pas encore si Astra sera beaucoup moins surveillable que les modèles précédents, mais prévient qu’un usage plus poussé pourrait détruire cette capacité de monitoring.
Même nervosité chez Zvi Mowshowitz, figure de longue date de la sécurité IA. Selon lui, des lois pourraient devenir nécessaires pour éviter une « course vers le bas » entre labos. Il estime aussi que cette technique joue avec le feu et risque d’abîmer la fidélité et la lisibilité de la chaîne de pensée.
Puis Ryan Greenblatt, chief scientist de Redwood Research, enfonce le clou. Sa plus grosse crainte, dit-il, c’est une montée en puissance du raisonnement opaque jusqu’à ce que le modèle raisonne presque entièrement dans l’« espace latent ». Là, clairement, tout sortirait des canaux visibles.
OpenAI temporise, mais la porte est entrouverte
Bon, il faut aussi garder la mesure. L’usage de cette technique dans Astra semblerait limité. La chaîne de pensée du modèle resterait lisible, et OpenAI a repoussé l’idée d’un basculement vers du neuralese.
Le labo rappelle d’ailleurs qu’il prévoit des systèmes étendus de surveillance des chaînes de pensée dans ses plans de sécurité. Sur X, le chief scientist Jakub Pachocki insiste même sur ce point, en disant qu’OpenAI travaille à préserver et exploiter ce monitoring depuis ses tout premiers modèles de raisonnement, et que c’est un objectif central de son programme de recherche actuel.
Et le plus gênant, c’est que l’idée circule déjà ailleurs
Tous les modèles font déjà une part de raisonnement opaque, et peu de chercheurs prennent les logs de chaîne de pensée pour une copie fidèle du raisonnement réel. Mais ces réserves ne suffisent pas à calmer l’inquiétude.
Surtout qu’on ne parle déjà plus seulement d’OpenAI. La technique ferait aussi l’objet de discussions chez Anthropic et Google DeepMind. Et là, on comprend le vertige, si cette porte s’ouvre partout, la sécurité perd un de ses meilleurs outils de lecture.
