En bref
- Anthropic a créé une IA capable d’améliorer automatiquement l’alignement d’autres modèles d’IA.
- Le système teste rapidement différentes méthodes et dépasse parfois des chercheurs humains pour un coût bien inférieur.
- Cette avancée relance la perspective d’une IA capable de contribuer à sa propre amélioration, même si elle reste dépendante de bons benchmarks.
Une IA qui aide une autre IA à mieux se comporter, on y est. Et chez Anthropic, ce n’est déjà plus une simple promesse de labo.
La société a récemment publié un papier mené par Chen Yueh-Han dans son programme de fellows. Le résultat est assez net : sur dix benchmarks d’alignement ciblant des comportements précis jugés mal alignés, le système automatisé a amélioré les performances à chaque fois, sans faire baisser la performance globale du modèle. Dit autrement, le correctif ne casse pas le reste. C’est souvent là que ça se complique.
Une preuve de concept qui coche toutes les cases
Le papier parle d’automated alignment post-training, donc d’un ajustement après entraînement, piloté par des systèmes automatisés. Et les auteurs estiment que ces résultats apportent un premier signal solide : cette approche pourrait devenir praticable à court terme.
Ce n’est pas encore la révolution totale, mais ce n’est pas un gadget non plus. Quand vous voyez un système progresser sur tous les tests fournis, sans régression générale, vous comprenez pourquoi le sujet attire autant de monde dans les néolabs. Là, il y a une vraie matière.
Le système bosse comme un chercheur, en accéléré
Le plus frappant, c’est la méthode. L’Automated Alignment Researcher, ou AAR, reproduit grosso modo le boulot classique d’un chercheur : il fouille la littérature disponible, propose une méthode, entraîne le modèle avec cette méthode pendant 30 minutes, puis recommence en montant progressivement le niveau du benchmark.
Les approches efficaces sont gardées. Les autres partent à la poubelle. Du coup, le système peut avancer vite et à grande échelle. Bon, dit comme ça, on dirait presque un mode roguelite du travail de recherche. Sauf que l’idée derrière est très sérieuse.
Le vrai sujet, c’est l’auto-amélioration récursive
Pourquoi ça compte autant ? Parce que ce papier s’inscrit dans la piste de la self-improvement récursive. En gros, si un modèle peut améliorer sa propre phase d’alignement, il pourrait ensuite améliorer plus largement ses pratiques d’entraînement.
Et là, le débat devient beaucoup moins théorique. Si cette boucle fonctionne vraiment, les chercheurs humains en IA pourraient voir une partie de leur rôle grignotée beaucoup plus vite que prévu. Clairement, c’est le genre de phrase qui fait lever quelques sourcils dans toute l’industrie.
Plus rapide, moins cher, mais loin d’être magique
Le papier assume la comparaison avec les humains. Selon les auteurs, la meilleure méthode trouvée par l’AAR dépasse en moyenne ce que proposent des chercheurs expérimentés en moins de six heures. Ils ajoutent aussi que les directions de recherche guidées par des humains ne mènent pas à de meilleures performances.
Et il y a l’argument qui pique un peu plus : le coût. Anthropic chiffre l’AAR à environ 4 euros par heure (4$) en inférence API, contre environ 138 euros par heure (150$) pour ses chercheurs humains.
Mais le papier ne vend pas non plus une solution miracle. Le système ne vaut que si les benchmarks reflètent vraiment les objectifs d’alignement. Et même dans ce cas, il faut encore construire, maintenir et faire évoluer ces benchmarks, sans oublier la littérature sur laquelle ces chercheurs automatisés s’appuient. Bref, la machine va vite, mais quelqu’un doit encore tenir la carte du niveau.
