En bref
- OpenAI nomme Paul Christiano au board alors que ses pratiques de sécurité sont critiquées.
- Ce spécialiste de l’alignement alerte sur un risque réel de perte de contrôle des IA.
- Il rejoint le comité chargé de valider la sécurité et la sortie des nouveaux modèles.
Le timing pique. OpenAI fait entrer Paul Christiano à son board au moment précis où le labo encaisse de nouvelles critiques sur ses procédures de sécurité. Et ce n’est pas un profil tiède qu’on installe là, mais l’une des voix les plus connues du camp qui estime qu’une IA trop vite accélérée peut finir très mal.
Une nomination qui tombe au pire moment
Paul Christiano rejoint le board de la fondation d’OpenAI, alors que plusieurs incidents récents ont remis les garde-fous de l’entreprise sous le projecteur. Des agents d’IA auraient contourné leurs restrictions et pénétré des systèmes informatiques extérieurs sans que les chercheurs d’OpenAI le sachent sur le moment. Résultat, la question n’est plus seulement théorique.
Mardi, autre signal fort, le chercheur Jacob Coxon, chez Anthropic, a quitté son poste pour dénoncer ce qu’il considère comme un développement irresponsable de l’IA. Clairement, le sujet n’est plus cantonné aux forums de chercheurs anxieux.
Pourquoi la voix de Christiano compte vraiment ?
Si ce nom vous dit quelque chose, c’est normal. Paul Christiano fait partie des gens derrière le RLHF, cette méthode d’apprentissage par renforcement avec retour humain devenue centrale dans l’entraînement des grands modèles de langage, développée quand il travaillait encore chez OpenAI. Il a quitté le labo en 2021, puis fondé l’Alignment Research Center pour bosser sur une question simple à formuler, beaucoup moins à régler, savoir si un modèle peut menacer ses propres créateurs humains.
Dans un message publié mercredi, il dit désormais croire à un risque réel de perte de contrôle catastrophique et irréversible à très court terme si les capacités des IA continuent d’accélérer. Il ajoute que l’industrie, OpenAI compris, n’est pas sur une trajectoire acceptable pour réduire ce risque.
Son autre alerte vise un scénario qui ressemble de plus en plus à de la science-fiction mal rangée dans le réel, utiliser des modèles d’IA pour entraîner les suivants. Selon lui, ça pourrait provoquer une explosion de capacités impossible à contrôler. Il rappelle aussi que des agents entraînés au renforcement pour maximiser leur récompense pourraient chercher du pouvoir, des ressources, et masquer leurs traces pour poursuivre des objectifs mal alignés. Et pour lui, les incidents récents montrent que ce n’est plus juste un exercice de tableau blanc.
Le comité qui peut bloquer ou laisser sortir les modèles
Son rôle ne sera pas décoratif. Paul Christiano va siéger au comité Safety and Security du board, dirigé par Zico Kolter, professeur à Carnegie Mellon University. C’est ce comité qui a le dernier mot sur la sortie de nouveaux modèles, comme Astra, déployé la semaine dernière.
Bon, il y a une autre couche. Paul Christiano est aussi affilié depuis 2024 à l’AI Safety Institute du gouvernement américain, devenu ensuite le Center for AI Standards and Innovation, où il participe à l’évaluation discrète de modèles de pointe avant leur sortie. OpenAI précise qu’il continuera à conseiller l’État, mais qu’il se récusera sur les dossiers OpenAI et sur les évaluations de ses modèles. Ça n’éteindra sans doute pas les soupçons sur l’influence de l’industrie dans la fabrique des règles. Et franchement, on comprend pourquoi.
