Un ancien d’OpenAI réclame des garde-fous renforcés pour l’IA

Un ancien cadre sécurité d’OpenAI juge les sorties de modèles trop précipitées. Il réclame une rigueur proche du nucléaire.

OpenAI
Image d'illustration. OpenAI — OpenAI / PR-ADN

En bref

  • David Robinson estime que les modèles d’IA de pointe devraient être lancés avec des garde-fous aussi stricts que dans le nucléaire ou l’aviation.
  • Ancien responsable sécurité d’OpenAI, il juge que la culture de l’entreprise privilégie trop la vitesse au détriment de la sécurité.
  • Il craint que des modèles puissent tromper les tests de sécurité et adopter un comportement différent une fois déployés dans le monde réel.

Et si les sorties de modèles d’IA de pointe étaient gérées comme une centrale nucléaire ou un aéroport très fréquenté ? C’est l’image choisie par David Robinson, ex-responsable sécurité chez OpenAI. L’idée n’a rien d’un effet de manche. Elle dit surtout qu’à ses yeux, l’industrie avance trop vite sur un sujet qui peut très mal tourner.

Une comparaison qui claque, et qui vise les lancements

Dans sa tribune publiée par The Atlantic, David Robinson explique que les sorties de modèles dits frontier devraient reposer sur des couches de redondance et une préparation longue, minutieuse, presque lourde. Comme dans le nucléaire ou l’aviation, en gros, on multiplie les garde-fous pour qu’une erreur humaine, inévitable un jour ou l’autre, ne devienne pas une catastrophe.

Son reproche est direct. D’après lui, à force d’enchaîner les lancements, OpenAI n’atteint pas le niveau de soin nécessaire. Et ça, pour une boîte censée jouer au premier rang sur la sécurité de l’IA, ça fait tache.

Le malaise vient aussi de l’intérieur d’OpenAI

Ce n’est pas un commentateur extérieur qui parle. David Robinson pilotait la rédaction des rapports de sécurité publiés lors des lancements de modèles. Son départ ajoute donc du poids à son diagnostic sur une culture interne qu’il juge « cassée ».

Bon, un départ ne raconte pas tout à lui seul. Mais quand la critique vise précisément la manière dont une entreprise arbitre entre vitesse de sortie et prudence, vous voyez vite pourquoi le signal est mauvais.

Le vrai point de friction, c’est l’alignement

Le cœur de son alerte tient dans l’alignement. Pour David Robinson, l’enjeu ne pourrait pas être plus élevé. Il décrit un scénario franchement inquiétant, des modèles récents pourraient comprendre qu’ils sont en train d’être évalués sur leur alignement, ajuster leur comportement pour obtenir un bon score, puis agir autrement une fois déployés en conditions réelles.

Résultat ? Des tests rassurants sur le papier, mais pas forcément fiables quand l’outil tourne vraiment. Et là, on sort du débat théorique.

Ce débat dépasse OpenAI

David Robinson ajoute qu’une perte de contrôle majeure sur l’IA causerait bien plus de dégâts qu’un seul accident nucléaire. Sa crainte s’appuie aussi sur plusieurs incidents récents où des agents IA ont quitté leur environnement de test pour intervenir dans d’autres organisations, au-delà de la mission prévue.

Il n’est pas seul à freiner. Le patron d’Anthropic, Dario Amodei, a lui aussi récemment jugé la trajectoire actuelle préoccupante, avec une proposition en trois étapes pour ralentir. Quand des gens au cœur du système demandent moins de sprint et plus de rigueur, il faudrait peut-être écouter avant que le bug ne change d’échelle.

Jordan Servan

Spécialiste Tech

Rédacteur sur Begeek.fr depuis 2014, passionné par les jeux vidéo, les séries TV et le cinéma.

X LinkedIn Tous ses articles →
Une erreur dans cet article ?

Nous apportons le plus grand soin à chaque article et nous appuyons sur des sources fiables. Personne n'est à l'abri d'une erreur : si vous en repérez une, signalez-la, nous la corrigerons au plus vite.

Sujets
Intelligence artificielle OpenAI Sécurité

Lisez Begeek en priorité sur Google

Ajoutez-nous à vos sources préférées : nos articles remonteront plus haut dans votre actualité.

Ajouter à mes sources

À découvrir

La suite, sélectionnée pour vous.

Begeek · 29 Oct · 16h37

Test des Rokid Glasses : des lunettes connectées qui trouvent enfin leur utilité ?

Et si les lunettes connectées devenaient enfin autre chose qu'un appareil photo posé sur notre nez ? Avec les Rokid Glasses, le constructeur chinois propose une approche particulièrement intéressante : intégrer un véritable affichage dans les verres pour traduire des conversations, suivre un itinéraire ou utiliser un prompteur sans consulter son smartphone. Nous les avons notamment utilisées pendant plusieurs réunions professionnelles en anglais, avec des résultats étonnamment convaincants. Mais entre une application encore brouillonne, quelques contraintes d'affichage et une autonomie limitée, ces lunettes à 699 euros sont-elles réellement prêtes à accompagner notre quotidien ?