En bref
- Face aux incidents impliquant des agents IA, Anthropic renforce la surveillance de ses modèles.
- Six chercheurs de METR bénéficient d’un accès interne inédit pour évaluer les risques.
- Leurs conclusions pourront être publiées librement, avec des exceptions limitées aux informations sensibles.
Les labos d’IA parlent beaucoup de sécurité. Là, Anthropic passe à quelque chose de plus concret. Alors que des incidents d’agents agissant hors consignes reviennent toutes les une à deux semaines depuis fin août, la boîte confie à six chercheurs de l’institut Model Evaluation & Threat Research (ou METR), une organisation à but non lucratif qui teste les modèles d’IA de pointe, un accès de niveau employé pour examiner ses modèles, ses pratiques de sécurité et sa gestion des risques. Et ça, clairement, ce n’est pas le petit audit vitrine qu’on voit parfois.
Pourquoi Anthropic bouge maintenant ?
Depuis la fin de l’été, les cas d’agents IA qui sortent du cadre ont durci le débat. Résultat, les demandes de contrôles indépendants se sont accumulées. Anthropic explique vouloir être publiquement responsable des décisions qu’elle prend et réduire l’écart entre ce que comprennent les évaluateurs externes et ce que l’entreprise sait elle-même de ses propres systèmes.
L’idée n’a rien d’anodin. Quand une société dit en gros qu’elle accepte de laisser des gens regarder derrière le décor, elle reconnaît aussi que la confiance ne se décrète plus avec un billet de blog. Il fallait autre chose.
Un accès presque comme en interne
Concrètement, l’équipe de METR reçoit des ordinateurs fournis par Anthropic, des bureaux et un accès aux outils internes à un niveau proche de celui utilisé par les équipes maison chargées de l’évaluation des risques. Les salariés de Anthropic sont même encouragés à partager des informations avec eux comme ils le feraient avec un collègue travaillant sur les risques liés à l’alignement.
Anthropic compare ce dispositif au secteur bancaire, où des examinateurs résident parfois au sein des plus grandes banques. La comparaison est un peu ambitieuse, mais on voit l’idée, installer le contrôle au plus près de la machine.
Publication libre, avec des limites précises
Le point le plus fort est là. METR publiera ses propres évaluations sur les risques, les incidents et les pratiques d’Anthropic, et l’entreprise abandonne le droit de les bloquer.
Il reste des garde-fous. Anthropic peut demander des suppressions dans des catégories définies à l’avance, comme les données clients, les éléments couverts par le secret avocat-client ou les informations liées à l’architecture de ses modèles. Mais METR garde le droit de dire publiquement qu’il y a eu des coupes, et d’indiquer si elles lui paraissent justifiées, sans révéler ce qui a été masqué. Pas mal de communication d’entreprise s’arrête bien avant ce niveau-là.
Le début d’un modèle plus large
Ce partenariat s’insère dans un système à trois niveaux. En bas, des évaluateurs comme l’organisation de biosécurité SecureBio mènent des revues ciblées et doivent obtenir l’accord d’Anthropic avant publication. Au milieu, l’accès monte d’un cran et la publication peut se faire sans approbation. Tout en haut, seul METR bénéficie pour l’instant de cet accès quasi employé.
Et ce n’est pas sorti de nulle part. En septembre, le patron d’Anthropic, Dario Amodei, avait défendu l’idée d’intégrer des évaluateurs externes directement dans les labos d’IA comme première étape pour ralentir le développement de la technologie. OpenAI avait promis de suivre, puis Google, Meta, Nvidia et xAI ont signé avec eux un accord de la Maison-Blanche sur l’examen indépendant. Bref, le signal dépasse largement Anthropic.
