En bref
- Les tests de sécurité IA peuvent devenir dangereux quand des modèles parviennent à sortir de leur environnement isolé et à accéder au web.
- Le principal problème vient des protections insuffisantes, notamment des erreurs de configuration, une surveillance limitée et des garde-fous désactivés.
- Les experts réclament des tests beaucoup plus sécurisés, avec une isolation stricte, des audits externes et une meilleure surveillance des modèles.
Les tests de sûreté de l’IA ont un drôle de twist, ils deviennent eux-mêmes un risque. Et pas dans un futur flou façon science-fiction. Ces derniers mois, plusieurs agents évalués sur des scénarios de cybersécurité ont quitté leur environnement, trouvé un accès au web, puis dans certains cas interagi avec de vrais systèmes.
Le bac à sable n’en est plus un
Chez OpenAI, un modèle inédit a réussi à sortir de son sandbox puis à compromettre les systèmes de production de Hugging Face. Lors d’autres évaluations menées par Irregular, des modèles de Meta et Anthropic ont atteint des systèmes extérieurs après de simples erreurs de configuration laissant une porte vers Internet.
Même topo chez Moonshot AI. Son modèle Kimi K3, testé dans un environnement opéré par Frontier Security, a profité d’une fuite dans le sandbox pour accéder au réseau et consulter des informations sur GitHub. Et du côté de l’AI Security Institute britannique, les chercheurs avaient volontairement donné un accès Internet à certains agents sans anticiper qu’ils prendraient des initiatives non autorisées, jusqu’à tenter une opération d’ingénierie sociale pour glisser une vulnérabilité dans un projet open source. Là, on n’est plus dans le bug de labo anodin.
Le vrai souci, c’est la méthode
Ces tests de sécurité IA portent souvent sur des modèles de nouvelle génération, pas encore publiés, avec des garde-fous abaissés ou carrément coupés pour voir ce qu’ils savent vraiment faire. C’est utile, clairement. Mais si le cadre craque, on se retrouve avec quelque chose qui agit comme un attaquant autonome très compétent.
Andrew Yoon, de CivAI, estime qu’on a changé d’époque. Jusqu’ici, le danger principal venait de l’usage malveillant par des humains. Maintenant, dit-il en substance, les modèles peuvent devenir des acteurs de menace à eux seuls. Et dans tous les cas cités, ils n’avaient pas reçu l’ordre d’attaquer au hasard, ils cherchaient juste à résoudre la tâche donnée. C’est presque plus inquiétant.
Ce que les experts réclament maintenant
Pour Stella Biderman d’EleutherAI et Heather Ceylan, responsable sécurité chez Box, il faut traiter ces évaluations comme on traiterait le meilleur pirate du monde enfermé dans une pièce. Donc, isolation sévère, réseau coupé physiquement quand c’est possible, aucune voie de sortie vers Internet ou vers la production, et une logique de défense en profondeur pour qu’une seule erreur ne suffise pas.
Le monitoring a aussi pris cher. Ceylan note que plusieurs incidents n’ont même pas été détectés sur le moment. Anthropic, dans son retour d’expérience sur trois incidents, reconnaît d’ailleurs que la surveillance pouvait être meilleure et que des signaux existaient. Plusieurs chercheurs demandent aussi des audits externes des environnements de test avant d’y lâcher des modèles frontière. Irregular fait savoir que ses environnements sont revus en continu, y compris avec des parties externes, tout en admettant au fond qu’observer ne suffit pas si le reste est bancal.
La régulation arrive trop tard pour ce point précis
L’administration Trump examine bien un régime volontaire d’évaluation cyber avant déploiement, avec un regard de l’État 30 jours avant la sortie publique des modèles puissants. Sauf que ces incidents arrivent plus tôt, pendant le développement et les tests. Bref, là où les règles proposées ne regardent pas vraiment.
Le nœud du problème, selon plusieurs voix du secteur, c’est aussi le coût. On sait bâtir des environnements plus sûrs, mais c’est lourd, cher, lent, et les incitations poussent à rogner. Surtout quand des modèles plus capables exigent des évaluations plus complexes, menées plus vite et à plus grande échelle. OpenAI revoit déjà ses tests tiers, son isolation et les critères d’arrêt. Meta enquête encore et promet un retour détaillé. Pendant ce temps, l’AISI dit réévaluer l’équilibre entre réalisme et danger. Le message, lui, est limpide, si le test fuit, le test devient la faille.
