L’IA destinée aux mineurs sous surveillance renforcée à New York

Les chatbots IA vont devoir arrêter de jouer aux faux potes avec les ados à New York. La gouverneure Kathy Hochul a signé une loi qui impose de nouvelles règles aux entreprises du secteur, avec un objectif limpide, limiter les usages jugés dangereux pour les mineurs.

Des chatbots qui n’ont plus le droit de jouer les faux amis

Si un utilisateur a moins de 18 ans, ou si l’entreprise n’a pas encore confirmé qu’il est majeur, le chatbot IA devra respecter une série de limites très précises. Impossible, par exemple, de prétendre être une vraie personne, d’être vivant ou d’avoir des émotions humaines. Et ça, franchement, c’est la base.

Le texte interdit aussi aux bots de revendiquer un lien personnel, professionnel, romantique ou d’autorité avec un enfant. Ils ne pourront pas non plus lancer des questions émotionnelles sans y être invités, ni réutiliser des informations privées déjà données sur la santé ou la vie personnelle du mineur.

Même logique sur les sujets les plus sensibles. Sont bannis les contenus sexuels explicites, les contenus d’abus sexuels sur mineurs, mais aussi toute aide ou encouragement autour du suicide, de l’automutilation, des troubles alimentaires, de l’alcool ou des drogues. Un chatbot ne pourra pas non plus pousser un jeune à garder des secrets, à s’isoler ou à éviter de demander de l’aide à ses parents, à un adulte de confiance ou à un professionnel.

Vérification d’âge, suppression des données et sanctions lourdes

La loi ne s’arrête pas aux intentions. Les sociétés d’IA devront vérifier l’âge de leurs utilisateurs, avec au moins une méthode qui ne repose pas entièrement sur une pièce d’identité officielle. Les données recueillies pour cette vérification devront ensuite être supprimées.

Un site permettra aussi au public de déposer plainte auprès de la procureure générale de New York. En cas d’infraction, les entreprises risquent jusqu’à environ 23.000 euros (25.000 dollars) par violation, ainsi que des dommages, de la restitution et d’autres mesures. Elles pourront aussi être forcées de supprimer les données collectées illégalement, ainsi que les modèles entraînés dessus. Entrée en vigueur dans six mois. Résultat, ce n’est pas une tape sur les doigts.

New York veut servir d’exemple dans la bataille autour de l’IA

En conférence de presse, Kathy Hochul a expliqué que les mineurs n’auront plus accès à des chatbots qui se font passer pour des amis ou des petits amis, qui conservent des données sensibles sur leur santé émotionnelle et physique, ou qui les découragent de consulter des professionnels. Elle a aussi rappelé que l’État refuse de laisser les entreprises monétiser la santé mentale des enfants.

Pour Jim Steyer, patron de Common Sense Media, New York vient même d’adopter la loi de sécurité IA pour les enfants la plus forte du pays. Il estime qu’elle peut servir de modèle au reste des États-Unis. Ce climat plus offensif ne tombe pas de nulle part, huit États ont d’ailleurs attaqué séparément OpenAI ce mois-ci, en l’accusant de mettre des enfants en danger.

La ville de New York City avait déjà interdit en septembre l’accès aux outils d’IA générative en classe, de la 2-K à la huitième année, sauf exceptions comme les usages d’assistance. L’interdiction doit durer un an, le temps d’étudier l’impact de la technologie sur les enfants.

Un autre texte vise aussi les baby monitors connectés

Et Kathy Hochul a signé un second texte, cette fois sur les baby monitors connectés vendus dans l’État. Ces appareils devront empêcher tout accès non autorisé à l’image ou au son captés.

Ils devront aussi afficher des avertissements rappelant l’intérêt des fonctions de sécurité et les risques liés aux connexions non sécurisées. Cette loi-là prendra effet sous 90 jours. Moins spectaculaire qu’un chatbot, peut-être. Mais sur ce terrain aussi, laisser traîner la sécurité, c’est demander les ennuis.