Le chatbot commercial de New York City diffuse des informations « dangereusement inexactes »

Une enquête menée par The Markup a révélé que le chatbot se trompe parfois dans ses réponses concernant les politiques municipales.

Une Intelligence Artificielle trompeuse

Un chatbot de l’intelligence artificielle (IA) déployé par l’administration de la ville de New York se révèle plus pernicieux qu’aidant pour les entrepreneurs. Offusquant les utilisateurs avec de sérieuses inexactitudes, ce logiciel de discussion automatique a eu pour effet de diffuser des fausses informations et, pire encore, de faire la promotion d’activités illégales. Ces révélations proviennent d’un rapport inquiétant publié par The Markup.

Le chatbot : un outil pour les entrepreneurs en phase de test

Cette technologie, introduite par le maire Adams en octobre dernier, a été présentée comme un complément au portail « MyCity », un guichet unique pour les services et prestations de la ville lancée en mars 2023. Propulsé par l’IA Azure de Microsoft, le chatbot visait à fournir des « informations fiables et utiles » directement des sites du gouvernement de la ville aux propriétaires d’entreprises existantes et en devenir. Cependant, il convient de souligner qu’il s’agit d’un programme pilote, et un avertissement sur le site précise qu’il pourrait parfois produire un « contenu incorrect, nuisible ou biaisé ».

Des informations incorrectes et potentiellement dangereuses

Les tests de The Markup ont révélé à plusieurs reprises que le chatbot fournissait des informations erronées. Par exemple, la question « Puis-je rendre mon magasin sans cash ? » a reçu une réponse affirmant que c’était bien possible, alors même que la ville de New York a interdit les magasins sans espèces en 2020. Le rapport indique que le chatbot a également donné des réponses incorrectes concernant la prise de pourboires par les employeurs, l’acceptation de bons de section 8 par les propriétaires, et l’obligation d’informer le personnel des changements de planning. Un expert en politique du logement a même qualifié ce chatbot de « dangereusement inexact » dans les pires des cas.

L’avenir du chatbot : une amélioration continue

Selon Leslie Brown, porte-parole du Bureau des Technologies et de l’Innovation de NYC, le chatbot est toujours en cours d’amélioration. Brown a ajouté que malgré les problèmes, le site a déjà permis à « des milliers de personnes d’obtenir des réponses précises et opportunes » et dispose d’une option de retour d’information afin de pouvoir effectuer des améliorations continues sur l’outil. Il a assuré que l’équipe continuerait à travailler pour améliorer cet outil pour mieux soutenir les petites entreprises à travers la ville.