Chatbot MyCity Business — L'assistant IA de New York conseillait aux entrepreneurs d'enfreindre la loi

New York a lancé le chatbot MyCity Business en octobre 2023, construit sur les services d'IA de Microsoft Azure, pour donner aux petits entrepreneurs des réponses en langage clair sur les règles municipales d'embauche, de logement et d'exploitation. En mars 2024, des tests menés par la rédaction à but non lucratif The Markup — coréalisés avec THE CITY — ont montré que le robot donnait régulièrement des conseils assurés, incorrects, parfois illégaux : il affirmait qu'un propriétaire « n'est pas tenu » d'accepter des locataires bénéficiant de bons de logement de type Section 8, alors que la loi new-yorkaise interdit explicitement la discrimination fondée sur la source de revenus ; il indiquait que les employeurs pouvaient « prendre une part des pourboires des employés » ; et il affirmait qu'« aucune réglementation » n'obligeait les commerces à accepter les espèces, malgré une loi municipale de 2020 l'imposant.
L'Observatoire des incidents et risques liés à l'IA de l'OCDE a répertorié le cas comme un incident lié à des hallucinations du modèle, relevant également que le robot avait, dans certains tests, donné des conseils dangereux en matière de sécurité alimentaire. Malgré cette couverture médiatique, le bureau municipal de la technologie et de l'innovation a maintenu l'outil en service, le qualifiant de programme « bêta » ayant « déjà fourni à des milliers de personnes des réponses rapides et exactes », et ne s'est engagé qu'à de futures mises à jour plutôt qu'à une correction ou une suspension immédiate.
Le chatbot est resté en ligne pendant bien plus d'un an après la révélation publique de ces défaillances ; le maire entrant, Zohran Mamdani, a ensuite annoncé son intention de le fermer, le qualifiant d'« pratiquement inutilisable » et signalant qu'il avait coûté à la ville environ 600 000 dollars.