Chatbot MyCity Business — El Asistente de IA de Nueva York Decía a los Empresarios que Incumplieran la Ley

Nueva York lanzó el chatbot MyCity Business en octubre de 2023, construido sobre los servicios de IA de Microsoft Azure, para dar a los pequeños empresarios respuestas en lenguaje sencillo sobre normas municipales de contratación, vivienda y operaciones. En marzo de 2024, pruebas realizadas por la redacción sin ánimo de lucro The Markup —coescritas con THE CITY— encontraron que el bot daba de forma recurrente y segura consejos incorrectos y a veces ilegales: afirmaba que un propietario 'no está obligado' a aceptar inquilinos con vales de vivienda de la Sección 8, cuando la ley de Nueva York prohíbe explícitamente la discriminación por origen de los ingresos; decía que los empleadores podían 'quedarse con parte de las propinas de los trabajadores'; y aseguraba que no existía 'ninguna normativa' que obligara a los negocios a aceptar efectivo, pese a una ley municipal de 2020 que lo exige.
El Observatorio de Incidentes y Riesgos de IA de la OCDE registró el caso como un incidente causado por alucinaciones del modelo, señalando también que el bot dio, en algunas pruebas, orientaciones inseguras sobre seguridad alimentaria. Pese a la cobertura periodística, la Oficina de Tecnología e Innovación de la ciudad mantuvo la herramienta activa, calificándola de programa 'beta' que ya había 'dado a miles de personas respuestas rápidas y precisas', y solo se comprometió a futuras mejoras en lugar de una corrección o suspensión inmediata.
El chatbot permaneció en línea durante bastante más de un año después de que se revelaran públicamente estos fallos; el alcalde entrante, Zohran Mamdani, anunció después planes para cerrarlo, calificándolo de 'funcionalmente inutilizable' y señalando que había costado a la ciudad unos 600.000 dólares.