Chatbot MyCity Business — O Assistente de IA de Nova Iorque Dizia a Empresários Para Infringir a Lei

Nova Iorque lançou o chatbot MyCity Business em outubro de 2023, construído sobre os serviços de IA do Microsoft Azure, para dar a pequenos empresários respostas em linguagem simples sobre regras municipais de contratação, habitação e operações. Em março de 2024, testes realizados pela redação sem fins lucrativos The Markup — em coautoria com a THE CITY — descobriram que o robô dava, de forma recorrente e confiante, conselhos incorretos e por vezes ilegais: afirmava que um senhorio 'não é obrigado' a aceitar inquilinos com vales de habitação Secção 8, quando a lei de Nova Iorque proíbe explicitamente a discriminação por origem do rendimento; dizia que os empregadores podiam 'ficar com uma parte das gorjetas dos trabalhadores'; e afirmava não haver 'nenhuma regulamentação' que obrigasse os negócios a aceitar dinheiro, apesar de uma lei municipal de 2020 exigir precisamente isso.
O Observatório de Incidentes e Riscos de IA da OCDE registou o caso como um incidente motivado por alucinações do modelo, notando também que o robô deu, nalguns testes, orientações inseguras sobre segurança alimentar. Apesar da cobertura mediática, o Gabinete de Tecnologia e Inovação da cidade manteve a ferramenta ativa, classificando-a como um programa 'beta' que já tinha 'dado a milhares de pessoas respostas rápidas e corretas', comprometendo-se apenas com futuras atualizações em vez de uma correção ou suspensão imediata.
O chatbot permaneceu online durante bem mais de um ano depois de as falhas terem sido tornadas públicas; o presidente da câmara recém-eleito, Zohran Mamdani, anunciou mais tarde planos para o encerrar, descrevendo-o como 'funcionalmente inutilizável' e referindo que tinha custado à cidade cerca de 600 mil dólares.