Chatbots Municipais Testados — uma Auditoria Independente Revela que os Chatbots de IA das Câmaras Neerlandesas Só Respondem Corretamente a 1 em Cada 10 Perguntas

Desde junho de 2025, os investigadores independentes Wiep Hamstra e Jules Ernst têm conduzido uma auditoria não financiada aos chatbots municipais implementados pelas autarquias neerlandesas, na sequência de indícios iniciais de que estas ferramentas, comercializadas como IA, poderiam não ter o desempenho anunciado.

Testar de forma sistemática e repetível a exatidão com que os chatbots municipais respondem a perguntas reais dos cidadãos, e acompanhar se o desempenho melhora ao longo do tempo.

Na segunda edição (trabalho de campo entre dezembro de 2025 e início de fevereiro de 2026, publicada a 9 de março de 2026), os investigadores testaram 39 chatbots municipais com as mesmas oito perguntas de cidadãos cada — uma combinação de questões de serviços de rotina (recolha de monstros/objetos volumosos, situação de licenças) e questões relacionadas com eleições (substituição de um cartão de eleitor perdido) —, num total de 312 trocas de pergunta-resposta.

Os resultados mantiveram-se, no essencial, inalterados face à primeira edição: 64% das respostas estavam erradas, 23% devolveram apenas uma hiperligação (frequentemente para uma página sem a resposta), 10% estavam corretas e 3% não produziram qualquer resposta. Nenhum dos 39 chatbots respondeu corretamente, sem ajuda, a uma pergunta básica sobre recolha de resíduos domésticos. Os investigadores estimam que, no máximo, 10 das 39 ferramentas são efetivamente alimentadas por um modelo de linguagem; a maioria assenta em pares de pergunta-resposta pré-programados e mantidos manualmente. Como quase 30 municípios licenciam o mesmo produto de chatbot ‘Gem’, respostas erradas idênticas propagam-se simultaneamente por todos eles.

A VNG, a associação que representa os municípios neerlandeses, reconheceu publicamente os resultados, afirmando que os novos chatbots de IA “ainda não são produtos acabados” e que a qualidade dos dados determina se um bot dá uma resposta desatualizada ou alucinada; observou ainda que os chatbots reduziram o volume dos call centers, uma afirmação que a auditoria não testou de forma independente. Enquanto verificação recorrente, metodologicamente consistente e conduzida de forma independente sobre uma ferramenta de IA de utilização pública amplamente implementada, a auditoria constitui um caso raro de responsabilização rigorosa em matéria de IA municipal — ainda que o que evidencia seja, sobretudo, o falhanço, e não o sucesso.