Charlie — o chatbot fiscal da Agência de Receitas do Canadá, auditado pelo Auditor-Geral com 33% de exatidão

A Agência de Receitas do Canadá (CRA) utiliza um chatbot virtual, o Charlie, que dá respostas automáticas a perguntas fiscais frequentes. Segundo documentos parlamentares citados na imprensa, a CRA gastou mais de 18 milhões de dólares no Charlie desde o ano fiscal 2018-19. O Charlie é descrito como um chatbot não generativo, baseado em regras.
Numa auditoria de desempenho apresentada a 21 de outubro de 2025, a Auditora-Geral do Canadá, Karen Hogan, testou os canais de contacto da CRA durante quatro meses (fevereiro a maio de 2025). Os agentes responderam corretamente a apenas 17% das perguntas sobre impostos de particulares e a 54% das perguntas sobre impostos de empresas ou prestações (com uma completude pouco acima de 30% nestas últimas). O Charlie, testado com seis perguntas fiscais, acertou 33% das vezes; a Auditora-Geral notou que isso era ligeiramente melhor do que falar com um agente sobre impostos pessoais, mas que as respostas eram breves e com pouco contexto, e que ferramentas de IA conversacional abertas na web acertaram 5 em 6.
A auditoria identificou ainda incentivos que prejudicam a exatidão: menos de 9% da avaliação de desempenho de um agente dizia respeito à exatidão e completude da informação dada, contra 45% ligados ao cumprimento de horários e ao tempo de atendimento.
A CRA respondeu prolongando cerca de 850 contratos de agentes, reforçando a formação e alargando as perguntas a que o seu chatbot (e IA generativa) pode responder. Limites da evidência: a amostra do chatbot foi pequena (seis perguntas), a CRA contesta aspetos das conclusões e ainda não há números de exatidão posteriores à auditoria. O valor do caso é que uma auditoria independente mediu um bot dirigido ao cidadão face a humanos e a ferramentas abertas, e tornou o resultado público.