Charlie — el chatbot fiscal de la Agencia Tributaria de Canadá, auditado con un 33 % de precisión por la Auditora General

La Agencia Tributaria de Canadá (CRA) utiliza un chatbot virtual, Charlie, que da respuestas automáticas a preguntas fiscales frecuentes. Según documentos parlamentarios citados por la prensa, la CRA ha gastado más de 18 millones de dólares en Charlie desde el ejercicio 2018-19. Charlie se describe como un chatbot no generativo, basado en reglas.
En una auditoría de desempeño presentada el 21 de octubre de 2025, la Auditora General de Canadá, Karen Hogan, probó los canales de contacto de la CRA durante cuatro meses (de febrero a mayo de 2025). Los agentes respondieron con exactitud solo al 17 % de las preguntas sobre impuestos de particulares y al 54 % de las de impuestos de empresas o prestaciones (con una exhaustividad algo superior al 30 % en estas últimas). Charlie, probado con seis preguntas fiscales, acertó el 33 % de las veces; la Auditora General señaló que era algo mejor que hablar con un agente sobre impuestos personales, pero que las respuestas eran breves y con poco contexto, y que herramientas de IA conversacional abiertas en la web acertaron 5 de 6.
La auditoría también detectó incentivos que perjudican la precisión: menos del 9 % de la evaluación de desempeño de un agente se refería a la exactitud y exhaustividad de la información dada, frente al 45 % ligado al cumplimiento de horarios y al tiempo de atención.
La CRA respondió prorrogando unos 850 contratos de agentes, reforzando la formación y ampliando las preguntas que puede responder su chatbot (y la IA generativa). Límites de la evidencia: la muestra del chatbot fue pequeña (seis preguntas), la CRA discute algunos hallazgos y aún no hay cifras de precisión posteriores a la auditoría. El valor del caso es que una auditoría independiente midió un bot dirigido a la ciudadanía frente a humanos y a herramientas abiertas, y publicó el resultado.