Charlie — le robot conversationnel fiscal de l'Agence du revenu du Canada, audité à 33 % d'exactitude par la vérificatrice générale

L'Agence du revenu du Canada (ARC) exploite un agent conversationnel virtuel, Charlie, qui répond automatiquement aux questions fiscales fréquentes. Selon des documents parlementaires cités par la presse, l'ARC a dépensé plus de 18 millions de dollars pour Charlie depuis l'exercice 2018-2019. Charlie est décrit comme un agent non génératif, fondé sur des règles.
Dans un audit de performance déposé le 21 octobre 2025, la vérificatrice générale du Canada, Karen Hogan, a testé les canaux de contact de l'ARC pendant quatre mois (de février à mai 2025). Les agents n'ont répondu correctement qu'à 17 % des questions d'impôt des particuliers et à 54 % des questions sur l'impôt des entreprises ou les prestations (avec une exhaustivité d'à peine plus de 30 % pour ces dernières). Charlie, testé avec six questions fiscales, a eu raison dans 33 % des cas ; la vérificatrice générale a noté que c'était un peu mieux que de joindre un agent pour l'impôt personnel, mais que les réponses étaient brèves, avec peu de contexte, et que des outils d'IA conversationnelle publics sur le Web avaient répondu correctement à 5 questions sur 6.
L'audit a aussi relevé des incitations qui nuisent à l'exactitude : moins de 9 % de la note de rendement d'un agent portait sur l'exactitude et l'exhaustivité de l'information donnée, contre 45 % liés au respect des horaires et à la durée de traitement.
L'ARC a réagi en prolongeant environ 850 contrats d'agents, en renforçant la formation et en élargissant les questions auxquelles son agent conversationnel (et l'IA générative) peut répondre. Limites des preuves : l'échantillon était petit (six questions pour le robot), l'ARC conteste certains constats et aucun chiffre d'exactitude postérieur à l'audit n'est publié. L'intérêt du cas est qu'un audit indépendant a mesuré un robot destiné aux citoyens face aux humains et aux outils publics, et en a publié le résultat.