Chatbots Municipaux Testés — un Audit Indépendant Révèle que les Chatbots IA des Communes Néerlandaises ne Répondent Correctement qu'à 1 Question sur 10

Depuis juin 2025, les chercheurs indépendants Wiep Hamstra et Jules Ernst mènent un audit non financé des chatbots municipaux déployés par les collectivités locales néerlandaises, à la suite d'indices précoces laissant penser que ces outils présentés comme relevant de l'IA pourraient ne pas être aussi performants qu'annoncé.

Tester de façon systématique et reproductible la précision avec laquelle les chatbots municipaux répondent à de véritables questions de citoyens, et suivre l'évolution de leurs performances dans le temps.

Pour la deuxième édition (travail de terrain de décembre 2025 à début février 2026, publiée le 9 mars 2026), les chercheurs ont testé 39 chatbots municipaux avec les huit mêmes questions de citoyens chacun — un mélange de demandes de services courants (collecte des encombrants, statut d'un permis) et de questions liées aux élections (remplacement d'une carte électorale perdue) —, soit 312 échanges question-réponse au total.

Les résultats sont restés globalement inchangés par rapport à la première édition : 64 % des réponses étaient erronées, 23 % ne renvoyaient qu'un lien hypertexte (souvent vers une page ne contenant pas la réponse), 10 % étaient correctes et 3 % n'ont produit aucune réponse. Aucun des 39 chatbots n'a répondu correctement, sans aide, à une question de base sur la collecte des déchets ménagers. Les chercheurs estiment qu'au maximum 10 des 39 outils sont réellement fondés sur un modèle de langage ; la plupart reposent sur des paires question-réponse scriptées et maintenues manuellement. Comme près de 30 communes utilisent sous licence le même produit de chatbot « Gem », des réponses erronées identiques se propagent simultanément dans toutes ces communes.

VNG, l'association représentant les communes néerlandaises, a publiquement reconnu ces résultats, indiquant que les nouveaux chatbots d'IA « ne sont toujours pas des produits finis » et que la qualité des données détermine si un bot donne une réponse obsolète ou hallucinée ; elle a également relevé que les chatbots avaient réduit le volume d'appels aux centres d'appels, une affirmation que l'audit n'a pas testée de manière indépendante. En tant que contrôle récurrent, méthodologiquement cohérent et mené de façon indépendante sur un outil d'IA public largement déployé, cet audit constitue un cas rare de reddition de comptes rigoureuse pour l'IA municipale — même si ce qu'il met en évidence relève surtout de l'échec que de la réussite.