CAT du DfT — analyse thématique par LLM de 200 000 réponses à des consultations, comparée à des codeurs humains

Le Department for Transport mène environ 55 consultations par an, certaines avec plus de 100 000 réponses en texte libre. Avec l'Alan Turing Institute, il a créé le Consultation Analysis Tool (CAT) : un ensemble de grands modèles de langage génère des thèmes (y compris de rares « golden insights »), des analystes humains les examinent et les valident, puis les modèles rattachent chaque réponse aux thèmes validés.
Lors de l'évaluation v1.0 de décembre 2025, le CAT avait été piloté sur des consultations réelles totalisant 200 000 réponses (plus de 8 millions de mots). L'évaluation combinait un protocole en aveugle (CAT face à des jeux codés par des humains) et un protocole non aveugle (CAT face au résultat corrigé par des humains).
Résultats : sans supervision humaine, le CAT retrouvait environ 75 % des thèmes humains en test aveugle et 90 % de rappel en pilote réel après relecture humaine. L'attribution des thèmes obtenait un F1 de 0,75 (aveugle) et 0,93 (réel), avec plus de 92 % d'accord brut avec des experts et aucune différence systématique de précision selon les groupes démographiques. Le DfT estime économiser 50–70 % du coût et du temps d'une consultation moyenne ; sur quatre consultations achevées environ 0,5 M£ et 15 000 heures de personnel, et 1,5–4 M£ par an sur tout le portefeuille (économies de coût d'opportunité, pas de trésorerie).
Réserves des auteurs : la précision varie selon les jeux de données, un score parfait est pratiquement inatteignable car le codage humain de référence est subjectif, les prévalences sont des estimations avec intervalles de confiance, et la relecture humaine des thèmes (1 à 5 heures par question) reste la garantie centrale. Les économies sont des estimations du DfT et l'évaluation a été menée par l'équipe qui a développé l'outil.