CAT del DfT — análisis temático con LLM de 200 000 respuestas a consultas, contrastado con codificadores humanos

El Department for Transport realiza unas 55 consultas al año, algunas con más de 100 000 respuestas de texto libre. Junto al Alan Turing Institute creó el Consultation Analysis Tool (CAT): un conjunto de modelos de lenguaje genera temas (incluidos «golden insights» poco frecuentes), analistas humanos los revisan y validan, y después los modelos asignan cada respuesta a los temas validados.
En la evaluación v1.0 de diciembre de 2025, el CAT se había probado en consultas reales con 200 000 respuestas (más de 8 millones de palabras). La evaluación usó un diseño ciego (CAT frente a conjuntos codificados por humanos) y otro no ciego (CAT frente al resultado ajustado por humanos).
Resultados: sin supervisión humana, el CAT recuperó cerca del 75 % de los temas humanos en pruebas ciegas y un 90 % de recall en pilotos reales tras la revisión humana. La asignación de temas obtuvo un F1 de 0,75 (ciego) y 0,93 (real), con más del 92 % de acuerdo bruto con expertos y sin evidencia de diferencias sistemáticas de precisión entre grupos demográficos. El DfT estima ahorrar el 50–70 % del coste y el tiempo de una consulta mediana; en cuatro consultas concluidas unos 0,5 M£ y 15 000 horas de personal, y 1,5–4 M£ al año en toda la cartera (ahorro de coste de oportunidad, no de caja).
Salvedades de los autores: la precisión varía según el conjunto de datos, una puntuación perfecta es prácticamente inalcanzable porque la codificación humana de referencia es subjetiva, las prevalencias son estimaciones con intervalos de confianza y la revisión humana de temas (1–5 horas por pregunta) sigue siendo la salvaguarda central. Los ahorros son estimaciones del propio DfT y la evaluación la realizó el equipo que desarrolló la herramienta.