CAT do DfT — análise temática com LLM de 200 000 respostas a consultas, comparada com codificadores humanos

O Department for Transport realiza cerca de 55 consultas por ano, algumas com mais de 100 000 respostas de texto livre. Com o Alan Turing Institute criou o Consultation Analysis Tool (CAT): um conjunto de modelos de linguagem gera temas (incluindo «golden insights» raros), analistas humanos revêem e validam-nos e os modelos associam depois cada resposta aos temas validados.
Na avaliação v1.0 de dezembro de 2025, o CAT tinha sido testado em consultas reais com 200 000 respostas (mais de 8 milhões de palavras). A avaliação usou um desenho cego (CAT versus conjuntos codificados por humanos) e outro não cego (CAT versus o resultado ajustado por humanos).
Resultados: sem supervisão humana, o CAT recuperou cerca de 75% dos temas humanos em testes cegos e 90% de recall em pilotos reais após revisão humana. A associação de temas obteve F1 de 0,75 (cego) e 0,93 (real), com mais de 92% de concordância bruta com peritos e sem evidência de diferenças sistemáticas de precisão entre grupos demográficos. O DfT estima poupar 50–70% do custo e do tempo de uma consulta de média dimensão; em quatro consultas concluídas cerca de 0,5 M£ e 15 000 horas de pessoal, e 1,5–4 M£ por ano em toda a carteira (poupança de custo de oportunidade, não numerário).
Ressalvas dos autores: a precisão varia consoante o conjunto de dados, a pontuação perfeita é praticamente inalcançável porque a codificação humana de referência é subjetiva, as prevalências são estimativas com intervalos de confiança e a revisão humana dos temas (1–5 horas por pergunta) continua a ser a salvaguarda central. As poupanças são estimativas do próprio DfT e a avaliação foi feita pela equipa que desenvolveu a ferramenta.