IGC e ZamStats usam modelos GPT para acelerar a codificação do Inquérito à Força de Trabalho da Zâmbia

O Inquérito trimestral à Força de Trabalho da Zâmbia (LFS), conduzido pela Agência de Estatística da Zâmbia (ZamStats) com o Ministério do Trabalho e Segurança Social, inquire 10.400 agregados familiares por ano. Os enumeradores atribuem a cada inquirido um código de ocupação de quatro dígitos (436 códigos ISCO possíveis) e um código de setor de atividade (419 códigos ISIC possíveis) a partir de descrições verbais recolhidas no terreno, um processo que a equipa do inquérito descreve como moroso e sujeito a erros.

Em 2025, a ZamStats associou-se ao International Growth Centre (IGC) e à Universidade de Oxford para testar se grandes modelos de linguagem conseguiriam codificar estas respostas de forma melhor e mais rápida do que os enumeradores humanos.

Os investigadores construíram um pipeline de geração aumentada por recuperação (RAG) com indicações de poucos exemplos e avaliaram sete LLM, incluindo o GPT-4 Turbo, o GPT-5 mini e o GPT-5 Nano, face a 1.059 respostas do LFS que a sede da ZamStats tinha codificado de forma independente como referência. A ZamStats e o IGC construíram ainda uma interface aberta, sem necessidade de programação, para o pipeline, com o objetivo de implementação total até ao final de 2025.

Todos os LLM testados superaram os enumeradores humanos por uma margem estatisticamente significativa (p<0,001). Os modelos com melhor desempenho atingiram 60-63% de precisão exata nos códigos de ocupação (11,8 pontos percentuais acima dos enumeradores) e 57-66% nos códigos de setor de atividade (até 17,8 pontos percentuais acima dos enumeradores). Classificar uma amostra anual completa do LFS custa menos de 10 dólares com o GPT-5 Nano, e a equipa calcula que a abordagem poderia poupar cerca de 43 dias de trabalho por ano ao pessoal da sede e 130 dias de trabalho por ano aos enumeradores de terreno, com base em estimativas de tempo conservadoras.

Os autores assinalam limitações reais: a amostra de 1.059 respostas é demasiado pequena para comparar os LLM entre si com confiança estatística, a própria 'referência' dos enumeradores contém erros de codificação, e os resultados só foram demonstrados até agora para o LFS da Zâmbia, embora a equipa defenda que o método poderia ser alargado ao censo de quatro milhões de agregados da Zâmbia e a inquéritos ao trabalho de outros países.