O INEGI implementa codificação por IA para reduzir a carga de classificação manual nos inquéritos aos agregados familiares no México

O instituto nacional de estatística do México, o INEGI, conduz três grandes inquéritos a agregados familiares que exigem a codificação de respostas em texto livre em categorias normalizadas de ocupação (SINCO) e de atividade económica (SCIAN/NAICS): o inquérito trimestral de rendimento e despesa ENIGH (40.000 registos, 260 codificadores), o inquérito de emprego ENOE (30.000 registos, 10 codificadores) e o Inquérito Intercensitário quinquenal (mais de 1 milhão de registos, 600 codificadores). O INEGI descreve o processo de codificação manual como intensivo em mão de obra, exigente em recursos e sujeito a erro humano.

Começando pelo ENIGH, a equipa de ciência de dados do INEGI procurou reduzir a carga de codificação manual das variáveis de ocupação e atividade económica, mantendo a qualidade alcançada pelos métodos tradicionais.

A equipa construiu um pipeline de codificação que combina algoritmos determinísticos de correspondência de palavras-chave com classificadores de aprendizagem automática (BERT e FastText), encaminhando depois os casos de baixa confiança para codificadores humanos para validação de qualidade. O Programa Anual de Investigação de 2025 do INEGI, um de 28 projetos aprovados de 52 propostas avaliadas pelo seu conselho diretivo, alarga formalmente a abordagem a todo o inquérito ENOE.

Com um limiar de confiança de 50% no ENIGH, apresentado num workshop da Divisão de Estatística da ONU em dezembro de 2024, os modelos codificaram automaticamente 48,2% dos casos de ocupação, coincidindo com as classificações dos codificadores humanos em 89,4% das vezes; aplicando o mesmo pipeline a todo o inquérito ENOE, alcançou-se uma concordância de 84,8% nos códigos de ocupação e de 76,7% nos códigos de atividade económica face à codificação manual.

A própria apresentação do INEGI alerta que o desempenho do modelo está 'fortemente ligado à qualidade e curadoria dos dados de treino', e o passo seguinte é construir uma base de dados de referência maior e dedicada, e testar diretamente grandes modelos de linguagem, para além dos classificadores BERT/FastText usados até agora; no âmbito do programa de 2025, o INEGI publicou a sua meta de eficiência, mas ainda não um valor de precisão pós-implementação para o uso em produção total no ENOE.