L'IGC et ZamStats utilisent des modèles GPT pour accélérer le codage de l'enquête sur la main-d'œuvre en Zambie

L'enquête trimestrielle sur les forces de travail de Zambie (LFS), menée par l'Agence zambienne de statistique (ZamStats) avec le ministère du Travail et de la Sécurité sociale, interroge 10 400 ménages par an. Les enquêteurs attribuent à chaque répondant un code professionnel à quatre chiffres (436 codes CITP possibles) et un code de secteur d'activité (419 codes CITI possibles) à partir de descriptions verbales recueillies sur le terrain, un processus que l'équipe de l'enquête juge chronophage et sujet aux erreurs.

En 2025, ZamStats s'est associée à l'International Growth Centre (IGC) et à l'Université d'Oxford pour tester si de grands modèles de langage pourraient coder ces réponses mieux et plus rapidement que les enquêteurs humains.

Les chercheurs ont construit un pipeline de génération augmentée par récupération (RAG) avec des instructions à quelques exemples, et ont comparé sept LLM, dont GPT-4 Turbo, GPT-5 mini et GPT-5 Nano, à 1 059 réponses de l'enquête que le siège de ZamStats avait codées de façon indépendante comme référence. ZamStats et l'IGC ont également construit une interface ouverte, sans code, pour ce pipeline, avec pour objectif une mise en œuvre complète d'ici fin 2025.

Chaque LLM testé a surpassé les enquêteurs humains avec un écart statistiquement significatif (p<0,001). Les modèles les plus performants ont atteint 60 à 63% de précision exacte sur les codes professionnels (11,8 points de pourcentage au-dessus des enquêteurs) et 57 à 66% sur les codes de secteur (jusqu'à 17,8 points de pourcentage au-dessus des enquêteurs). Classer un échantillon annuel complet de l'enquête coûte moins de 10 dollars avec GPT-5 Nano, et l'équipe estime que l'approche pourrait faire économiser environ 43 jours de travail par an au personnel du siège et 130 jours de travail par an aux enquêteurs de terrain, selon des estimations de temps prudentes.

Les auteurs signalent de réelles limites : l'échantillon de 1 059 réponses est trop restreint pour comparer les LLM entre eux avec une confiance statistique suffisante, la « référence » établie par les enquêteurs contient elle-même des erreurs de codage, et les résultats ne sont démontrés à ce jour que pour l'enquête zambienne, bien que l'équipe estime que la méthode pourrait s'étendre au recensement de quatre millions de ménages de Zambie et aux enquêtes sur le travail d'autres pays.