KemenkeuGPT — Um Piloto de LLM com Geração Aumentada por Recuperação para o Ministério das Finanças da Indonésia

Os responsáveis do Ministério das Finanças da Indonésia enfrentam o desafio recorrente de navegar por duas décadas de dados financeiros e regulamentos complexos e fragmentados para apoiar decisões orçamentais e políticas baseadas em evidências.

Os investigadores, em colaboração com o Ministério, tinham como objetivo construir uma ferramenta que ajudasse os funcionários a consultar e raciocinar sobre este corpus fragmentado de múltiplas fontes para apoiar a tomada de decisões.

Os investigadores construíram o KemenkeuGPT, um sistema de modelo de linguagem de grande escala que aplica geração aumentada por recuperação (RAG) via LangChain, engenharia de prompts e ajuste fino (fine-tuning) sobre um corpus que abrange 2003–2023, proveniente do próprio Ministério das Finanças, do Instituto de Estatística da Indonésia (BPS) e do FMI. Inquéritos e entrevistas com funcionários do Ministério foram usados para informar e refinar os resultados do modelo.

O ajuste fino elevou a precisão das respostas do KemenkeuGPT de 35% para 61% e a correção de 48% para 64%; sob a estrutura de avaliação RAGAS, atingiu 44% de correção, 73% de fidelidade, 40% de precisão e 60% de recall, superando vários modelos de base testados. Um funcionário do Ministério entrevistado descreveu a ferramenta como tendo potencial para se tornar 'uma ferramenta essencial para a tomada de decisões'.

A investigação publicada enquadra o KemenkeuGPT como um projeto-piloto e uma ferramenta futura potencial, e não como um sistema já em uso produtivo em todo o ministério. Separadamente, em dezembro de 2024, o Vice-Ministro anunciou publicamente planos para expandir o uso de IA em toda a instituição — incluindo deteção de anomalias em relatórios financeiros e análise de correlação entre alocação orçamental e resultados — sinalizando apetite institucional para este tipo de ferramenta para além do projeto-piloto de investigação.