KemenkeuGPT — Un Piloto de LLM con Generación Aumentada por Recuperación para el Ministerio de Finanzas de Indonesia

Los responsables del Ministerio de Finanzas de Indonesia se enfrentan al desafío recurrente de navegar por dos décadas de datos financieros y regulaciones complejas y fragmentadas para apoyar decisiones presupuestarias y de política basadas en evidencia.

Los investigadores, en colaboración con el Ministerio, tenían como objetivo construir una herramienta que ayudara a los funcionarios a consultar y razonar sobre este corpus fragmentado de múltiples fuentes para apoyar la toma de decisiones.

Los investigadores construyeron KemenkeuGPT, un sistema de modelo de lenguaje de gran escala que aplica generación aumentada por recuperación (RAG) mediante LangChain, ingeniería de prompts y ajuste fino (fine-tuning) sobre un corpus que abarca 2003–2023, procedente del propio Ministerio de Finanzas, la Agencia de Estadística de Indonesia (BPS) y el FMI. Se utilizaron encuestas y entrevistas con funcionarios del Ministerio para informar y refinar los resultados del modelo.

El ajuste fino elevó la precisión de las respuestas de KemenkeuGPT del 35% al 61% y la corrección del 48% al 64%; bajo el marco de evaluación RAGAS alcanzó 44% de corrección, 73% de fidelidad, 40% de precisión y 60% de recall, superando a varios modelos base evaluados. Un funcionario del Ministerio entrevistado describió la herramienta como con potencial para convertirse en 'una herramienta esencial para la toma de decisiones'.

La investigación publicada presenta a KemenkeuGPT como un proyecto piloto y una herramienta potencial futura, no como un sistema ya en uso productivo en todo el ministerio. Por separado, en diciembre de 2024 la Viceministra anunció públicamente planes para expandir el uso de IA en toda la institución — incluyendo detección de anomalías en informes financieros y análisis de correlación entre asignación presupuestaria y resultados — señalando apetito institucional por este tipo de herramienta más allá del proyecto piloto de investigación.