evidoria

← Volver al listado

Buena práctica Importada

KemenkeuGPT — Un Piloto de LLM con Generación Aumentada por Recuperación para el Ministerio de Finanzas de Indonesia

Indonesia · Jakarta · Ver el perfil de Indonesia · Ver el perfil de Jakarta

Evidencia: Observacional / pre-post Top 66% 53/100 · Pregunte a Evidence Copilot sobre esta práctica

Investigadores con el Ministerio de Finanzas de Indonesia crearon KemenkeuGPT, un LLM con generación aumentada por recuperación entrenado con datos de 2003–2023 del Ministerio, el BPS y el FMI; el ajuste fino elevó la exactitud del 35% al 61%.

35% → 61%
Precisión de las respuestas (modelo ajustado vs. modelo base)
48% → 64%
Corrección de las respuestas (modelo ajustado vs. modelo base)
44%
Puntuación de corrección RAGAS
73%
Puntuación de fidelidad RAGAS
40%
Puntuación de precisión RAGAS
60%
Puntuación de recall RAGAS

Detalles

Madurez
Piloto
Promotor
Ministry of Finance of the Republic of Indonesia (Kementerian Keuangan), developed with academic researchers
Período
2023–2024
Palabras clave
public financial management, budget policy, decision support

Contexto

Los responsables del Ministerio de Finanzas de Indonesia se enfrentan al desafío recurrente de navegar por dos décadas de datos financieros y regulaciones complejas y fragmentadas para apoyar decisiones presupuestarias y de política basadas en evidencia.

Objetivos

Los investigadores, en colaboración con el Ministerio, tenían como objetivo construir una herramienta que ayudara a los funcionarios a consultar y razonar sobre este corpus fragmentado de múltiples fuentes para apoyar la toma de decisiones.

Actividades

Los investigadores construyeron KemenkeuGPT, un sistema de modelo de lenguaje de gran escala que aplica generación aumentada por recuperación (RAG) mediante LangChain, ingeniería de prompts y ajuste fino (fine-tuning) sobre un corpus que abarca 2003–2023, procedente del propio Ministerio de Finanzas, la Agencia de Estadística de Indonesia (BPS) y el FMI. Se utilizaron encuestas y entrevistas con funcionarios del Ministerio para informar y refinar los resultados del modelo.

Resultados

El ajuste fino elevó la precisión de las respuestas de KemenkeuGPT del 35% al 61% y la corrección del 48% al 64%; bajo el marco de evaluación RAGAS alcanzó 44% de corrección, 73% de fidelidad, 40% de precisión y 60% de recall, superando a varios modelos base evaluados. Un funcionario del Ministerio entrevistado describió la herramienta como con potencial para convertirse en 'una herramienta esencial para la toma de decisiones'.

Conclusiones

La investigación publicada presenta a KemenkeuGPT como un proyecto piloto y una herramienta potencial futura, no como un sistema ya en uso productivo en todo el ministerio. Por separado, en diciembre de 2024 la Viceministra anunció públicamente planes para expandir el uso de IA en toda la institución — incluyendo detección de anomalías en informes financieros y análisis de correlación entre asignación presupuestaria y resultados — señalando apetito institucional por este tipo de herramienta más allá del proyecto piloto de investigación.

Implementación
Coste indicativo
Bajo (< 50 000 €)
Tiempo hasta resultados
Corto (< 1 año) — Research and development spanned 2023–2024; in December 2024 the Ministry's Deputy Minister cited it as grounds for wider institutional AI-expansion plans.
Personal y competencias
Academic researchers (RAG system development via LangChain, fine-tuning), Ministry of Finance officials (surveyed and interviewed to refine model outputs)

Condiciones para el éxito

  • Access to a structured multi-year financial corpus (Ministry of Finance, BPS, IMF, 2003–2023)
  • Combining fine-tuning with retrieval-augmented generation to raise accuracy over baseline models
  • Ministry official engagement via surveys/interviews to validate outputs

Modos de fallo comunes

  • Framed by its own authors as a pilot, with no confirmed ministry-wide production deployment
  • No documented data-protection, oversight or accountability framework for the system

Habitualmente financiado por

National / regional programmes

Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Prácticas similares que pueden serle útiles