evidoria

← Retour à la liste

Bonne pratique Importée

KemenkeuGPT — Un Pilote de LLM à Génération Augmentée par Récupération pour le Ministère des Finances Indonésien

Indonésie · Jakarta · Voir le profil de Indonésie · Voir le profil de Jakarta

Preuves: Observationnel / avant-après Top 66% 53/100 · Demandez à Evidence Copilot à propos de cette pratique

Des chercheurs avec le ministère indonésien des Finances ont créé KemenkeuGPT, un LLM à génération augmentée par récupération entraîné sur des données 2003–2023 du Ministère, du BPS et du FMI ; l'affinage a porté la précision de 35 % à 61 %.

35% → 61%
Précision des réponses (modèle affiné vs. modèle de référence)
48% → 64%
Justesse des réponses (modèle affiné vs. modèle de référence)
44%
Score de justesse RAGAS
73%
Score de fidélité RAGAS
40%
Score de précision RAGAS
60%
Score de rappel RAGAS

Détails

Maturité
Pilote
Promoteur
Ministry of Finance of the Republic of Indonesia (Kementerian Keuangan), developed with academic researchers
Période
2023–2024
Mots-clés
public financial management, budget policy, decision support

Contexte

Les responsables du ministère des Finances d'Indonésie sont confrontés au défi récurrent de naviguer dans deux décennies de données financières et de réglementations complexes et fragmentées pour étayer des décisions budgétaires et politiques fondées sur des données probantes.

Objectifs

Les chercheurs, en collaboration avec le ministère, visaient à construire un outil capable d'aider les fonctionnaires à interroger et à raisonner sur ce corpus fragmenté multi-sources pour appuyer la prise de décision.

Activités

Les chercheurs ont construit KemenkeuGPT, un système de grand modèle de langage appliquant la génération augmentée par récupération (RAG) via LangChain, l'ingénierie de prompts et le fine-tuning sur un corpus couvrant 2003–2023, provenant du ministère des Finances lui-même, de l'Institut national de statistique (BPS) et du FMI. Des enquêtes et entretiens avec des fonctionnaires du ministère ont servi à informer et affiner les résultats du modèle.

Résultats

Le fine-tuning a fait passer la précision des réponses de KemenkeuGPT de 35 % à 61 % et la justesse de 48 % à 64 % ; selon le cadre d'évaluation RAGAS, il a atteint 44 % de justesse, 73 % de fidélité, 40 % de précision et 60 % de rappel, surpassant plusieurs modèles de référence testés. Un fonctionnaire du ministère interrogé a décrit l'outil comme ayant le potentiel de devenir « un outil essentiel pour la prise de décision ».

Conclusions

La recherche publiée présente KemenkeuGPT comme un projet pilote et un outil potentiel futur, plutôt qu'un système déjà en production à l'échelle du ministère. Par ailleurs, en décembre 2024, la vice-ministre a publiquement annoncé des projets d'extension de l'usage de l'IA à travers l'institution — notamment la détection d'anomalies dans les rapports financiers et l'analyse de corrélation entre allocation budgétaire et résultats — signalant un appétit institutionnel pour ce type d'outil au-delà du projet pilote de recherche.

Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an) — Research and development spanned 2023–2024; in December 2024 the Ministry's Deputy Minister cited it as grounds for wider institutional AI-expansion plans.
Personnel et compétences
Academic researchers (RAG system development via LangChain, fine-tuning), Ministry of Finance officials (surveyed and interviewed to refine model outputs)

Conditions de réussite

  • Access to a structured multi-year financial corpus (Ministry of Finance, BPS, IMF, 2003–2023)
  • Combining fine-tuning with retrieval-augmented generation to raise accuracy over baseline models
  • Ministry official engagement via surveys/interviews to validate outputs

Modes d’échec courants

  • Framed by its own authors as a pilot, with no confirmed ministry-wide production deployment
  • No documented data-protection, oversight or accountability framework for the system

Habituellement financé par

National / regional programmes

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pratiques similaires qui pourraient vous être utiles