evidoria

← Retour à la liste

Bonne pratique Importée

URAG — Le Chatbot Hybride RAG pour les Admissions de l'Université de Technologie de Hô-Chi-Minh-Ville Surpasse GPT-4o sur des Questions Réelles de Candidats

Viêt Nam · Ho Chi Minh City · Voir le profil de Viêt Nam · Voir le profil de Ho Chi Minh City

Preuves: Quasi expérimental Top 81% 33/100 · Demandez à Evidence Copilot à propos de cette pratique

HCMUT a conçu URAG, un chatbot à deux niveaux (règles + génération augmentée par récupération) pour les questions d'admission, qui a atteint 62,8 % de précision sur 500 questions réelles de candidats, contre 54,4 % pour GPT-4o, 50,2 % pour Claude 3.5 Sonnet et 44,0 % pour Gemini 1.5 Pro.

62.8%
Précision d'URAG sur 500 questions réelles de candidats
54.4%
Précision de GPT-4o (mêmes 500 questions)
50.2%
Précision de Claude 3.5 Sonnet (mêmes 500 questions)
44.0%
Précision de Gemini 1.5 Pro (mêmes 500 questions)
218 of 268
Réponses correctes de type FAQ
URAG — Le Chatbot Hybride RAG pour les Admissions de l'Université de Technologie de Hô-Chi-Minh-Ville Surpasse GPT-4o sur des Questions Réelles de Candidats

Détails

Promoteur
Ho Chi Minh City University of Technology (HCMUT) — URA Research Group
Période
2024-2025
Mots-clés
higher education, university admissions, generative AI, retrieval-augmented generation

Contexte

L'Université de technologie de Hô-Chi-Minh-Ville (HCMUT) a conçu URAG, un chatbot hybride à deux niveaux pour les admissions universitaires, afin de répondre au risque que les grands modèles de langage « hallucinent » sur des questions sensibles et liées à des délais, comme les dates limites et les conditions d'admission.

Objectifs

URAG consulte d'abord une base de FAQ constituée à partir de documents officiels d'admission, et ne recourt à la génération augmentée par récupération sur des documents sources découpés sémantiquement que lorsqu'aucune correspondance n'est trouvée dans la FAQ.

Activités

Le chatbot a été déployé en production sur ura.hcmut.edu.vn pendant un cycle d'admission de quatre mois, avec un usage culminant à l'approche des examens et des délais d'inscription des lycéens vietnamiens, et a été distingué lors du WHISE 2024 à Hô-Chi-Minh-Ville.

Résultats

Évalué sur 500 questions réelles d'admission posées par des candidats du secondaire, URAG a répondu correctement à 62,8 % d'entre elles, devançant GPT-4o (54,4 %), Claude 3.5 Sonnet (50,2 %) et Gemini 1.5 Pro (44,0 %) ; son avantage se concentrait sur les questions factuelles de type FAQ (218 sur 268 correctes), tandis qu'il était moins performant que les modèles généralistes sur le raisonnement à plusieurs étapes.

Conclusions

Avec un plafond de précision d'environ 63 %, près d'une réponse sur trois restait erronée ; l'outil doit donc être vu comme une couche de tri réduisant la charge routinière, et non comme un remplacement complet du personnel humain des admissions.

Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an)
Personnel et compétences
HCMUT URA Research Group engineering team, University admissions office (FAQ content source and coordination)

Conditions de réussite

  • Curated FAQ bank kept current from official admissions documents (URAG-F)
  • Retrieval-augmented fallback restricted to semantically chunked, vetted source documents (URAG-D)
  • Framing the tool as a triage layer for routine questions rather than a replacement for admissions staff

Habituellement financé par

National / regional programmes Own resources / municipal budget

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles