URAG — Le Chatbot Hybride RAG pour les Admissions de l'Université de Technologie de Hô-Chi-Minh-Ville Surpasse GPT-4o sur des Questions Réelles de Candidats

L'Université de technologie de Hô-Chi-Minh-Ville (HCMUT), au Vietnam, était confrontée à un risque bien connu des chatbots d'admission universitaire : les grands modèles de langage peuvent halluciner sur des questions sensibles et datées, comme les délais de candidature ou les conditions d'admission, où une réponse erronée a de réelles conséquences pour les candidats.
Le groupe de recherche URA de HCMUT a développé URAG, un système hybride à deux niveaux qui consulte d'abord une banque de questions fréquentes soigneusement constituée (élaborée et reformulée à partir des documents officiels d'admission via une étape de préparation appelée URAG-F), et ne recourt à la génération augmentée par récupération — à partir de documents sources découpés sémantiquement (URAG-D) — que lorsqu'aucune correspondance n'est trouvée dans la FAQ.
Le chatbot a été déployé en conditions réelles sur ura.hcmut.edu.vn pendant un cycle d'admission de quatre mois, avec des pics d'utilisation début juin et fin août, à mesure que les lycéens vietnamiens se rapprochaient des examens et des délais d'inscription. Les chercheurs l'ont ensuite évalué sur 500 questions réelles d'admission recueillies auprès de lycéens candidats : URAG a répondu correctement à 62,8 % d'entre elles, devançant GPT-4o (54,4 %), Claude 3.5 Sonnet (50,2 %) et Gemini 1.5 Pro (44,0 %). Le système a été distingué lors de la Semaine de l'innovation, de la création d'entreprise et de l'entrepreneuriat de Hô-Chi-Minh-Ville (WHISE) 2024.
La comparaison révèle aussi une limite qu'il convient de mentionner clairement : l'avantage d'URAG se concentrait sur les questions factuelles de type FAQ (218 sur 268 correctes) ; sur les questions nécessitant un raisonnement en plusieurs étapes, il a été moins performant que les modèles commerciaux généralistes. Un plafond de précision d'environ 63 % signifie également qu'environ une réponse sur trois restait erronée : l'outil doit donc être vu comme un filtre de tri qui réduit la charge routinière, plutôt que comme un remplacement complet du personnel humain des admissions.