URAG — El Chatbot Híbrido de RAG para Admisiones de la Universidad de Tecnología de Ho Chi Minh Supera a GPT-4o en Preguntas Reales de Aspirantes

La Universidad de Tecnología de Ho Chi Minh (HCMUT), en Vietnam, enfrentaba un riesgo habitual en los chatbots de admisión universitaria: los grandes modelos de lenguaje pueden 'alucinar' en preguntas sensibles y con fecha límite, como los plazos de solicitud o los requisitos de los programas, donde una respuesta incorrecta tiene consecuencias reales para los aspirantes.
El grupo de investigación URA de HCMUT desarrolló URAG, un sistema híbrido de dos niveles que primero consulta un banco de preguntas frecuentes curado (elaborado y reformulado a partir de documentos oficiales de admisión mediante un paso de preparación llamado URAG-F), y solo recurre a la generación aumentada por recuperación —basada en documentos fuente fragmentados semánticamente (URAG-D)— cuando no encuentra coincidencia en las preguntas frecuentes.
El chatbot se desplegó en producción en ura.hcmut.edu.vn durante un ciclo de admisión de cuatro meses, con picos de uso a principios de junio y finales de agosto, coincidiendo con la proximidad de exámenes y plazos de matrícula para los estudiantes vietnamitas de secundaria. Los investigadores lo evaluaron después con 500 preguntas reales de admisión recopiladas de aspirantes de secundaria: URAG respondió correctamente al 62,8%, por delante de GPT-4o (54,4%), Claude 3.5 Sonnet (50,2%) y Gemini 1.5 Pro (44,0%). El sistema fue reconocido en la Semana de Innovación, Emprendimiento y Startups de Ho Chi Minh (WHISE) 2024.
La comparación también revela un límite que conviene señalar con claridad: la ventaja de URAG se concentró en preguntas factuales tipo FAQ (218 de 268 correctas); en preguntas que requerían razonamiento en varios pasos, tuvo un desempeño inferior al de los modelos comerciales de uso general. Un techo de precisión de alrededor del 63% también significa que aproximadamente una de cada tres respuestas seguía siendo incorrecta, por lo que la herramienta se entiende mejor como una capa de filtrado que reduce la carga rutinaria, no como un sustituto total del personal humano de admisiones.