evidoria

← Volver al listado

Buena práctica Importada

URAG — El Chatbot Híbrido de RAG para Admisiones de la Universidad de Tecnología de Ho Chi Minh Supera a GPT-4o en Preguntas Reales de Aspirantes

Vietnam · Ho Chi Minh City · Ver el perfil de Vietnam · Ver el perfil de Ho Chi Minh City

Evidencia: Cuasiexperimental Top 81% 33/100 · Pregunte a Evidence Copilot sobre esta práctica

HCMUT creó URAG, un chatbot de dos niveles (reglas + generación aumentada por recuperación) para preguntas de admisión, que alcanzó un 62,8% de precisión en 500 preguntas reales de aspirantes, frente al 54,4% de GPT-4o, el 50,2% de Claude 3.5 Sonnet y el 44,0% de Gemini 1.5 Pro.

62.8%
Precisión de URAG en 500 preguntas reales de aspirantes
54.4%
Precisión de GPT-4o (mismas 500 preguntas)
50.2%
Precisión de Claude 3.5 Sonnet (mismas 500 preguntas)
44.0%
Precisión de Gemini 1.5 Pro (mismas 500 preguntas)
218 of 268
Respuestas correctas tipo FAQ
URAG — El Chatbot Híbrido de RAG para Admisiones de la Universidad de Tecnología de Ho Chi Minh Supera a GPT-4o en Preguntas Reales de Aspirantes

Detalles

Promotor
Ho Chi Minh City University of Technology (HCMUT) — URA Research Group
Período
2024-2025
Palabras clave
higher education, university admissions, generative AI, retrieval-augmented generation

Contexto

La Universidad de Tecnología de Ho Chi Minh (HCMUT) desarrolló URAG, un chatbot híbrido de dos niveles para admisiones universitarias, con el fin de abordar el riesgo de que los grandes modelos de lenguaje alucinen en preguntas sensibles y sujetas a plazos, como fechas límite y requisitos.

Objetivos

URAG primero consulta un banco de preguntas frecuentes elaborado a partir de documentos oficiales de admisión, y solo recurre a la generación aumentada por recuperación sobre documentos fuente segmentados semánticamente cuando no encuentra coincidencia en las FAQ.

Actividades

El chatbot se despligó en producción en ura.hcmut.edu.vn durante un ciclo de admisiones de cuatro meses, con un uso que alcanzó su punto máximo cuando los estudiantes de secundaria vietnamitas se acercaban a los exámenes y plazos de matrícula, y fue reconocido en el WHISE 2024 de Ho Chi Minh.

Resultados

Evaluado con 500 preguntas reales de admisión hechas por aspirantes de secundaria, URAG respondió correctamente el 62,8%, por delante de GPT-4o (54,4%), Claude 3.5 Sonnet (50,2%) y Gemini 1.5 Pro (44,0%); su ventaja se concentró en preguntas factuales tipo FAQ (218 de 268 correctas), mientras que tuvo un rendimiento inferior al de los modelos de uso general en razonamiento de varios pasos.

Conclusiones

Con un techo de precisión de alrededor del 63%, aproximadamente una de cada tres respuestas seguía siendo incorrecta, por lo que la herramienta se entiende mejor como una capa de clasificación que reduce la carga rutinaria, no como un reemplazo total del personal humano de admisiones.

Implementación
Coste indicativo
Bajo (< 50 000 €)
Tiempo hasta resultados
Corto (< 1 año)
Personal y competencias
HCMUT URA Research Group engineering team, University admissions office (FAQ content source and coordination)

Condiciones para el éxito

  • Curated FAQ bank kept current from official admissions documents (URAG-F)
  • Retrieval-augmented fallback restricted to semantically chunked, vetted source documents (URAG-D)
  • Framing the tool as a triage layer for routine questions rather than a replacement for admissions staff

Habitualmente financiado por

National / regional programmes Own resources / municipal budget

Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles