URAG — O Chatbot Híbrido de RAG para Admissões da Universidade de Tecnologia de Ho Chi Minh Supera o GPT-4o em Perguntas Reais de Candidatos

A Universidade de Tecnologia de Ho Chi Minh (HCMUT) construiu o URAG, um chatbot híbrido de duas camadas para admissões universitárias, para enfrentar o risco de os grandes modelos de linguagem alucinarem em perguntas sensíveis e sujeitas a prazos, como datas-limite e requisitos.

O URAG verifica primeiro um banco de perguntas frequentes elaborado a partir de documentos oficiais de admissão, recorrendo a geração aumentada por recuperação sobre documentos-fonte segmentados semanticamente apenas quando não encontra correspondência nas FAQ.

O chatbot foi implementado em produção em ura.hcmut.edu.vn durante um ciclo de admissões de quatro meses, com uso a atingir o pico à medida que os estudantes do ensino secundário vietnamitas se aproximavam dos prazos de exames e matrícula, tendo sido reconhecido na WHISE 2024, em Ho Chi Minh.

Avaliado com 500 perguntas reais de admissão feitas por candidatos do ensino secundário, o URAG respondeu corretamente a 62,8%, à frente do GPT-4o (54,4%), do Claude 3.5 Sonnet (50,2%) e do Gemini 1.5 Pro (44,0%); a sua vantagem concentrou-se em perguntas factuais do tipo FAQ (218 de 268 corretas), tendo tido um desempenho inferior ao dos modelos de uso geral em raciocínio de vários passos.

Com um teto de precisão de cerca de 63%, aproximadamente uma em cada três respostas ainda estava errada, pelo que a ferramenta deve ser vista como uma camada de triagem que reduz a carga rotineira, e não como uma substituição total do pessoal humano de admissões.