URAG — O Chatbot Híbrido de RAG para Admissões da Universidade de Tecnologia de Ho Chi Minh Supera o GPT-4o em Perguntas Reais de Candidatos

A Universidade de Tecnologia de Ho Chi Minh (HCMUT), no Vietname, enfrentava um risco comum aos chatbots de admissão universitária: os modelos de linguagem podem 'alucinar' em perguntas sensíveis e datadas, como prazos de candidatura e requisitos de curso, onde uma resposta errada tem consequências reais para os candidatos.
O grupo de investigação URA da HCMUT construiu o URAG, um sistema híbrido de duas camadas que primeiro consulta um banco de perguntas frequentes selecionado (criado e reformulado a partir de documentos oficiais de admissão através de uma etapa de preparação chamada URAG-F) e só recorre à geração aumentada por recuperação — com base em documentos-fonte segmentados semanticamente (URAG-D) — quando não encontra correspondência nas perguntas frequentes.
O chatbot foi colocado em produção em ura.hcmut.edu.vn durante um ciclo de admissões de quatro meses, com picos de utilização no início de junho e no final de agosto, à medida que os estudantes do ensino secundário vietnamitas se aproximavam dos prazos de exames e matrícula. Os investigadores compararam depois o sistema com 500 perguntas reais de admissão recolhidas junto de candidatos do secundário: o URAG respondeu corretamente a 62,8%, superando o GPT-4o (54,4%), o Claude 3.5 Sonnet (50,2%) e o Gemini 1.5 Pro (44,0%). O sistema foi distinguido na Semana de Inovação, Empreendedorismo e Startups de Ho Chi Minh (WHISE) 2024.
A comparação revela também um limite que vale a pena assinalar com clareza: a vantagem do URAG concentrou-se em perguntas factuais, do tipo FAQ (218 de 268 corretas); em perguntas que exigiam raciocínio em várias etapas, teve um desempenho inferior ao dos modelos comerciais de uso geral. Um teto de precisão de cerca de 63% significa também que aproximadamente uma em cada três respostas ainda estava errada, pelo que a ferramenta deve ser vista como uma camada de triagem que reduz a carga rotineira, e não como uma substituição total do pessoal humano de admissões.