Avaliações entre Pares Corrigidas por IA da Coursera para Cursos de Certificado Profissional

A Coursera testou uma funcionalidade de correcao por IA para os trabalhos de revisao entre pares, de resposta aberta e em texto, usados em muitos dos seus cursos de Certificado Profissional, com marca conjunta de parceiros como Google, IBM e Meta, em que os instrutores fornecem uma grelha de avaliacao e o modelo de IA pontua as submissoes dos alunos com base nela, complementando ou substituindo a correcao por pares e por assistentes de ensino; a funcionalidade limita-se a submissoes em texto e esta excluida dos programas de grau com creditos da Coursera.

No seu proprio relatorio beta, publicado em setembro de 2024, a Coursera afirma que o sistema corrigiu cerca de 300.000 submissoes, com o objetivo de reduzir o tempo de correcao e oferecer feedback mais rapido e detalhado aos alunos.

Reportagens independentes da Class Central levantaram preocupacoes especificas sobre a precisao da versao beta inicial, constatando que o corretor de IA por vezes parecia pontuar com base no tom ou 'sentimento' de uma submissao em vez da conformidade estrita com a grelha, produzia pontuacoes inconsistentes ao corrigir repetidamente o mesmo texto, e exigia correcao por avaliadores humanos, sobretudo os que ja tinham concluido o curso; o departamento de formacao continua da Duke University realizou o seu proprio piloto opcional, convidando os alunos a comparar diretamente a correcao por IA e por humanos.

Os dados da Coursera mostram que o tempo medio de correcao caiu de cerca de 15 horas, para avaliadores humanos, para cerca de 1 minuto, o sistema forneceu cerca de 45 vezes mais feedback escrito por resposta (em media 326 carateres), 90% dos alunos avaliaram positivamente o feedback da IA, e as conclusoes de cursos no dia seguinte a uma revisao entre pares aumentaram 16,7% apos a introducao da funcionalidade; no entanto, as taxas de aprovacao a primeira tentativa cairam de 88% para 72%, as notas atribuidas pela IA foram, em media, cerca de 3% mais baixas do que as notas de pares anteriores, e apenas 7% dos alunos optaram por voltar a correcao humana.

Mesmo instituicoes adotantes, como a Duke, trataram a questao da precisao como ainda em aberto e nao resolvida, refletindo um quadro genuinamente misto de feedback mais rapido e abundante, a par de uma queda mensuravel nas taxas de aprovacao a primeira tentativa e de problemas de consistencia documentados na versao beta inicial.