El rechazo de la Universidad Vanderbilt, basado en evidencias, al detector de IA de Turnitin

En abril de 2023, el Brightspace/Center for Teaching de la Universidad de Vanderbilt activó la función de detección de texto generado por IA de Turnitin, recién lanzada, para uso del profesorado en todo el campus, aunque Turnitin afirmaba públicamente una tasa de falsos positivos de apenas alrededor del 1%. Con cerca de 75,000 trabajos entregados a través de Turnitin en 2022, el personal de Vanderbilt calculó que incluso esa tasa supuestamente baja implicaba que unos 750 trabajos al año podrían ser marcados erróneamente como generados por IA. Ese mismo verano, un equipo de investigación de la Universidad de Stanford publicó un estudio revisado por pares en la revista Patterns, de Cell Press, que analizaba si los detectores comerciales de texto generado por IA estaban sesgados contra los escritores no nativos de inglés.

El objetivo declarado de Vanderbilt era evaluar si el detector de texto generado por IA de Turnitin era lo bastante preciso y justo como para sustentar decisiones de integridad académica de alto riesgo, sopesando la tasa de falsos positivos declarada por la herramienta frente al número de trabajos analizados y la transparencia de su metodología.

A lo largo de varios meses, el Brightspace/Center for Teaching de Vanderbilt realizó pruebas internas del detector de texto generado por IA y consultó a otras universidades y a proveedores de IA, incluida Turnitin, antes de decidir sobre su uso futuro. En paralelo, investigadores de Stanford (Liang, Yuksekgonul, Mao, Wu y Zou) sometieron 91 ensayos TOEFL genuinos escritos por hablantes no nativos de inglés, y un conjunto comparativo de ensayos de octavo grado estadounidense escritos por hablantes nativos, a siete detectores comerciales de GPT ampliamente utilizados, y además comprobaron cómo la reescritura de los textos con ChatGPT modificaba los resultados de los detectores.

Vanderbilt desactivó el detector de texto generado por IA de Turnitin en todo el campus el 16 de agosto de 2023, citando tanto el riesgo de falsos positivos como la negativa de Turnitin a revelar la metodología detallada detrás de sus puntuaciones de probabilidad de IA. El estudio de Stanford halló que los siete detectores clasificaron erróneamente, en promedio, el 61.3% de los ensayos TOEFL no nativos como generados por IA, con un detector que marcó el 97.8% y los siete detectores equivocándose unánimemente en el 19.8% del conjunto, mientras que los ensayos de octavo grado de hablantes nativos de inglés se clasificaron correctamente; usar ChatGPT para mejorar la elección de palabras de los ensayos no nativos redujo la tasa de falsos positivos al 11.6%, mientras que simplificar el vocabulario de los ensayos nativos aumentó su clasificación errónea.

En conjunto, los dos casos muestran un raro bucle de retroalimentación entre el razonamiento interno de coste-beneficio de una institución y una investigación académica independiente que llega a la misma conclusión: los detectores comerciales de texto generado por IA aún no eran suficientemente fiables ni justos para decisiones de integridad académica de alto riesgo, especialmente para estudiantes internacionales y no nativos de inglés, lo que llevó a Vanderbilt y a otras universidades estadounidenses a desactivar la detección de IA en lugar de arriesgarse a acusaciones falsas.