evidoria

← Volver al listado

Good practice

Jill Watson — la asistente virtual de enseñanza con IA de Georgia Tech para la administración de cursos

Estados Unidos · Atlanta · Ver el perfil de Estados Unidos

Jill Watson, de Georgia Tech, es una asistente de enseñanza con IA activa desde 2016 que responde preguntas de logística de cursos en línea. Un estudio de 2024 halló 75-97% de precisión, frente a 30% de un ChatGPT simple; despliegue confirmado limitado a dos instituciones.

75-97 %
Precisión de respuesta de Jill Watson (2024-2025)
~30 %
Precisión de respuesta de un asistente genérico ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Tasa de error dañino de Jill Watson (2024-2025)
14.4-16.5 %
Tasa de error dañino de un asistente genérico (2024-2025)
66 %
Notas A entre estudiantes con acceso a Jill Watson
62 %
Notas A entre estudiantes sin acceso a Jill Watson
3 %
Notas C entre estudiantes con acceso a Jill Watson
7 %
Notas C entre estudiantes sin acceso a Jill Watson
40,000 postings
Publicaciones históricas de foros usadas para el entrenamiento (2016)
97 %
Certeza de respuesta alcanzada durante el semestre (2016)
300 students
Estudiantes matriculados en el curso original de 2016 (2016)
600+ students
Estudiantes en el despliegue actual del curso de IA del OMSCS
Jill Watson — la asistente virtual de enseñanza con IA de Georgia Tech para la administración de cursos

Detalles

Madurez
Established
Promotor
Georgia Institute of Technology (Design Intelligence Lab)
Período
2016–present
Palabras clave
higher education, virtual teaching assistant, online learning, natural language processing

Contexto

Jill Watson, de Georgia Tech, es una asistente docente virtual con IA desarrollada desde 2016 por el Design Intelligence Lab de Ashok Goel, construida inicialmente sobre IBM Watson para responder a preguntas rutinarias de los estudiantes en los foros de discusión de los cursos. Evolucionó con el modelo BERT de Google (2019) y, desde 2023-2025, hacia una arquitectura de generación aumentada por recuperación (RAG) basada en ChatGPT. Actualmente está desplegada en el curso de IA del OMSCS de Georgia Tech y en un curso de inglés en Wiregrass Georgia Technical College, financiada por el instituto AI-ALOE de la National Science Foundation de EE. UU. y por la Fundación Gates.

Objetivos

Automatizar las respuestas a preguntas rutinarias de logística de los cursos para profesores y asistentes de enseñanza, manteniendo la transparencia al revelar la identidad de la IA a los estudiantes, y comprobar si las respuestas asistidas por IA mejoran la precisión y la seguridad frente a asistentes genéricos basados en ChatGPT en aulas reales.

Actividades

El sistema se entrenó con unas 40.000 publicaciones históricas de los foros del curso Knowledge-Based AI de Georgia Tech, y su certeza de respuesta se monitorizó antes de revelar su identidad a los estudiantes en abril de 2016. Desde 2023, el equipo reconstruyó Jill Watson sobre una arquitectura RAG basada en ChatGPT y la comparó con un asistente genérico de OpenAI, evaluando la precisión y las tasas de error dañino en dos ámbitos universitarios, además de comparar los resultados académicos entre cohortes con y sin acceso a la herramienta.

Resultados

Un artículo revisado por pares presentado en la conferencia AIED 2024 y un estudio de Georgia Tech de septiembre de 2025, corroborados en dos ámbitos universitarios, indican que Jill Watson alcanza una precisión de respuesta del 75-97% frente a aproximadamente el 30% de un asistente genérico de OpenAI, con tasas de error dañino del 2,7-5,7% frente al 14,4-16,5% del asistente de referencia. Una comparación en el aula mostró que los estudiantes con acceso a Jill Watson obtuvieron más notas A (66% frente a 62%) y menos notas C (3% frente a 7%) que quienes no tenían acceso.

Conclusiones

Jill Watson ha funcionado de forma continua desde 2016 con total transparencia sobre su identidad como IA, pero el despliegue confirmado sigue limitado a dos instituciones; una alianza planificada con Wiley & Sons, destinada a ampliar su uso a más aulas, no se había lanzado a mediados de 2026.

Implementación

Coste indicativo
Medium (€50k–€500k)
Tiempo hasta resultados
Long (> 3 years)
Personal y competencias
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums

Condiciones para el éxito

  • Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
  • Full disclosure of the AI's identity to students to maintain trust
  • A large corpus of historical course Q&A data to train and ground the system
  • Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)

Modos de fallo comunes

  • Confirmed deployment has remained limited to only two institutions for years
  • Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026

Dónde encaja

Tipo de gobernanza
university research lab / higher-education institution
Escala
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Nivel de ingresos
high-income (United States)

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles