Jill Watson, de Georgia Tech, es una asistente de enseñanza con IA activa desde 2016 que responde preguntas de logística de cursos en línea. Un estudio de 2024 halló 75-97% de precisión, frente a 30% de un ChatGPT simple; despliegue confirmado limitado a dos instituciones.
75-97 %
Precisión de respuesta de Jill Watson (2024-2025)
~30 %
Precisión de respuesta de un asistente genérico ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Tasa de error dañino de Jill Watson (2024-2025)
14.4-16.5 %
Tasa de error dañino de un asistente genérico (2024-2025)
66 %
Notas A entre estudiantes con acceso a Jill Watson
62 %
Notas A entre estudiantes sin acceso a Jill Watson
3 %
Notas C entre estudiantes con acceso a Jill Watson
7 %
Notas C entre estudiantes sin acceso a Jill Watson
40,000 postings
Publicaciones históricas de foros usadas para el entrenamiento (2016)
97 %
Certeza de respuesta alcanzada durante el semestre (2016)
300 students
Estudiantes matriculados en el curso original de 2016 (2016)
600+ students
Estudiantes en el despliegue actual del curso de IA del OMSCS
Details
Maturity
Established
Promoter
Georgia Institute of Technology (Design Intelligence Lab)
Period
2016–present
Keywords
higher education, virtual teaching assistant, online learning, natural language processing
Context
Jill Watson, de Georgia Tech, es una asistente docente virtual con IA desarrollada desde 2016 por el Design Intelligence Lab de Ashok Goel, construida inicialmente sobre IBM Watson para responder a preguntas rutinarias de los estudiantes en los foros de discusión de los cursos. Evolucionó con el modelo BERT de Google (2019) y, desde 2023-2025, hacia una arquitectura de generación aumentada por recuperación (RAG) basada en ChatGPT. Actualmente está desplegada en el curso de IA del OMSCS de Georgia Tech y en un curso de inglés en Wiregrass Georgia Technical College, financiada por el instituto AI-ALOE de la National Science Foundation de EE. UU. y por la Fundación Gates.
Objectives
Automatizar las respuestas a preguntas rutinarias de logística de los cursos para profesores y asistentes de enseñanza, manteniendo la transparencia al revelar la identidad de la IA a los estudiantes, y comprobar si las respuestas asistidas por IA mejoran la precisión y la seguridad frente a asistentes genéricos basados en ChatGPT en aulas reales.
Activities
El sistema se entrenó con unas 40.000 publicaciones históricas de los foros del curso Knowledge-Based AI de Georgia Tech, y su certeza de respuesta se monitorizó antes de revelar su identidad a los estudiantes en abril de 2016. Desde 2023, el equipo reconstruyó Jill Watson sobre una arquitectura RAG basada en ChatGPT y la comparó con un asistente genérico de OpenAI, evaluando la precisión y las tasas de error dañino en dos ámbitos universitarios, además de comparar los resultados académicos entre cohortes con y sin acceso a la herramienta.
Results
Un artículo revisado por pares presentado en la conferencia AIED 2024 y un estudio de Georgia Tech de septiembre de 2025, corroborados en dos ámbitos universitarios, indican que Jill Watson alcanza una precisión de respuesta del 75-97% frente a aproximadamente el 30% de un asistente genérico de OpenAI, con tasas de error dañino del 2,7-5,7% frente al 14,4-16,5% del asistente de referencia. Una comparación en el aula mostró que los estudiantes con acceso a Jill Watson obtuvieron más notas A (66% frente a 62%) y menos notas C (3% frente a 7%) que quienes no tenían acceso.
Conclusions
Jill Watson ha funcionado de forma continua desde 2016 con total transparencia sobre su identidad como IA, pero el despliegue confirmado sigue limitado a dos instituciones; una alianza planificada con Wiley & Sons, destinada a ampliar su uso a más aulas, no se había lanzado a mediados de 2026.
Implementation
Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums
Conditions for success
Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
Full disclosure of the AI's identity to students to maintain trust
A large corpus of historical course Q&A data to train and ground the system
Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)
Common failure modes
Confirmed deployment has remained limited to only two institutions for years
Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026
Where it fits
Governance type
university research lab / higher-education institution
Scale
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Income level
high-income (United States)
Data sources
Where this practice's information was retrieved from, and when.
IDB/Elige Educar WhatsApp AI chatbot for career guidance to Chilean secondary students. Pre-registered RCT (43,000+ students, 2024–25): AI raised initiation …