Jill Watson, de Georgia Tech, est une assistante d'enseignement IA active depuis 2016 qui répond aux questions de logistique de cours en ligne. Une étude de 2024 a mesuré 75-97 % de précision, contre 30 % pour un simple ChatGPT ; déploiement confirmé limité à deux établissements.
75-97 %
Précision de réponse de Jill Watson (2024-2025)
~30 %
Précision de réponse d'un assistant générique ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Taux d'erreurs nuisibles de Jill Watson (2024-2025)
14.4-16.5 %
Taux d'erreurs nuisibles d'un assistant générique (2024-2025)
66 %
Notes A parmi les étudiants ayant accès à Jill Watson
62 %
Notes A parmi les étudiants sans accès à Jill Watson
3 %
Notes C parmi les étudiants ayant accès à Jill Watson
7 %
Notes C parmi les étudiants sans accès à Jill Watson
40,000 postings
Publications historiques de forums utilisées pour l'entraînement (2016)
97 %
Certitude de réponse atteinte au cours du semestre (2016)
300 students
Étudiants inscrits au cours original de 2016 (2016)
600+ students
Étudiants dans le déploiement actuel du cours d'IA de l'OMSCS
Details
Maturity
Established
Promoter
Georgia Institute of Technology (Design Intelligence Lab)
Period
2016–present
Keywords
higher education, virtual teaching assistant, online learning, natural language processing
Context
Jill Watson, de Georgia Tech, est une assistante pédagogique virtuelle dotée d'IA, développée depuis 2016 par le Design Intelligence Lab d'Ashok Goel, initialement construite sur IBM Watson pour répondre aux questions courantes des étudiants sur les forums de discussion des cours. Elle a évolué avec le modèle BERT de Google (2019) puis, depuis 2023-2025, vers une architecture de génération augmentée par récupération (RAG) fondée sur ChatGPT. Elle est actuellement déployée dans le cours d'IA de l'OMSCS de Georgia Tech et dans un cours d'anglais au Wiregrass Georgia Technical College, financée par l'institut AI-ALOE de la National Science Foundation des États-Unis et par la Fondation Gates.
Objectives
Automatiser les réponses aux questions courantes de logistique de cours pour les enseignants et assistants d'enseignement, tout en maintenant la transparence en révélant l'identité de l'IA aux étudiants, et tester si les réponses assistées par IA améliorent la précision et la sécurité par rapport à des assistants génériques basés sur ChatGPT dans des salles de classe réelles.
Activities
Le système a été entraîné sur environ 40 000 publications historiques des forums du cours Knowledge-Based AI de Georgia Tech, et son taux de certitude des réponses a été surveillé avant que son identité ne soit révélée aux étudiants en avril 2016. Depuis 2023, l'équipe a reconstruit Jill Watson sur une architecture RAG fondée sur ChatGPT et l'a comparée à un assistant OpenAI générique, en évaluant la précision et les taux d'erreurs nuisibles sur deux domaines universitaires, ainsi qu'en comparant les résultats scolaires entre cohortes avec et sans accès à l'outil.
Results
Un article évalué par des pairs présenté à la conférence AIED 2024 et une étude de Georgia Tech de septembre 2025, corroborés sur deux domaines universitaires, rapportent que Jill Watson atteint une précision de réponse de 75-97% contre environ 30% pour un assistant OpenAI générique, avec des taux d'erreurs nuisibles de 2,7-5,7% contre 14,4-16,5% pour l'assistant de référence. Une comparaison en classe a montré que les étudiants ayant accès à Jill Watson obtenaient davantage de notes A (66% contre 62%) et moins de notes C (3% contre 7%) que ceux n'y ayant pas accès.
Conclusions
Jill Watson fonctionne en continu depuis 2016 avec une transparence totale sur son identité d'IA, mais le déploiement confirmé reste limité à deux établissements ; un partenariat prévu avec Wiley & Sons, destiné à étendre son usage à davantage de classes, n'avait pas encore été lancé mi-2026.
Implementation
Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums
Conditions for success
Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
Full disclosure of the AI's identity to students to maintain trust
A large corpus of historical course Q&A data to train and ground the system
Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)
Common failure modes
Confirmed deployment has remained limited to only two institutions for years
Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026
Where it fits
Governance type
university research lab / higher-education institution
Scale
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Income level
high-income (United States)
Data sources
Where this practice's information was retrieved from, and when.
IDB/Elige Educar WhatsApp AI chatbot for career guidance to Chilean secondary students. Pre-registered RCT (43,000+ students, 2024–25): AI raised initiation …