evidoria

← Back to browse

Good practice

Jill Watson — l'assistante d'enseignement virtuelle IA de Georgia Tech pour l'administration des cours

United States of America · Atlanta · See the United States of America profile

Jill Watson, de Georgia Tech, est une assistante d'enseignement IA active depuis 2016 qui répond aux questions de logistique de cours en ligne. Une étude de 2024 a mesuré 75-97 % de précision, contre 30 % pour un simple ChatGPT ; déploiement confirmé limité à deux établissements.

75-97 %
Précision de réponse de Jill Watson (2024-2025)
~30 %
Précision de réponse d'un assistant générique ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Taux d'erreurs nuisibles de Jill Watson (2024-2025)
14.4-16.5 %
Taux d'erreurs nuisibles d'un assistant générique (2024-2025)
66 %
Notes A parmi les étudiants ayant accès à Jill Watson
62 %
Notes A parmi les étudiants sans accès à Jill Watson
3 %
Notes C parmi les étudiants ayant accès à Jill Watson
7 %
Notes C parmi les étudiants sans accès à Jill Watson
40,000 postings
Publications historiques de forums utilisées pour l'entraînement (2016)
97 %
Certitude de réponse atteinte au cours du semestre (2016)
300 students
Étudiants inscrits au cours original de 2016 (2016)
600+ students
Étudiants dans le déploiement actuel du cours d'IA de l'OMSCS
Jill Watson — l'assistante d'enseignement virtuelle IA de Georgia Tech pour l'administration des cours

Details

Maturity
Established
Promoter
Georgia Institute of Technology (Design Intelligence Lab)
Period
2016–present
Keywords
higher education, virtual teaching assistant, online learning, natural language processing

Context

Jill Watson, de Georgia Tech, est une assistante pédagogique virtuelle dotée d'IA, développée depuis 2016 par le Design Intelligence Lab d'Ashok Goel, initialement construite sur IBM Watson pour répondre aux questions courantes des étudiants sur les forums de discussion des cours. Elle a évolué avec le modèle BERT de Google (2019) puis, depuis 2023-2025, vers une architecture de génération augmentée par récupération (RAG) fondée sur ChatGPT. Elle est actuellement déployée dans le cours d'IA de l'OMSCS de Georgia Tech et dans un cours d'anglais au Wiregrass Georgia Technical College, financée par l'institut AI-ALOE de la National Science Foundation des États-Unis et par la Fondation Gates.

Objectives

Automatiser les réponses aux questions courantes de logistique de cours pour les enseignants et assistants d'enseignement, tout en maintenant la transparence en révélant l'identité de l'IA aux étudiants, et tester si les réponses assistées par IA améliorent la précision et la sécurité par rapport à des assistants génériques basés sur ChatGPT dans des salles de classe réelles.

Activities

Le système a été entraîné sur environ 40 000 publications historiques des forums du cours Knowledge-Based AI de Georgia Tech, et son taux de certitude des réponses a été surveillé avant que son identité ne soit révélée aux étudiants en avril 2016. Depuis 2023, l'équipe a reconstruit Jill Watson sur une architecture RAG fondée sur ChatGPT et l'a comparée à un assistant OpenAI générique, en évaluant la précision et les taux d'erreurs nuisibles sur deux domaines universitaires, ainsi qu'en comparant les résultats scolaires entre cohortes avec et sans accès à l'outil.

Results

Un article évalué par des pairs présenté à la conférence AIED 2024 et une étude de Georgia Tech de septembre 2025, corroborés sur deux domaines universitaires, rapportent que Jill Watson atteint une précision de réponse de 75-97% contre environ 30% pour un assistant OpenAI générique, avec des taux d'erreurs nuisibles de 2,7-5,7% contre 14,4-16,5% pour l'assistant de référence. Une comparaison en classe a montré que les étudiants ayant accès à Jill Watson obtenaient davantage de notes A (66% contre 62%) et moins de notes C (3% contre 7%) que ceux n'y ayant pas accès.

Conclusions

Jill Watson fonctionne en continu depuis 2016 avec une transparence totale sur son identité d'IA, mais le déploiement confirmé reste limité à deux établissements ; un partenariat prévu avec Wiley & Sons, destiné à étendre son usage à davantage de classes, n'avait pas encore été lancé mi-2026.

Implementation

Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums

Conditions for success

  • Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
  • Full disclosure of the AI's identity to students to maintain trust
  • A large corpus of historical course Q&A data to train and ground the system
  • Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)

Common failure modes

  • Confirmed deployment has remained limited to only two institutions for years
  • Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026

Where it fits

Governance type
university research lab / higher-education institution
Scale
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Income level
high-income (United States)

Data sources

Where this practice's information was retrieved from, and when.

Attachments

Similar practices you may find useful