evidoria

← Retour à la liste

Good practice

Jill Watson — l'assistante d'enseignement virtuelle IA de Georgia Tech pour l'administration des cours

États-Unis d'Amérique · Atlanta · Voir le profil de États-Unis d'Amérique

Jill Watson, de Georgia Tech, est une assistante d'enseignement IA active depuis 2016 qui répond aux questions de logistique de cours en ligne. Une étude de 2024 a mesuré 75-97 % de précision, contre 30 % pour un simple ChatGPT ; déploiement confirmé limité à deux établissements.

75-97 %
Précision de réponse de Jill Watson (2024-2025)
~30 %
Précision de réponse d'un assistant générique ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Taux d'erreurs nuisibles de Jill Watson (2024-2025)
14.4-16.5 %
Taux d'erreurs nuisibles d'un assistant générique (2024-2025)
66 %
Notes A parmi les étudiants ayant accès à Jill Watson
62 %
Notes A parmi les étudiants sans accès à Jill Watson
3 %
Notes C parmi les étudiants ayant accès à Jill Watson
7 %
Notes C parmi les étudiants sans accès à Jill Watson
40,000 postings
Publications historiques de forums utilisées pour l'entraînement (2016)
97 %
Certitude de réponse atteinte au cours du semestre (2016)
300 students
Étudiants inscrits au cours original de 2016 (2016)
600+ students
Étudiants dans le déploiement actuel du cours d'IA de l'OMSCS
Jill Watson — l'assistante d'enseignement virtuelle IA de Georgia Tech pour l'administration des cours

Détails

Maturité
Established
Promoteur
Georgia Institute of Technology (Design Intelligence Lab)
Période
2016–present
Mots-clés
higher education, virtual teaching assistant, online learning, natural language processing

Contexte

Jill Watson, de Georgia Tech, est une assistante pédagogique virtuelle dotée d'IA, développée depuis 2016 par le Design Intelligence Lab d'Ashok Goel, initialement construite sur IBM Watson pour répondre aux questions courantes des étudiants sur les forums de discussion des cours. Elle a évolué avec le modèle BERT de Google (2019) puis, depuis 2023-2025, vers une architecture de génération augmentée par récupération (RAG) fondée sur ChatGPT. Elle est actuellement déployée dans le cours d'IA de l'OMSCS de Georgia Tech et dans un cours d'anglais au Wiregrass Georgia Technical College, financée par l'institut AI-ALOE de la National Science Foundation des États-Unis et par la Fondation Gates.

Objectifs

Automatiser les réponses aux questions courantes de logistique de cours pour les enseignants et assistants d'enseignement, tout en maintenant la transparence en révélant l'identité de l'IA aux étudiants, et tester si les réponses assistées par IA améliorent la précision et la sécurité par rapport à des assistants génériques basés sur ChatGPT dans des salles de classe réelles.

Activités

Le système a été entraîné sur environ 40 000 publications historiques des forums du cours Knowledge-Based AI de Georgia Tech, et son taux de certitude des réponses a été surveillé avant que son identité ne soit révélée aux étudiants en avril 2016. Depuis 2023, l'équipe a reconstruit Jill Watson sur une architecture RAG fondée sur ChatGPT et l'a comparée à un assistant OpenAI générique, en évaluant la précision et les taux d'erreurs nuisibles sur deux domaines universitaires, ainsi qu'en comparant les résultats scolaires entre cohortes avec et sans accès à l'outil.

Résultats

Un article évalué par des pairs présenté à la conférence AIED 2024 et une étude de Georgia Tech de septembre 2025, corroborés sur deux domaines universitaires, rapportent que Jill Watson atteint une précision de réponse de 75-97% contre environ 30% pour un assistant OpenAI générique, avec des taux d'erreurs nuisibles de 2,7-5,7% contre 14,4-16,5% pour l'assistant de référence. Une comparaison en classe a montré que les étudiants ayant accès à Jill Watson obtenaient davantage de notes A (66% contre 62%) et moins de notes C (3% contre 7%) que ceux n'y ayant pas accès.

Conclusions

Jill Watson fonctionne en continu depuis 2016 avec une transparence totale sur son identité d'IA, mais le déploiement confirmé reste limité à deux établissements ; un partenariat prévu avec Wiley & Sons, destiné à étendre son usage à davantage de classes, n'avait pas encore été lancé mi-2026.

Mise en œuvre

Coût indicatif
Medium (€50k–€500k)
Délai jusqu’aux résultats
Long (> 3 years)
Personnel et compétences
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums

Conditions de réussite

  • Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
  • Full disclosure of the AI's identity to students to maintain trust
  • A large corpus of historical course Q&A data to train and ground the system
  • Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)

Modes d’échec courants

  • Confirmed deployment has remained limited to only two institutions for years
  • Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026

Où cela s’applique

Type de gouvernance
university research lab / higher-education institution
Échelle
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Niveau de revenu
high-income (United States)

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles