evidoria

← Back to browse

Good practice

Jill Watson — a assistente virtual de ensino com IA do Georgia Tech para gestão administrativa de cursos

United States of America · Atlanta · See the United States of America profile

A Jill Watson, do Georgia Tech, é uma assistente de ensino com IA ativa desde 2016 que responde a perguntas de logística de cursos online. Um estudo de 2024 mediu 75-97% de precisão, face a 30% de um ChatGPT simples; implementação confirmada limitada a duas instituições.

75-97 %
Precisão de resposta do Jill Watson (2024-2025)
~30 %
Precisão de resposta de um assistente genérico ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Taxa de erro prejudicial do Jill Watson (2024-2025)
14.4-16.5 %
Taxa de erro prejudicial de um assistente genérico (2024-2025)
66 %
Notas A entre estudantes com acesso ao Jill Watson
62 %
Notas A entre estudantes sem acesso ao Jill Watson
3 %
Notas C entre estudantes com acesso ao Jill Watson
7 %
Notas C entre estudantes sem acesso ao Jill Watson
40,000 postings
Publicações históricas de fóruns usadas para treino (2016)
97 %
Certeza de resposta atingida durante o semestre (2016)
300 students
Estudantes inscritos no curso original de 2016 (2016)
600+ students
Estudantes na atual implementação do curso de IA do OMSCS
Jill Watson — a assistente virtual de ensino com IA do Georgia Tech para gestão administrativa de cursos

Details

Maturity
Established
Promoter
Georgia Institute of Technology (Design Intelligence Lab)
Period
2016–present
Keywords
higher education, virtual teaching assistant, online learning, natural language processing

Context

O Jill Watson, da Georgia Tech, é um assistente de ensino virtual com IA desenvolvido desde 2016 pelo Design Intelligence Lab de Ashok Goel, inicialmente construído sobre o IBM Watson para responder a perguntas rotineiras dos estudantes nos fóruns de discussão dos cursos. Evoluiu através do modelo BERT da Google (2019) e, desde 2023-2025, para uma arquitetura de geração aumentada por recuperação (RAG) assente no ChatGPT. Está atualmente implementado no curso de IA do OMSCS da Georgia Tech e num curso de inglês no Wiregrass Georgia Technical College, financiado pelo instituto AI-ALOE da National Science Foundation dos EUA e pela Fundação Gates.

Objectives

Automatizar as respostas a questões rotineiras de logística dos cursos para professores e assistentes de ensino, mantendo a transparência ao revelar a identidade da IA aos estudantes, e testar se a resposta assistida por IA melhora a precisão e a segurança em relação a assistentes genéricos baseados em ChatGPT em salas de aula reais.

Activities

O sistema foi treinado com cerca de 40.000 publicações históricas de fóruns do curso de Knowledge-Based AI da Georgia Tech, e a sua certeza de resposta foi monitorizada antes de a sua identidade ser revelada aos estudantes em abril de 2016. Desde 2023, a equipa reconstruiu o Jill Watson numa arquitetura RAG assente no ChatGPT e comparou-o com um assistente genérico da OpenAI, avaliando a precisão e as taxas de erro prejudicial em dois domínios universitários, além de comparar os resultados académicos entre turmas com e sem acesso à ferramenta.

Results

Um artigo revisto por pares apresentado na conferência AIED de 2024 e um estudo da Georgia Tech de setembro de 2025, corroborados em dois domínios universitários, relatam que o Jill Watson atinge uma precisão de resposta de 75-97% face a cerca de 30% de um assistente genérico da OpenAI, com taxas de erro prejudicial de 2,7-5,7% face a 14,4-16,5% do assistente de referência. Uma comparação em sala de aula constatou que os estudantes com acesso ao Jill Watson obtiveram mais notas A (66% vs 62%) e menos notas C (3% vs 7%) do que os que não tinham acesso.

Conclusions

O Jill Watson tem funcionado continuamente desde 2016 com total transparência sobre a sua identidade enquanto IA, mas a implementação confirmada continua limitada a duas instituições; uma parceria planeada com a Wiley & Sons, destinada a alargar o seu uso a mais turmas, ainda não tinha sido lançada em meados de 2026.

Implementation

Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums

Conditions for success

  • Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
  • Full disclosure of the AI's identity to students to maintain trust
  • A large corpus of historical course Q&A data to train and ground the system
  • Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)

Common failure modes

  • Confirmed deployment has remained limited to only two institutions for years
  • Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026

Where it fits

Governance type
university research lab / higher-education institution
Scale
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Income level
high-income (United States)

Data sources

Where this practice's information was retrieved from, and when.

Attachments

Similar practices you may find useful