A Jill Watson, do Georgia Tech, é uma assistente de ensino com IA ativa desde 2016 que responde a perguntas de logística de cursos online. Um estudo de 2024 mediu 75-97% de precisão, face a 30% de um ChatGPT simples; implementação confirmada limitada a duas instituições.
75-97 %
Precisão de resposta do Jill Watson (2024-2025)
~30 %
Precisão de resposta de um assistente genérico ChatGPT/OpenAI (2024-2025)
2.7-5.7 %
Taxa de erro prejudicial do Jill Watson (2024-2025)
14.4-16.5 %
Taxa de erro prejudicial de um assistente genérico (2024-2025)
66 %
Notas A entre estudantes com acesso ao Jill Watson
62 %
Notas A entre estudantes sem acesso ao Jill Watson
3 %
Notas C entre estudantes com acesso ao Jill Watson
7 %
Notas C entre estudantes sem acesso ao Jill Watson
40,000 postings
Publicações históricas de fóruns usadas para treino (2016)
97 %
Certeza de resposta atingida durante o semestre (2016)
300 students
Estudantes inscritos no curso original de 2016 (2016)
600+ students
Estudantes na atual implementação do curso de IA do OMSCS
Details
Maturity
Established
Promoter
Georgia Institute of Technology (Design Intelligence Lab)
Period
2016–present
Keywords
higher education, virtual teaching assistant, online learning, natural language processing
Context
O Jill Watson, da Georgia Tech, é um assistente de ensino virtual com IA desenvolvido desde 2016 pelo Design Intelligence Lab de Ashok Goel, inicialmente construído sobre o IBM Watson para responder a perguntas rotineiras dos estudantes nos fóruns de discussão dos cursos. Evoluiu através do modelo BERT da Google (2019) e, desde 2023-2025, para uma arquitetura de geração aumentada por recuperação (RAG) assente no ChatGPT. Está atualmente implementado no curso de IA do OMSCS da Georgia Tech e num curso de inglês no Wiregrass Georgia Technical College, financiado pelo instituto AI-ALOE da National Science Foundation dos EUA e pela Fundação Gates.
Objectives
Automatizar as respostas a questões rotineiras de logística dos cursos para professores e assistentes de ensino, mantendo a transparência ao revelar a identidade da IA aos estudantes, e testar se a resposta assistida por IA melhora a precisão e a segurança em relação a assistentes genéricos baseados em ChatGPT em salas de aula reais.
Activities
O sistema foi treinado com cerca de 40.000 publicações históricas de fóruns do curso de Knowledge-Based AI da Georgia Tech, e a sua certeza de resposta foi monitorizada antes de a sua identidade ser revelada aos estudantes em abril de 2016. Desde 2023, a equipa reconstruiu o Jill Watson numa arquitetura RAG assente no ChatGPT e comparou-o com um assistente genérico da OpenAI, avaliando a precisão e as taxas de erro prejudicial em dois domínios universitários, além de comparar os resultados académicos entre turmas com e sem acesso à ferramenta.
Results
Um artigo revisto por pares apresentado na conferência AIED de 2024 e um estudo da Georgia Tech de setembro de 2025, corroborados em dois domínios universitários, relatam que o Jill Watson atinge uma precisão de resposta de 75-97% face a cerca de 30% de um assistente genérico da OpenAI, com taxas de erro prejudicial de 2,7-5,7% face a 14,4-16,5% do assistente de referência. Uma comparação em sala de aula constatou que os estudantes com acesso ao Jill Watson obtiveram mais notas A (66% vs 62%) e menos notas C (3% vs 7%) do que os que não tinham acesso.
Conclusions
O Jill Watson tem funcionado continuamente desde 2016 com total transparência sobre a sua identidade enquanto IA, mas a implementação confirmada continua limitada a duas instituições; uma parceria planeada com a Wiley & Sons, destinada a alargar o seu uso a mais turmas, ainda não tinha sido lançada em meados de 2026.
Implementation
Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
Academic research team led by Ashok Goel's Design Intelligence Lab at the Georgia Institute of Technology, Course instructors and teaching assistants who integrate the assistant into course discussion forums
Conditions for success
Sustained multi-year research funding (US National Science Foundation's AI-ALOE institute, Gates Foundation)
Full disclosure of the AI's identity to students to maintain trust
A large corpus of historical course Q&A data to train and ground the system
Institutional willingness to migrate underlying model architectures over time (IBM Watson to BERT to a ChatGPT-based RAG system)
Common failure modes
Confirmed deployment has remained limited to only two institutions for years
Broader scale-up via the planned Wiley & Sons partnership had not launched as of mid-2026
Where it fits
Governance type
university research lab / higher-education institution
Scale
course-level, confirmed at two institutions (courses ranging from about 300 to 600+ students)
Income level
high-income (United States)
Data sources
Where this practice's information was retrieved from, and when.
IDB/Elige Educar WhatsApp AI chatbot for career guidance to Chilean secondary students. Pre-registered RCT (43,000+ students, 2024–25): AI raised initiation …