Avaliação da CDA-AMC sobre ferramentas de IA para síntese de evidência em avaliação de tecnologias de saúde

A Agência Canadiana de Medicamentos (CDA-AMC, anteriormente CADTH) incumbiu a sua equipa de Serviços de Informação de Investigação de avaliar três ferramentas de pesquisa bibliográfica e síntese de evidência assistidas por IA — Lens.org, SpiderCite e Microsoft Copilot (GPT-4) — em comparação com os métodos-padrão de pesquisa para revisões sistemáticas, no âmbito do trabalho de Avaliação de Tecnologias de Saúde (HTA) que sustenta as recomendações de reembolso de medicamentos e tecnologias do Canadá.

Avaliar se as ferramentas de pesquisa assistidas por IA conseguem igualar o desempenho da pesquisa manual em revisões sistemáticas para a síntese de evidência em HTA.

Uma comparação retrospetiva em 7 projetos de HTA concluídos pela agência (agosto-novembro de 2024) avaliou a recuperação (recall) e o tempo de pesquisa de cada ferramenta de IA face à pesquisa manual de referência. Os resultados foram publicados como um estudo comparativo revisto por pares e incorporados numa declaração de posição oficial da CDA-AMC sobre o uso de IA em HTA.

A pesquisa manual de referência alcançou uma recuperação/sensibilidade de 0,986, contra 0,676 para o Lens.org, aproximadamente 0,23-0,26 para o SpiderCite, e 0,244 para o Copilot. O tempo de pesquisa caiu de uma média de 2,88 horas para a pesquisa manual até apenas 0,96 horas para o Copilot.

A conclusão da agência é cautelosa e não promocional: cada ferramenta foi considerada 'adequada à finalidade' apenas em papéis de apoio restritos — por exemplo, o Copilot para o brainstorming de estratégias de pesquisa — e explicitamente não como substituto da pesquisa sistemática padrão em tópicos complexos de HTA.