evidoria

← Back to browse

Good practice

Évaluation par la CDA-AMC d'outils d'IA pour la synthèse de données probantes en évaluation des technologies de la santé

Canada · Ottawa · See the Canada profile

L'Agence des médicaments du Canada a mené une comparaison évaluée par des pairs, portant sur 7 projets, entre Lens.org, SpiderCite et Microsoft Copilot face à la recherche manuelle pour la synthèse de données probantes liées au remboursement des médicaments, concluant que les trois outils d'IA repéraient nettement moins d'études pertinentes que des chercheurs formés.

0.986
Rappel/sensibilité, recherche manuelle (7 HTA projects, Aug-Nov 2024)
0.676
Rappel/sensibilité, Lens.org (7 HTA projects, Aug-Nov 2024)
0.23-0.26
Rappel/sensibilité, SpiderCite (7 HTA projects, Aug-Nov 2024)
0.244
Rappel/sensibilité, Microsoft Copilot (GPT-4) (7 HTA projects, Aug-Nov 2024)
2.88 hours
Temps de recherche moyen, manuel
0.96 hours
Temps de recherche moyen minimal, Copilot

Details

Promoter
Canada's Drug Agency (CDA-AMC, formerly CADTH)
Period
2024–2025
Keywords
evidence synthesis, health technology assessment, AI tool evaluation, regulatory policy analysis, systematic review

Context

L'Agence des médicaments du Canada (CDA-AMC, anciennement ACMTS) a chargé son équipe de Services d'information de recherche d'évaluer trois outils de recherche documentaire et de synthèse de données probantes assistés par IA — Lens.org, SpiderCite et Microsoft Copilot (GPT-4) — par rapport aux méthodes de recherche standard des revues systématiques, dans le cadre des travaux d'évaluation des technologies de la santé (ETS) qui sous-tendent les recommandations de remboursement de médicaments et de technologies au Canada.

Objectives

Évaluer si les outils de recherche assistés par IA peuvent égaler la performance de la recherche manuelle des revues systématiques pour la synthèse de données probantes en ETS.

Activities

Une comparaison rétrospective portant sur 7 projets d'ETS achevés par l'agence (août-novembre 2024) a évalué le rappel de recherche et le temps de recherche de chaque outil d'IA par rapport à la recherche manuelle de référence. Les résultats ont été publiés sous forme d'étude comparative évaluée par des pairs et intégrés dans une déclaration de position officielle de la CDA-AMC sur l'utilisation de l'IA en ETS.

Results

La recherche manuelle de référence a atteint un rappel/une sensibilité de 0,986, contre 0,676 pour Lens.org, environ 0,23-0,26 pour SpiderCite, et 0,244 pour Copilot. Le temps de recherche est passé d'une moyenne de 2,88 heures pour la recherche manuelle à seulement 0,96 heure pour Copilot.

Conclusions

La conclusion de l'agence est prudente plutôt que promotionnelle : chaque outil a été jugé « adapté à l'usage » uniquement dans des rôles de soutien restreints — par exemple, Copilot pour le brainstorming de stratégies de recherche — et explicitement pas comme un remplacement de la recherche systématique standard sur des sujets d'ETS complexes.

Implementation

Implementation detail (cost, timeline, staffing, conditions for success) is not yet available for this practice.

Data sources

Where this practice's information was retrieved from, and when.

Similar practices you may find useful