Evaluación de CDA-AMC de herramientas de IA para la síntesis de evidencia en evaluación de tecnologías sanitarias

La Agencia Canadiense de Medicamentos (CDA-AMC, anteriormente CADTH) encargó a su equipo de Servicios de Información de Investigación evaluar tres herramientas de búsqueda bibliográfica y síntesis de evidencia asistidas por IA — Lens.org, SpiderCite y Microsoft Copilot (GPT-4) — frente a los métodos estándar de búsqueda para revisiones sistemáticas, en el marco del trabajo de Evaluación de Tecnologías Sanitarias (HTA) que sustenta las recomendaciones de reembolso de medicamentos y tecnologías en Canadá.

Evaluar si las herramientas de búsqueda asistidas por IA pueden igualar el rendimiento de la búsqueda manual de revisiones sistemáticas para la síntesis de evidencia en HTA.

Una comparación retrospectiva en 7 proyectos de HTA completados por la agencia (agosto-noviembre de 2024) evaluó la recuperación (recall) y el tiempo de búsqueda de cada herramienta de IA frente a la búsqueda manual de referencia. Los resultados se publicaron como un estudio comparativo revisado por pares y se incorporaron a una declaración de postura oficial de la CDA-AMC sobre el uso de IA en HTA.

La búsqueda manual de referencia logró una recuperación/sensibilidad de 0,986, frente a 0,676 para Lens.org, aproximadamente 0,23-0,26 para SpiderCite, y 0,244 para Copilot. El tiempo de búsqueda se redujo de una media de 2,88 horas para la búsqueda manual a solo 0,96 horas para Copilot.

La conclusión de la agencia es cautelosa, no promocional: cada herramienta se consideró 'apta para el propósito' únicamente en funciones de apoyo limitadas — por ejemplo, Copilot para la lluvia de ideas sobre estrategias de búsqueda — y explícitamente no como sustituto de la búsqueda sistemática estándar en temas complejos de HTA.