El proyecto piloto de detección de vulnerabilidades con IA de la CISA — Comprobar si las herramientas de IA realmente mejoran la caza de ciberamenazas federales
En un piloto operativo de 2023–24, ordenado por una directiva presidencial sobre IA, la CISA comparó herramientas de detección de vulnerabilidades basadas en IA/LLM con sus métodos existentes en redes federales reales, y concluyó que las mejoras eran a menudo insignificantes, sin una ventaja clara para la IA.
Detalles
Madurez
Piloto
Promotor
Cybersecurity and Infrastructure Security Agency (CISA)
La Agencia de Seguridad de Ciberseguridad e Infraestructura de EE. UU. (CISA) llevó a cabo un proyecto piloto operativo entre finales de 2023 y principios de 2024 para comprobar si las herramientas de detección de vulnerabilidades basadas en IA y en grandes modelos de lenguaje (LLM) disponibles comercialmente superaban a los métodos de detección existentes de la propia CISA, no basados en IA. El piloto combinó evaluaciones de seguridad en redes reales de socios federales con pruebas en un entorno controlado, evaluando productos de IA disponibles a 31 de diciembre de 2023, dando prioridad a las herramientas más recientes basadas en LLM.
Objetivos
El proyecto piloto se ordenó en virtud de una directiva presidencial sobre IA y seguridad de infraestructuras críticas, que exigía a la CISA entregar sus conclusiones al Departamento de Seguridad Nacional (DHS).
Actividades
La CISA entregó sus conclusiones al Departamento de Seguridad Nacional el 26 de julio de 2024.
Resultados
El informe concluyó que, actualmente, la IA funciona mejor como complemento de las herramientas de detección de vulnerabilidades existentes que como sustituto de estas: en algunos casos, el tiempo que los analistas necesitaban para aprender las nuevas capacidades de IA era considerable, mientras que la mejora resultante en la detección era insignificante, y las herramientas de IA podían comportarse de forma impredecible y difícil de diagnosticar.
Conclusiones
La CISA declaró que continuaría supervisando y probando productos de detección de vulnerabilidades basados en IA a medida que el mercado madura, en lugar de adoptarlos a gran escala basándose únicamente en este proyecto piloto. Las conclusiones constituyen un ejemplo poco frecuente de una evaluación gubernamental de IA que publica un resultado no concluyente y cauteloso, en lugar de un relato de éxito.
Implementación
Coste indicativo
Bajo (< 50 000 €) — Operational pilot conducted with existing agency resources and commercially available AI products; no separate budget figure published.
Tiempo hasta resultados
Corto (< 1 año) — Ran from late 2023 to early 2024; findings delivered to DHS on 26 July 2024.
Personal y competencias
Cybersecurity and Infrastructure Security Agency (CISA), Federal partner network operators, Department of Homeland Security (recipient of findings)
Condiciones para el éxito
Testing AI tools against an existing non-AI baseline on real production networks, not only synthetic tests
Willingness to publish an inconclusive/negative finding rather than only favourable results
Modos de fallo comunes
Time analysts needed to learn new AI tools was substantial while detection improvement was often negligible
AI tools could behave unpredictably in ways difficult to troubleshoot
Habitualmente financiado por
National / regional programmes
Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.
¿Usted implementa esta práctica?
Reivindíquela —
los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
Fuentes de datos
De dónde se obtuvo la información de esta práctica, y cuándo.