evidoria

← Retour à la liste

Bonne pratique Importée

Le projet pilote de détection des vulnérabilités par IA de la CISA — vérifier si les outils d'IA améliorent réellement la traque des cybermenaces fédérales

États-Unis d'Amérique · Arlington · Voir le profil de États-Unis d'Amérique

Preuves: Quasi expérimental Top 36% 67/100 · Demandez à Evidence Copilot à propos de cette pratique

Dans un projet pilote opérationnel mené en 2023-2024 sur ordre d'un décret présidentiel relatif à l'IA, la CISA a comparé des outils de détection de vulnérabilités basés sur l'IA/les LLM à ses méthodes existantes sur de vrais réseaux fédéraux — et a conclu que les gains étaient souvent négligeables, sans avantage net pour l'IA.

Détails

Maturité
Pilote
Promoteur
Cybersecurity and Infrastructure Security Agency (CISA)
Période
2023–2024
Mots-clés
cybersecurity, critical infrastructure, vulnerability management, homeland security

Contexte

L'Agence américaine de cybersécurité et de sécurité des infrastructures (CISA) a mené un projet pilote opérationnel de fin 2023 à début 2024 afin de déterminer si des outils de détection des vulnérabilités disponibles dans le commerce, fondés sur l'IA et les grands modèles de langage (LLM), surpassaient les méthodes de détection existantes de la CISA, non basées sur l'IA. Le pilote a combiné des évaluations de sécurité sur de véritables réseaux de partenaires fédéraux avec des tests menés dans un environnement contrôlé, en évaluant des produits d'IA disponibles au 31 décembre 2023, avec une priorité donnée aux outils les plus récents fondés sur les LLM.

Objectifs

Le projet pilote a été ordonné dans le cadre d'une directive présidentielle sur l'IA et la sécurité des infrastructures critiques, exigeant que la CISA transmette ses conclusions au Department of Homeland Security (DHS).

Activités

La CISA a transmis ses conclusions au Department of Homeland Security le 26 juillet 2024.

Résultats

Le rapport a conclu que l'IA fonctionne actuellement mieux en complément des outils de détection des vulnérabilités existants qu'en remplacement de ceux-ci : dans certains cas, le temps nécessaire aux analystes pour apprendre à utiliser les nouvelles capacités d'IA était considérable, alors que l'amélioration de la détection qui en résultait était négligeable, et les outils d'IA pouvaient se comporter de manière imprévisible et difficile à diagnostiquer.

Conclusions

La CISA a indiqué qu'elle continuerait à surveiller et à tester les produits de détection des vulnérabilités basés sur l'IA à mesure que le marché mûrit, plutôt que de les adopter à grande échelle sur la base de ce seul projet pilote. Ces conclusions constituent un exemple rare d'une évaluation gouvernementale de l'IA publiant un résultat non concluant et prudent plutôt qu'un récit de succès.

Mise en œuvre
Coût indicatif
Faible (< 50 k€) — Operational pilot conducted with existing agency resources and commercially available AI products; no separate budget figure published.
Délai jusqu’aux résultats
Court (< 1 an) — Ran from late 2023 to early 2024; findings delivered to DHS on 26 July 2024.
Personnel et compétences
Cybersecurity and Infrastructure Security Agency (CISA), Federal partner network operators, Department of Homeland Security (recipient of findings)

Conditions de réussite

  • Testing AI tools against an existing non-AI baseline on real production networks, not only synthetic tests
  • Willingness to publish an inconclusive/negative finding rather than only favourable results

Modes d’échec courants

  • Time analysts needed to learn new AI tools was substantial while detection improvement was often negligible
  • AI tools could behave unpredictably in ways difficult to troubleshoot

Habituellement financé par

National / regional programmes

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pratiques similaires qui pourraient vous être utiles