evidoria

← Voltar à navegação

Boa prática Importada

O Projeto-Piloto de Detetação de Vulnerabilidades com IA da CISA — Testar se as Ferramentas de IA Realmente Melhoram a Caça a Ameaças Cibernéticas Federais

Estados Unidos da América · Arlington · Ver o perfil de Estados Unidos da América

Evidência: Quase-experimental Top 36% 67/100 · Pergunte a Evidence Copilot sobre esta prática

Num projeto-piloto operacional de 2023–24, determinado por uma diretiva presidencial sobre IA, a CISA comparou ferramentas de detetação de vulnerabilidades baseadas em IA/LLM com os seus métodos existentes em redes federais reais — e concluiu que os ganhos eram muitas vezes negligenciáveis, sem uma vantagem clara para a IA.

Detalhes

Maturidade
Piloto
Promotor
Cybersecurity and Infrastructure Security Agency (CISA)
Período
2023–2024
Palavras-chave
cybersecurity, critical infrastructure, vulnerability management, homeland security

Contexto

A Agência de Segurança Cibernética e de Infraestruturas dos EUA (CISA) realizou um projeto-piloto operacional entre o final de 2023 e o início de 2024, para testar se ferramentas de deteção de vulnerabilidades baseadas em IA e em grandes modelos de linguagem (LLM) disponíveis comercialmente superam os métodos de deteção existentes, não baseados em IA, da própria CISA. O projeto-piloto combinou avaliações de segurança em redes reais de parceiros federais com testes num ambiente controlado, avaliando produtos de IA disponíveis até 31 de dezembro de 2023, com prioridade para as ferramentas mais recentes baseadas em LLM.

Objetivos

O projeto-piloto foi determinado ao abrigo de uma diretiva presidencial sobre IA e segurança das infraestruturas críticas, exigindo que a CISA apresentasse as suas conclusões ao Departamento de Segurança Interna (DHS).

Atividades

A CISA apresentou as suas conclusões ao Departamento de Segurança Interna em 26 de julho de 2024.

Resultados

O relatório concluiu que, atualmente, a IA funciona melhor como complemento das ferramentas de deteção de vulnerabilidades existentes do que como substituto destas: em alguns casos, o tempo necessário para os analistas aprenderem as novas capacidades de IA foi considerável, enquanto a melhoria resultante na deteção foi negligenciável, e as ferramentas de IA podiam comportar-se de forma imprevisível e difícil de diagnosticar.

Conclusões

A CISA afirmou que continuaria a monitorizar e a testar produtos de deteção de vulnerabilidades baseados em IA à medida que o mercado amadurece, em vez de os adotar em larga escala com base neste projeto-piloto. As conclusões constituem um exemplo raro de uma avaliação governamental de IA que publica um resultado inconclusivo e cauteloso, em vez de uma narrativa de sucesso.

Implementação
Custo indicativo
Baixo (< 50 mil €) — Operational pilot conducted with existing agency resources and commercially available AI products; no separate budget figure published.
Tempo até resultados
Curto (< 1 ano) — Ran from late 2023 to early 2024; findings delivered to DHS on 26 July 2024.
Equipa e competências
Cybersecurity and Infrastructure Security Agency (CISA), Federal partner network operators, Department of Homeland Security (recipient of findings)

Condições de sucesso

  • Testing AI tools against an existing non-AI baseline on real production networks, not only synthetic tests
  • Willingness to publish an inconclusive/negative finding rather than only favourable results

Modos de falha comuns

  • Time analysts needed to learn new AI tools was substantial while detection improvement was often negligible
  • AI tools could behave unpredictably in ways difficult to troubleshoot

Habitualmente financiado por

National / regional programmes

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Práticas semelhantes que podem ser úteis