O Detetor de Armas com IA da Evolv Falha em Utica Antes de um Esfaqueamento e Leva a um Acordo com a FTC

A Thomas R. Proctor High School, no distrito escolar de Utica, Nova Iorque, instalou os scanners de deteccao de armas com IA 'Evolv Express' da Evolv Technologies por cerca de 3,7 milhoes de dolares, substituindo os detetores de metais tradicionais com a promessa de que modelos de aprendizagem automatica poderiam distinguir de forma fiavel armas de objetos inofensivos.

Em 31 de outubro de 2022, um aluno de 17 anos passou pelo scanner sem ser detetado com uma faca de caca e esfaqueou outro aluno. Os administradores de Utica desativaram o sistema Evolv e voltaram a usar detetores de metais convencionais, gastando cerca de 250.000 dolares adicionais para remover e substituir o equipamento.

Reportagens documentaram falhas de deteccao semelhantes e taxas elevadas de falsos alarmes (testes independentes citaram taxas de ate 60% em algumas escolas) noutros distritos escolares dos EUA que usavam a mesma tecnologia, de um total de mais de 800 escolas em cerca de 40 estados onde os scanners da Evolv tinham sido instalados.

Entre novembro e dezembro de 2024, a Comissao Federal do Comercio dos EUA (FTC) chegou a um acordo com a Evolv, concluindo que a empresa tinha enganado escolas ao afirmar que a sua IA podia detetar 'todas' as armas de forma mais precisa e economica do que os detetores de metais, quando os testes internos e independentes nao sustentavam essas alegacoes. O acordo proibiu alegacoes de deteccao por IA sem fundamento no futuro e permitiu que um subconjunto de clientes K-12 (cerca de 8% da base total de clientes da empresa) cancelasse os prazos de contrato restantes, sem multa. O caso e um raro exemplo de um regulador nacional a sancionar formalmente um fornecedor de IA por exagerar as capacidades de um produto de seguranca escolar, embora os remedios do acordo tenham sido limitados e centenas de escolas tenham, segundo reportagens, continuado a usar os scanners da Evolv depois disso.