Safety at Screening Tool do Oregon — algoritmo de risco na proteção de crianças retirado em 2022 após o modelo de Allegheny revelar disparidade racial

A partir de 2018, o Departamento de Serviços Humanos do Oregon usou a Safety at Screening Tool, que gerava pontuações numéricas da probabilidade de uma criança ir para acolhimento ou ser de novo investigada, para ajudar os operadores da linha de denúncias a decidir que casos de abuso e negligência investigar. Os profissionais mantinham a decisão final. A ferramenta foi inspirada na Allegheny Family Screening Tool, da Pensilvânia.
Em abril de 2022, a Associated Press divulgou investigação da Universidade Carnegie Mellon sobre o algoritmo de Allegheny: teria recomendado a investigação de cerca de dois terços das crianças negras, contra cerca de metade das restantes. O Oregon afirmou que a sua ferramenta incluía uma «correção de equidade». Em maio de 2022, o DHS informou os funcionários de que deixaria de usar o algoritmo até ao fim de junho de 2022.
O motivo apresentado foi que a ferramenta preditiva não podia ser integrada no novo modelo de Structured Decision Making, baseado em informação específica da família; os responsáveis referiram também equidade e melhoria contínua. O senador Ron Wyden criticou publicamente o uso de «algoritmos não testados». Nas fontes consultadas não há avaliação independente da ferramenta do Oregon.
Lição: as agências que adotam modelos preditivos importados devem exigir validação local publicada e testes de disparidade antes da implementação, e planear a saída.