Safety at Screening Tool de l'Oregon — algorithme de risque en protection de l'enfance abandonné en 2022 après les disparités raciales du modèle d'Allegheny

À partir de 2018, le département des services humains de l'Oregon a utilisé la Safety at Screening Tool, qui produisait des scores estimant la probabilité qu'un enfant soit placé ou refasse l'objet d'une enquête, afin d'aider les opérateurs de la ligne de signalement à décider quels signalements de maltraitance et de négligence enquêter. Les agents conservaient la décision finale. L'outil s'inspirait de l'Allegheny Family Screening Tool de Pennsylvanie.
En avril 2022, l'Associated Press a rapporté des travaux de l'université Carnegie Mellon sur l'algorithme d'Allegheny : il aurait recommandé d'enquêter sur environ les deux tiers des enfants noirs, contre environ la moitié des autres enfants. L'Oregon affirmait que son outil comportait une « correction d'équité ». En mai 2022, le DHS a informé son personnel qu'il cesserait d'utiliser l'algorithme d'ici la fin juin 2022.
La raison avancée était que l'outil prédictif ne pouvait pas être intégré au nouveau modèle de Structured Decision Making, fondé sur des informations propres à la famille ; les responsables ont aussi évoqué l'équité et l'amélioration continue. Le sénateur Ron Wyden a critiqué l'usage d'« algorithmes non testés ». Aucune évaluation indépendante de l'outil de l'Oregon n'apparaît dans les sources consultées.
Enseignement : les agences qui importent des modèles prédictifs doivent exiger une validation locale publiée et des tests de disparité avant déploiement, et prévoir une porte de sortie.