L'outil de présélection par apprentissage automatique de la NYU Grossman School of Medicine pour les candidatures en médecine

La NYU Grossman School of Medicine a développé un outil d'apprentissage automatique pour aider à trier les quelque 14 500 candidatures reçues à chaque cycle d'admission, un processus qui mobilisait auparavant plus de 6 000 heures de travail du corps enseignant par an. Le modèle a été entraîné sur 14 555 candidatures de 2013-2017 et les décisions de tri humaines prises par le corps enseignant sur celles-ci.

L'outil visait à réduire la charge de tri du corps enseignant tout en produisant des recommandations d'entretien statistiquement comparables à celles des évaluateurs humains, sans remplacer le jugement humain dans les décisions finales.

Le modèle est passé par une validation par étapes : validation rétrospective sur 2 910 candidatures, validation prospective sur 2 715 candidatures lors du cycle 2018, puis enfin un essai randomisé formel lors du cycle 2019 répartissant 3 700 candidatures entre un tri par le seul corps enseignant et un tri assisté par algorithme. Il ne lit que des données structurées — pas les lettres de motivation ni les recommandations — et son résultat reste une recommandation revue par des humains, pas une décision finale.

Publié dans la revue à comité de lecture Academic Medicine, l'essai randomisé n'a trouvé aucune différence statistiquement significative entre les taux de recommandation d'entretien de l'algorithme et du corps enseignant dans l'ensemble, y compris pour les candidats sous-représentés en médecine (61 sur 65 contre 70 sur 71 recommandés, P=,14) et les candidates (220 sur 227 contre 224 sur 229, P=,55). Le même essai a révélé un écart statistiquement significatif pour les candidats économiquement défavorisés : l'algorithme a recommandé 25 candidats sur 156 pour un entretien, contre 44 sur 178 recommandés par le corps enseignant (P=,048).

Les auteurs indiquent explicitement qu'un modèle entraîné sur des décisions humaines passées hérite « par définition » des biais du corps enseignant qui les a prises, qu'il ne lit que des données structurées, et que son résultat reste une recommandation revue par des humains, non une décision finale — l'écart concernant les candidats économiquement défavorisés est une réserve d'équité authentique et assumée, non un défaut dissimulé.