Robodebt — le système australien automatisé de dettes d'aide sociale et la Commission Royale

Le dispositif Robodebt (juillet 2016 – mai 2020) était géré par Services Australia (alors Department of Human Services) pour détecter automatiquement de prétendus trop-perçus de prestations de sécurité sociale. Le système croisait les dossiers des bénéficiaires du Centrelink avec des données de revenu annuel moyen de l'Australian Taxation Office, divisant le revenu annuel déclaré d'un bénéficiaire en estimations quinzomadaires pour déduire des revenus non déclarés — une méthode valable pour environ 7 % seulement des bénéficiaires de prestations sociales, mais appliquée de manière universelle sans contrôle humain.

L'objectif affiché du dispositif était de détecter et de recouvrer automatiquement, à grande échelle, de prétendus trop-perçus de prestations sociales, en remplaçant le contrôle humain au cas par cas par un algorithme de moyennage appliqué à l'ensemble des dossiers.

L'algorithme a émis environ 470 000 avis de dette automatisés, totalisant 1,75 milliard d'AUD. Les bénéficiaires — souvent au chômage, en situation de handicap ou en difficulté financière — devaient prouver eux-mêmes que les dettes étaient erronées, souvent sans accès aux données de revenu d'origine.

Une Cour fédérale a approuvé un règlement d'action collective de 1,2 milliard d'AUD en novembre 2020 (1,872 milliard d'AUD au total, frais juridiques inclus) ; le gouvernement a simultanément annulé 1,75 milliard d'AUD de dettes. La Commission royale sur le dispositif Robodebt (août 2022 – juillet 2023) a conclu que le dispositif constituait « un échec coûteux de l'administration publique, tant sur le plan humain qu'économique », qualifiant le mécanisme automatisé de « grossier, cruel, ni juste ni légal ». Les commissaires ont documenté 663 bénéficiaires de prestations sociales décédés peu après avoir reçu un avis de dette automatisé, et ont formulé 57 recommandations sur le contrôle humain, le droit de la décision automatisée, la gouvernance des données interagences et la redevabilité.

Le dispositif a été abandonné en mai 2020 après que le gouvernement a reconnu devant les tribunaux son caractère illégal. Amnesty International a cité Robodebt dans un rapport de 2023 sur les systèmes automatisés de profilage des risques comme étude de cas de préjudice à grande échelle causé par la suppression du contrôle humain, et le cas est aujourd'hui largement utilisé dans les cursus d'éthique de l'IA et d'administration publique comme une leçon de prudence sur l'application algorithmique opaque et sans intervention humaine.