evidoria

← Retour à la liste

Good practice

Robodebt — le système australien automatisé de dettes d'aide sociale et la Commission Royale

Australie · Canberra · Voir le profil de Australie

L'algorithme de Services Australia (2016–2020) a illégalement imputé AU$1,75 milliard de dettes à environ 470 000 allocataires. La Commission Royale de 2023 a jugé le dispositif illégal, aboutissant à un règlement de AU$1,2 milliard et 57 recommandations de gouvernance.

~470,000 notices
Avis de dette automatisés émis (2016-2020)
1.75 AUD billion
Dette totale réclamée (2016-2020)
1.2 AUD billion
Règlement d'action collective approuvé par la Cour fédérale (November 2020)
1.872 AUD billion
Règlement total, frais juridiques inclus (November 2020)
663 people
Bénéficiaires de prestations sociales décédés peu après avoir reçu un avis de dette (constat de la Commission royale) (scheme period, per Royal Commission)
57 recommendations
Recommandations émises par la Commission royale (July 2023)
~7 %
Part des bénéficiaires pour lesquels la méthode de moyennage était méthodologiquement valable (methodology assessment)

Détails

Maturité
Discontinued
Promoteur
Services Australia (formerly Department of Human Services)
Période
2016–2020
Mots-clés
automated decision-making, welfare compliance, income averaging, data matching, Centrelink, cautionary case

Contexte

Le dispositif Robodebt (juillet 2016 – mai 2020) était géré par Services Australia (alors Department of Human Services) pour détecter automatiquement de prétendus trop-perçus de prestations de sécurité sociale. Le système croisait les dossiers des bénéficiaires du Centrelink avec des données de revenu annuel moyen de l'Australian Taxation Office, divisant le revenu annuel déclaré d'un bénéficiaire en estimations quinzomadaires pour déduire des revenus non déclarés — une méthode valable pour environ 7 % seulement des bénéficiaires de prestations sociales, mais appliquée de manière universelle sans contrôle humain.

Objectifs

L'objectif affiché du dispositif était de détecter et de recouvrer automatiquement, à grande échelle, de prétendus trop-perçus de prestations sociales, en remplaçant le contrôle humain au cas par cas par un algorithme de moyennage appliqué à l'ensemble des dossiers.

Activités

L'algorithme a émis environ 470 000 avis de dette automatisés, totalisant 1,75 milliard d'AUD. Les bénéficiaires — souvent au chômage, en situation de handicap ou en difficulté financière — devaient prouver eux-mêmes que les dettes étaient erronées, souvent sans accès aux données de revenu d'origine.

Résultats

Une Cour fédérale a approuvé un règlement d'action collective de 1,2 milliard d'AUD en novembre 2020 (1,872 milliard d'AUD au total, frais juridiques inclus) ; le gouvernement a simultanément annulé 1,75 milliard d'AUD de dettes. La Commission royale sur le dispositif Robodebt (août 2022 – juillet 2023) a conclu que le dispositif constituait « un échec coûteux de l'administration publique, tant sur le plan humain qu'économique », qualifiant le mécanisme automatisé de « grossier, cruel, ni juste ni légal ». Les commissaires ont documenté 663 bénéficiaires de prestations sociales décédés peu après avoir reçu un avis de dette automatisé, et ont formulé 57 recommandations sur le contrôle humain, le droit de la décision automatisée, la gouvernance des données interagences et la redevabilité.

Conclusions

Le dispositif a été abandonné en mai 2020 après que le gouvernement a reconnu devant les tribunaux son caractère illégal. Amnesty International a cité Robodebt dans un rapport de 2023 sur les systèmes automatisés de profilage des risques comme étude de cas de préjudice à grande échelle causé par la suppression du contrôle humain, et le cas est aujourd'hui largement utilisé dans les cursus d'éthique de l'IA et d'administration publique comme une leçon de prudence sur l'application algorithmique opaque et sans intervention humaine.

Mise en œuvre
Coût indicatif
Very high (> €5M) — AU$1.75 billion in debts raised and later written off; AU$1.2 billion (AU$1.872 billion including legal costs) class-action settlement approved in November 2020.
Délai jusqu’aux résultats
Medium (1–3 years) — Operated July 2016-May 2020 (~4 years); the Royal Commission of inquiry ran August 2022-July 2023.
Personnel et compétences
Services Australia (then the Department of Human Services) — operated the scheme, Royal Commission into the Robodebt Scheme — independent inquiry, August 2022-July 2023

Modes d’échec courants

  • Income-averaging methodology valid for only about 7% of recipients but applied universally without human review
  • Burden of proof placed on recipients, often without access to the original income data used to calculate debts
  • Fully automated, human-free enforcement at national scale
  • 663 welfare recipients documented to have died shortly after receiving debt notices, per the Royal Commission
  • Scheme ultimately ruled unlawful in court
  • Cited by Amnesty International (2023) as a global example of automated risk-profiling systems breaching human rights

Où cela s’applique

Type de gouvernance
centralised federal welfare-compliance system, fully automated with no human review — the governance model itself is the documented failure
Échelle
national
Niveau de revenu
high-income (Australia)

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pratiques similaires qui pourraient vous être utiles