evidoria

← Back to browse

Good practice

Robodebt — el sistema australiano automatizado de deudas en prestaciones sociales y la Comisión Real

Australia · Canberra · See the Australia profile

El algoritmo de Services Australia (2016–2020) impuso ilegalmente AU$1.750 millones en deudas a ~470.000 beneficiarios. La Comisión Real de 2023 lo declaró ilegal, resultando en un acuerdo de AU$1.200 millones y 57 recomendaciones de gobernanza.

~470,000 notices
Notificaciones automáticas de deuda emitidas (2016-2020)
1.75 AUD billion
Deuda total reclamada (2016-2020)
1.2 AUD billion
Acuerdo de demanda colectiva aprobado por el Tribunal Federal (November 2020)
1.872 AUD billion
Acuerdo total incluyendo costos legales (November 2020)
663 people
Beneficiarios de la seguridad social fallecidos poco después de recibir una notificación de deuda (hallazgo de la Comisión Real) (scheme period, per Royal Commission)
57 recommendations
Recomendaciones emitidas por la Comisión Real (July 2023)
~7 %
Porcentaje de beneficiarios para los que el método de promedios era metodológicamente válido (methodology assessment)

Details

Maturity
Discontinued
Promoter
Services Australia (formerly Department of Human Services)
Period
2016–2020
Keywords
automated decision-making, welfare compliance, income averaging, data matching, Centrelink, cautionary case

Context

El esquema Robodebt (julio de 2016 – mayo de 2020) fue operado por Services Australia (entonces Department of Human Services) para detectar automáticamente presuntos pagos en exceso de prestaciones de seguridad social. El sistema cruzaba los registros de beneficiarios de Centrelink con datos de ingreso anual promedio de la Australian Taxation Office, dividiendo el ingreso anual declarado de un beneficiario en estimaciones quincenales para inferir ingresos no declarados —una metodología válida para solo alrededor del 7% de los beneficiarios, pero aplicada universalmente sin revisión humana.

Objectives

El propósito declarado del esquema era detectar y recuperar de forma automática, a gran escala, presuntos pagos en exceso de prestaciones sociales, sustituyendo la revisión humana caso por caso por un algoritmo de promedios aplicado a toda la cartera de casos.

Activities

El algoritmo emitió aproximadamente 470.000 notificaciones automáticas de deuda, por un total de 1.750 millones de AUD. Los beneficiarios —muchos desempleados, con discapacidad o en dificultades económicas— cargaban con la responsabilidad de demostrar que las deudas eran erróneas, a menudo sin acceso a los datos de ingresos originales.

Results

Un Tribunal Federal aprobó un acuerdo de demanda colectiva de 1.200 millones de AUD en noviembre de 2020 (1.872 millones de AUD en total, incluidos los costos legales); el gobierno canceló simultáneamente 1.750 millones de AUD en deudas. La Comisión Real sobre el esquema Robodebt (agosto de 2022 – julio de 2023) concluyó que el esquema fue 'un costoso fracaso de la administración pública, tanto en términos humanos como económicos', describiendo el mecanismo automatizado como 'tosco, cruel y ni justo ni legal'. Los comisionados documentaron 663 beneficiarios de la seguridad social que murieron en el período inmediatamente posterior a recibir notificaciones automáticas de deuda, y formularon 57 recomendaciones sobre supervisión humana, derecho de la decisión automatizada, gobernanza de datos interagencial y rendición de cuentas.

Conclusions

El esquema fue descontinuado en mayo de 2020, después de que el gobierno reconociera ante los tribunales que era ilegal. Amnistía Internacional citó Robodebt en un informe de 2023 sobre sistemas automatizados de perfilamiento de riesgo como un caso de daño a gran escala causado por la eliminación de la supervisión humana, y el caso se utiliza hoy ampliamente en currículos de ética de la IA y administración pública como una lección de precaución sobre la aplicación algorítmica opaca y sin intervención humana.

Implementation
Indicative cost
Very high (> €5M) — AU$1.75 billion in debts raised and later written off; AU$1.2 billion (AU$1.872 billion including legal costs) class-action settlement approved in November 2020.
Time to results
Medium (1–3 years) — Operated July 2016-May 2020 (~4 years); the Royal Commission of inquiry ran August 2022-July 2023.
Staffing & skills
Services Australia (then the Department of Human Services) — operated the scheme, Royal Commission into the Robodebt Scheme — independent inquiry, August 2022-July 2023

Common failure modes

  • Income-averaging methodology valid for only about 7% of recipients but applied universally without human review
  • Burden of proof placed on recipients, often without access to the original income data used to calculate debts
  • Fully automated, human-free enforcement at national scale
  • 663 welfare recipients documented to have died shortly after receiving debt notices, per the Royal Commission
  • Scheme ultimately ruled unlawful in court
  • Cited by Amnesty International (2023) as a global example of automated risk-profiling systems breaching human rights

Where it fits

Governance type
centralised federal welfare-compliance system, fully automated with no human review — the governance model itself is the documented failure
Scale
national
Income level
high-income (Australia)

Data sources

Where this practice's information was retrieved from, and when.

Similar practices you may find useful