El algoritmo de Services Australia (2016–2020) impuso ilegalmente AU$1.750 millones en deudas a ~470.000 beneficiarios. La Comisión Real de 2023 lo declaró ilegal, resultando en un acuerdo de AU$1.200 millones y 57 recomendaciones de gobernanza.
~470,000 notices
Notificaciones automáticas de deuda emitidas (2016-2020)
1.75 AUD billion
Deuda total reclamada (2016-2020)
1.2 AUD billion
Acuerdo de demanda colectiva aprobado por el Tribunal Federal (November 2020)
1.872 AUD billion
Acuerdo total incluyendo costos legales (November 2020)
663 people
Beneficiarios de la seguridad social fallecidos poco después de recibir una notificación de deuda (hallazgo de la Comisión Real) (scheme period, per Royal Commission)
57 recommendations
Recomendaciones emitidas por la Comisión Real (July 2023)
~7 %
Porcentaje de beneficiarios para los que el método de promedios era metodológicamente válido (methodology assessment)
Detalles
Madurez
Descontinuada
Promotor
Services Australia (formerly Department of Human Services)
Período
2016–2020
Palabras clave
automated decision-making, welfare compliance, income averaging, data matching, Centrelink, cautionary case
Contexto
El esquema Robodebt (julio de 2016 – mayo de 2020) fue operado por Services Australia (entonces Department of Human Services) para detectar automáticamente presuntos pagos en exceso de prestaciones de seguridad social. El sistema cruzaba los registros de beneficiarios de Centrelink con datos de ingreso anual promedio de la Australian Taxation Office, dividiendo el ingreso anual declarado de un beneficiario en estimaciones quincenales para inferir ingresos no declarados —una metodología válida para solo alrededor del 7% de los beneficiarios, pero aplicada universalmente sin revisión humana.
Objetivos
El propósito declarado del esquema era detectar y recuperar de forma automática, a gran escala, presuntos pagos en exceso de prestaciones sociales, sustituyendo la revisión humana caso por caso por un algoritmo de promedios aplicado a toda la cartera de casos.
Actividades
El algoritmo emitió aproximadamente 470.000 notificaciones automáticas de deuda, por un total de 1.750 millones de AUD. Los beneficiarios —muchos desempleados, con discapacidad o en dificultades económicas— cargaban con la responsabilidad de demostrar que las deudas eran erróneas, a menudo sin acceso a los datos de ingresos originales.
Resultados
Un Tribunal Federal aprobó un acuerdo de demanda colectiva de 1.200 millones de AUD en noviembre de 2020 (1.872 millones de AUD en total, incluidos los costos legales); el gobierno canceló simultáneamente 1.750 millones de AUD en deudas. La Comisión Real sobre el esquema Robodebt (agosto de 2022 – julio de 2023) concluyó que el esquema fue 'un costoso fracaso de la administración pública, tanto en términos humanos como económicos', describiendo el mecanismo automatizado como 'tosco, cruel y ni justo ni legal'. Los comisionados documentaron 663 beneficiarios de la seguridad social que murieron en el período inmediatamente posterior a recibir notificaciones automáticas de deuda, y formularon 57 recomendaciones sobre supervisión humana, derecho de la decisión automatizada, gobernanza de datos interagencial y rendición de cuentas.
Conclusiones
El esquema fue descontinuado en mayo de 2020, después de que el gobierno reconociera ante los tribunales que era ilegal. Amnistía Internacional citó Robodebt en un informe de 2023 sobre sistemas automatizados de perfilamiento de riesgo como un caso de daño a gran escala causado por la eliminación de la supervisión humana, y el caso se utiliza hoy ampliamente en currículos de ética de la IA y administración pública como una lección de precaución sobre la aplicación algorítmica opaca y sin intervención humana.
Implementación
Coste indicativo
Muy alto (> 5 M€) — AU$1.75 billion in debts raised and later written off; AU$1.2 billion (AU$1.872 billion including legal costs) class-action settlement approved in November 2020.
Tiempo hasta resultados
Medio (1–3 años) — Operated July 2016-May 2020 (~4 years); the Royal Commission of inquiry ran August 2022-July 2023.
Personal y competencias
Services Australia (then the Department of Human Services) — operated the scheme, Royal Commission into the Robodebt Scheme — independent inquiry, August 2022-July 2023
Modos de fallo comunes
Income-averaging methodology valid for only about 7% of recipients but applied universally without human review
Burden of proof placed on recipients, often without access to the original income data used to calculate debts
Fully automated, human-free enforcement at national scale
663 welfare recipients documented to have died shortly after receiving debt notices, per the Royal Commission
Scheme ultimately ruled unlawful in court
Cited by Amnesty International (2023) as a global example of automated risk-profiling systems breaching human rights
Dónde encaja
Tipo de gobernanza
centralised federal welfare-compliance system, fully automated with no human review — the governance model itself is the documented failure
Escala
national
Nivel de ingresos
high-income (Australia)
Habitualmente financiado por
National / regional programmes
Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.
¿Usted implementa esta práctica?
Reivindíquela —
los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
Fuentes de datos
De dónde se obtuvo la información de esta práctica, y cuándo.