Robodebt — o sistema australiano automatizado de dívidas em benefícios sociais e a Comissão Real

O esquema Robodebt (julho de 2016 – maio de 2020) foi operado pela Services Australia (então Department of Human Services) para detetar automaticamente alegados pagamentos em excesso de prestações da segurança social. O sistema cruzava os registos de beneficiários do Centrelink com dados de rendimento anual médio da Australian Taxation Office, dividindo o rendimento anual declarado de um beneficiário em estimativas quinzenais para inferir rendimentos não declarados — uma metodologia válida para apenas cerca de 7% dos beneficiários da segurança social, mas aplicada universalmente sem revisão humana.

O objetivo declarado do esquema era detetar e recuperar automaticamente, em grande escala, alegados pagamentos em excesso de prestações sociais, substituindo a revisão humana caso a caso por um algoritmo de médias aplicado a toda a carteira de casos.

O algoritmo emitiu aproximadamente 470.000 notificações automáticas de dívida, totalizando 1,75 mil milhões de AUD. Os beneficiários — muitos desempregados, com deficiência ou em dificuldades financeiras — suportavam o ónus de provar que as dívidas estavam erradas, muitas vezes sem acesso aos dados de rendimento originais.

Um Tribunal Federal aprovou um acordo de ação coletiva de 1,2 mil milhões de AUD em novembro de 2020 (1,872 mil milhões de AUD no total, incluindo custas legais); o governo anulou simultaneamente 1,75 mil milhões de AUD em dívidas. A Royal Commission sobre o esquema Robodebt (agosto de 2022 – julho de 2023) concluiu que o esquema foi 'um dispendioso fracasso da administração pública, tanto em termos humanos como económicos', descrevendo o mecanismo automatizado como 'grosseiro, cruel e nem justo nem legal'. Os comissários documentaram 663 beneficiários da segurança social que morreram no período imediatamente após receberem notificações automáticas de dívida, e formularam 57 recomendações sobre supervisão humana, direito da decisão automatizada, governação de dados interagências e responsabilização.

O esquema foi descontinuado em maio de 2020, depois de o governo ter reconhecido em tribunal que era ilegal. A Amnistia Internacional citou o Robodebt num relatório de 2023 sobre sistemas automatizados de perfilagem de risco como um caso de dano em grande escala causado pela remoção da supervisão humana, e o caso é hoje amplamente utilizado em currículos de ética da IA e administração pública como uma lição de precaução sobre a aplicação algorítmica opaca e sem intervenção humana.