AMS Berufsinfomat — le chatbot public d'information sur les métiers en Autriche et son scandale de biais

Le Berufsinfomat est un chatbot d'IA générative gratuit lancé le 3 janvier 2024 par l'Arbeitsmarktservice Österreich (AMS), le service public de l'emploi autrichien, à la suite d'une preuve de concept commandée en avril 2023. Il a été développé par GoodGuys GmbH avec Bundesrechenzentrum GmbH et Braintrust Marketing Service GmbH. Le système répond à des questions sur les métiers, les salaires et les parcours d'éducation et de formation en puisant dans les contenus propres à l'AMS — le Berufsinformationssystem, le Berufslexikon et l'AusbildungsKompass — et en les transmettant à un grand modèle de langage commercial via l'API OpenAI ; le ministère indique qu'aucune donnée de l'AMS n'a été utilisée pour entraîner un modèle. Il est utilisé directement par les élèves et les personnes en reconversion, ainsi que par les conseillers de l'AMS et les BerufsInfoZentren, y compris lors d'ateliers avec des classes.

Les chiffres d'utilisation publiés sont substantiels. Environ 140,000 questions ont été posées au cours des deux premières semaines et demie, jusqu'au 20 janvier 2024. L'AMS fait état de 122,150 réponses générées en 2025, dans plus de 100 langues. À titre de comparaison, le même rapport de l'AMS pour 2025 recense 1,857,200 visiteurs du Karrierekompass et 711,560 utilisateurs de la Weiterbildungsdatenbank : le chatbot reste donc un canal modeste à côté des produits d'information sur les métiers déjà établis de l'AMS. Les coûts de développement facturés au 31 décembre 2023 s'élevaient à 275,160 euros — 74,880 euros à GoodGuys GmbH pour la preuve de concept, 14,280 euros à Braintrust et 186,000 euros au Bundesrechenzentrum — avec un maximum prévisionnel de 231,977.51 euros pour le premier trimestre 2024. Le marché a été attribué de gré à gré, sans mise en concurrence.

Dans les 48 heures suivant le lancement, l'outil est devenu une controverse nationale. Des journalistes et des développeurs indépendants ont documenté des réponses stéréotypées selon le genre et discriminatoires : des femmes orientées vers le temps partiel et les métiers du soin, des hommes homosexuels vers des emplois « créatifs », et des utilisateurs séropositifs à qui l'on proposait des conseils en technologies d'assistance. Des faiblesses de sécurité et de code ont également été exposées publiquement. En réponse à la question parlementaire 17485/J, le ministère responsable a concédé qu'au lancement tous les points n'avaient pas pu être mis en œuvre de manière satisfaisante et que des erreurs ne peuvent être entièrement exclues. Des corrections ont été déployées les 5, 10 et 19 janvier 2024. L'AMS avait signalé environ 5,000 des 140,000 premières questions comme susceptibles de comporter un biais de genre, avait constitué un jeu de test de genre de 1,000 questions et effectué des tests de non-régression sur des échantillons de 100 à 200 questions aléatoires. Le code source a également été obscurci après les critiques.

La transparence documentaire est ici exceptionnellement forte : coûts, procédure de passation, méthode d'atténuation des biais et chiffres annuels d'utilisation sont tous publics, via la réponse parlementaire et le rapport annuel de l'AMS. Les preuves de résultats sont absentes. Il n'existe aucune évaluation d'impact, aucune étude contrôlée, aucune donnée publiée de satisfaction des utilisateurs, ni rien qui relie l'usage du chatbot à des choix d'études ou de métiers mieux éclairés. L'Autriche disposait déjà d'un précédent connexe avec l'algorithme de profilage des demandeurs d'emploi de l'AMS (AMAS), ce qui fait d'une défaillance de biais de genre dans un système successeur de l'AMS une répétition plutôt qu'une surprise. Le cas mérite d'être retenu comme modèle de divulgation et de remédiation après lancement sous le regard du public — non comme preuve que l'orientation professionnelle par IA améliore les décisions.