El servicio público de empleo de Austria opera un chatbot gratuito de IA generativa sobre profesiones, salarios y formación, usado en escuelas y oficinas de empleo. Días tras su lanzamiento en enero de 2024 dio consejos sexistas y discriminatorios, forzando ajustes urgentes.
Preguntas señaladas por sesgo de género (de las primeras 140.000)
1,857,200
Visitantes de Karrierekompass (2025, para escala) (2025)
Detalles
Madurez
Consolidada
Promotor
Arbeitsmarktservice Österreich (AMS)
Período
2023–ongoing
Región (NUTS)
AT13
Palabras clave
career guidance, public employment services, generative AI, school-to-work transition, chatbot
Contexto
El Berufsinfomat es un chatbot de IA generativa gratuito, lanzado el 3 de enero de 2024 por el servicio público de empleo austríaco AMS, que recupera contenido propio de información profesional de AMS y lo transmite a un LLM comercial a través de la API de OpenAI.
Actividades
AMS integró mitigación de sesgos en su proceso tras el lanzamiento: señaló unas 5.000 de las primeras 140.000 preguntas como propensas a sesgo de género, construyó un conjunto de prueba de 1.000 preguntas sobre género y ejecutó pruebas de regresión, publicando correcciones el 5, 10 y 19 de enero de 2024.
Resultados
Se hicieron unas 140.000 preguntas en las primeras 2,5 semanas; AMS reporta 122.150 respuestas generadas en 2025; los costos de desarrollo hasta el 31 de diciembre de 2023 ascendieron a 275.160 euros.
Conclusiones
En las 48 horas posteriores al lanzamiento, la herramienta se convirtió en una controversia nacional por respuestas estereotipadas de género y discriminatorias; no existe evaluación de impacto, estudio controlado ni datos de satisfacción del usuario publicados, y Austria ya tenía un precedente relacionado con el algoritmo de perfilado de solicitantes de empleo de AMS (AMAS).
Implementación
Coste indicativo
Bajo (< 50 000 €)
Tiempo hasta resultados
Medio (1–3 años)
Personal y competencias
GoodGuys GmbH, Bundesrechenzentrum GmbH, Braintrust Marketing Service GmbH, AMS
Condiciones para el éxito
Regression testing on bias after each correction
Transparent procurement disclosure
Modos de fallo comunes
Gender-stereotyped and discriminatory answers documented within 48 hours of launch
Direct-award procurement without competing tenders
Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.
¿Usted implementa esta práctica?
Reivindíquela —
los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
Fuentes de datos
De dónde se obtuvo la información de esta práctica, y cuándo.