La DRI de Madeira creó una clasificación BERT + Random Forest para 12.843 solicitudes de soporte (2022-2024): 83% de precisión, -27% en quejas repetidas, +32% de eficiencia, según un estudio revisado por pares financiado por el plan portugués.
83%
Precisión de clasificación (Jan 2022-Dec 2024)
0.80
F1-score
-27%
Variación de las categorías de reclamaciones repetidas (6 meses tras el despliegue)
+32%
Aumento de la eficiencia de clasificación (6 meses tras el despliegue)
0.21 seconds
Tiempo de procesamiento por ticket
0.47
Índice de silueta de agrupamiento
Detalles
Madurez
Consolidada
Promotor
Direção Regional de Informática (DRI), Governo Regional da Madeira — with ISTAR-IUL and VIPA (Funchal)
Período
2022-2025
Región (NUTS)
PT30
Palabras clave
public administration, IT service management, NLP, complaint triage
Contexto
Los servicios públicos regionales de Portugal enfrentan un volumen y complejidad crecientes de solicitudes de soporte informático (llamadas localmente PATs) presentadas a través de los sistemas PatOnline y PATS utilizados por el gobierno de la Región Autónoma de Madeira, donde un lenguaje ambiguo, una terminología incoherente y un reporte fragmentado entre departamentos hacen poco fiable la triaje convencional basado en palabras clave. La Direção Regional de Informática (DRI), en colaboración con investigadores del ISTAR-IUL (Instituto Universitário de Lisboa) y el laboratorio VIPA en Funchal, construyó un pipeline de IA que combina embeddings de frases BERT multilingües, agrupamiento K-Means en cuatro categorías de reclamaciones, un clasificador Random Forest para la categorización automática, e Isolation Forest para la detección de anomalías, con valores SHAP para la interpretabilidad. El proyecto fue financiado en el marco del Plan de Recuperación y Resiliencia (PRR) de Portugal.
Resultados
Evaluado sobre 12 843 registros de reclamaciones/tickets extraídos de 7615 registros de interacción de usuarios entre enero de 2022 y diciembre de 2024, el sistema alcanzó un 83% de precisión de clasificación (F1-score de 0,80) y procesó cada ticket en 0,21 segundos de extremo a extremo. En los seis meses posteriores al despliegue, las categorías de reclamaciones repetidas cayeron un 27% y la eficiencia de clasificación aumentó un 32% (índice de silueta de agrupamiento de 0,47). Los resultados provienen de una única agencia regional y un contexto específico de tickets; los autores señalan que aplicar el enfoque en otros lugares probablemente requeriría un ajuste específico del dominio o un reentrenamiento adaptativo, y aún no se ha publicado ninguna réplica independiente fuera de Madeira.
Implementación
Coste indicativo
Bajo (< 50 000 €) — No budget figure is published; classified as low cost given the narrow single-department scope delivered through an academic research partnership under PRR co-funding.
Tiempo hasta resultados
Medio (1–3 años) — Data and evaluation span January 2022 to December 2024 (about three years), including six months of post-deployment measurement.
Personal y competencias
Direcao Regional de Informatica (DRI), Governo Regional da Madeira, ISTAR-IUL (Instituto Universitario de Lisboa) researchers, VIPA laboratory, Funchal
Condiciones para el éxito
Combining multiple ML techniques (BERT embeddings, K-Means clustering, Random Forest, Isolation Forest) with SHAP interpretability
Sustained government-university partnership
PRR funding to support the initial build
Modos de fallo comunes
Authors note the model was evaluated in a single agency/context and would likely need domain-specific fine-tuning or retraining to transfer elsewhere
No independent replication outside Madeira has yet been published
Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.
¿Usted implementa esta práctica?
Reivindíquela —
los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
Fuentes de datos
De dónde se obtuvo la información de esta práctica, y cuándo.