El piloto de Microsoft 365 Copilot del DBT — Un ensayo de IA del gobierno del Reino Unido que no encontró ganancias de productividad

El Departamento de Negocios y Comercio del Reino Unido (DBT) puso a prueba Microsoft 365 Copilot entre octubre y diciembre de 2024, asignando 1000 licencias a personal con base en el Reino Unido, alrededor del 70% voluntarios y el 30% seleccionados aleatoriamente. El proyecto piloto pretendía evaluar los riesgos y beneficios de la herramienta antes de cualquier despliegue más amplio en el departamento. El DBT publicó sus conclusiones de evaluación en su totalidad en GOV.UK en agosto de 2025.

El proyecto piloto pretendía evaluar los riesgos y beneficios de Microsoft 365 Copilot entre el personal del DBT antes de tomar cualquier decisión sobre un despliegue más amplio. Combinó el seguimiento cuantitativo del uso con comentarios cualitativos para evaluar tanto el impacto en la productividad como la experiencia de los usuarios.

La evaluación combinó un estudio de diario (312 diarios presentados, 300 con consentimiento para el análisis, una tasa de respuesta del 32%), 19 entrevistas cualitativas (13 participantes del piloto y 6 de un grupo de comparación), sesiones de tareas observadas y los propios datos del panel de uso de Microsoft. Word, Teams y Outlook registraron el mayor uso, mientras que Loop y Edge se mantuvieron por debajo del 1% de los titulares de licencia.

El uso fue escaso, con una media de 72 acciones de Copilot por usuario a lo largo del piloto, o 1,14 acciones por usuario y día laborable. La satisfacción fue bastante alta, con un 72% de usuarios satisfechos o muy satisfechos y un Net Promoter Score de 31, y las tareas escritas como resumir y redactar registraron los mayores ahorros de tiempo, aunque la programación y la generación de imágenes a veces tardaban más con Copilot que sin él. El informe del DBT afirma que 'no encontró pruebas de que los ahorros de tiempo hayan conducido a una mayor productividad,' y el grupo de comparación tampoco observó ganancias de productividad entre los compañeros que usaban Copilot. La evaluación también documentó alucinaciones reportadas por los usuarios y prácticas de control de calidad incoherentes entre participantes y tipos de tarea.

El DBT concluyó que, a pesar de una satisfacción bastante alta y de algunos ahorros de tiempo en tareas escritas específicas, no había pruebas de que estos se tradujeran en una productividad mayor de forma medible. El departamento publicó este resultado nulo en su totalidad, incluida la conclusión de que la formación autodirigida superó a la formación departamental formal a la hora de generar confianza en los usuarios.