Programa de Productividad de Ingeniería de GovTech Singapur — Un Piloto Controlado de GitHub Copilot para Desarrolladores del Gobierno

Entre octubre de 2023 y enero de 2024, la Agencia de Tecnología Gubernamental de Singapur (GovTech) llevó a cabo un piloto controlado de GitHub Copilot for Business con 70 desarrolladores, dentro de su Programa de Productividad de Ingeniería (EPP) y la plataforma DevSecOps SHIP-HATS, que hoy sustenta más de 670 sistemas gubernamentales y más de 85.000 despliegues mensuales. Los participantes eran principalmente ingenieros de software junior y de nivel intermedio, lo que representa aproximadamente tres cuartas partes de la población de ingeniería de GovTech.

Medir el efecto de GitHub Copilot en la productividad de los desarrolladores gubernamentales mediante un enfoque de métodos mixtos que combina telemetría objetiva del IDE con una encuesta basada en el marco de productividad SPACE.

Los propios investigadores de GovTech combinaron telemetría del IDE (tasas de aceptación de sugerencias, líneas de código aceptadas) con una encuesta basada en el marco SPACE a los mismos 70 desarrolladores durante los cuatro meses del piloto, comparando la actividad de codificación antes y después del acceso a Copilot en lugar de frente a un grupo de control separado de no usuarios.

El estudio midió una reducción del 21-28% en el tiempo de codificación (22% de media), un aumento del 21% en la velocidad de finalización de tareas y una ganancia de productividad global estimada del 24% — con los desarrolladores junior registrando el mayor efecto (33% menos tiempo de codificación) y los senior/líderes el menor (13-15%). El 95% de los encuestados dijo que la herramienta les permitía centrarse en un trabajo más satisfactorio, más del 70% observó menos errores de codificación, y el 90% quería que su departamento siguiera proporcionándola.

El estudio publicado es notablemente franco sobre sus límites: el impacto general en la productividad baja a aproximadamente el 12% al tener en cuenta el tiempo dedicado fuera del IDE; la ganancia del 21-28% queda por debajo de las cifras del sector, del 30-100%, lo que los autores atribuyen al uso limitado bajo las normas de residencia de datos dentro del país de Singapur; más de la mitad de los encuestados no observó reducción en el tiempo de revisión de código; y los ingenieros senior expresaron preocupación por que las imprecisiones ocasionales de Copilot pudieran arraigar malos hábitos en los desarrolladores junior. El pequeño tamaño del piloto (70 desarrolladores, 40 encuestados) y su alcance limitado a una sola agencia restringen hasta qué punto los resultados son generalizables.