Programme de productivité en ingénierie de GovTech Singapour — Un pilote contrôlé de GitHub Copilot pour les développeurs du gouvernement

D'octobre 2023 à janvier 2024, l'Agence gouvernementale de technologie de Singapour (GovTech) a mené un pilote contrôlé de GitHub Copilot for Business auprès de 70 développeurs, dans le cadre de son programme d'amélioration de la productivité d'ingénierie (EPP) et de la plateforme DevSecOps SHIP-HATS, qui soutient aujourd'hui plus de 670 systèmes gouvernementaux et plus de 85 000 déploiements mensuels. Les participants étaient principalement des ingénieurs logiciels juniors et de niveau intermédiaire, représentant environ les trois quarts de la population d'ingénieurs de GovTech.

Mesurer l'effet de GitHub Copilot sur la productivité des développeurs gouvernementaux, à l'aide d'une approche à méthodes mixtes combinant une télémétrie objective de l'IDE et une enquête fondée sur le cadre de productivité SPACE.

Les chercheurs de GovTech ont combiné la télémétrie de l'IDE (taux d'acceptation des suggestions, lignes de code acceptées) avec une enquête fondée sur le cadre SPACE auprès des 70 mêmes développeurs sur les quatre mois du pilote, comparant l'activité de codage avant et après l'accès à Copilot plutôt qu'à un groupe témoin distinct de non-utilisateurs.

L'étude a mesuré une réduction du temps de codage de 21 à 28 % (22 % en moyenne), une hausse de 21 % de la vitesse d'achèvement des tâches et un gain de productivité global estimé à 24 % — les développeurs juniors enregistrant l'effet le plus marqué (33 % de temps de codage en moins) et les développeurs seniors/référents le plus faible (13-15 %). 95 % des répondants ont déclaré que l'outil leur permettait de se concentrer sur un travail plus satisfaisant, plus de 70 % ont observé moins d'erreurs de codage, et 90 % souhaitaient que leur département continue de le fournir.

L'étude publiée est remarquablement franche sur ses limites : l'impact global sur la productivité tombe à environ 12 % une fois pris en compte le temps passé hors de l'IDE ; le gain de 21-28 % est inférieur aux annonces du secteur, de 30 à 100 %, ce que les auteurs attribuent à un usage limité en raison des règles de résidence des données en vigueur à Singapour ; plus de la moitié des répondants n'ont constaté aucune réduction du temps de relecture de code ; et les ingénieurs seniors craignaient que les imprécisions occasionnelles de Copilot n'ancrent de mauvaises habitudes chez les développeurs juniors. La petite taille du pilote (70 développeurs, 40 répondants à l'enquête) et son périmètre limité à une seule agence restreignent la portée de généralisation des résultats.