Programa de Produtividade de Engenharia da GovTech Singapura — Um Piloto Controlado do GitHub Copilot para Programadores do Governo

Entre outubro de 2023 e janeiro de 2024, a Government Technology Agency (GovTech) de Singapura realizou um piloto controlado do GitHub Copilot for Business com 70 programadores, no âmbito do seu Engineering Productivity Programme (EPP) e da plataforma DevSecOps SHIP-HATS, que atualmente suporta mais de 670 sistemas governamentais e mais de 85.000 implementações mensais. Os participantes eram sobretudo engenheiros de software juniores e de nível intermédio, representando cerca de três quartos da população de engenharia da GovTech.

Medir o efeito do GitHub Copilot na produtividade dos programadores governamentais, através de uma abordagem de métodos mistos que combina telemetria objetiva do IDE com um inquérito baseado no referencial de produtividade SPACE.

Os próprios investigadores da GovTech combinaram telemetria do IDE (taxas de aceitação de sugestões, linhas de código aceites) com um inquérito baseado no referencial SPACE aos mesmos 70 programadores ao longo dos quatro meses do piloto, comparando a atividade de codificação antes e depois do acesso ao Copilot, em vez de a comparar com um grupo de controlo separado de não utilizadores.

O estudo mediu uma redução de 21-28% no tempo de codificação (em média 22%), um aumento de 21% na velocidade de conclusão de tarefas e um ganho global de produtividade estimado em 24% — com os programadores juniores a registar o maior efeito (33% menos tempo de codificação) e os seniores/líderes o menor (13-15%). 95% dos inquiridos afirmaram que a ferramenta lhes permitiu concentrar-se em trabalho mais gratificante, mais de 70% observaram menos erros de codificação, e 90% queriam que o seu departamento continuasse a disponibilizá-la.

O estudo publicado é notavelmente franco quanto às suas limitações: o impacto global na produtividade desce para cerca de 12% quando se contabiliza o tempo passado fora do IDE; o ganho de 21-28% fica aquém das alegações do setor, de 30-100%, o que os autores atribuem ao uso limitado sob as regras de residência de dados dentro do país de Singapura; mais de metade dos inquiridos não observou redução no tempo de revisão de código; e os engenheiros seniores manifestaram preocupação de que as imprecisões ocasionais do Copilot pudessem consolidar maus hábitos em colegas juniores. A pequena dimensão do piloto (70 programadores, 40 respondentes ao inquérito) e o âmbito limitado a uma única agência limitam até que ponto os resultados são generalizáveis.