O Piloto do Microsoft 365 Copilot no DBT — Um Teste de IA do Governo do Reino Unido Que Não Encontrou Ganhos de Produtividade

O Departamento para os Negócios e o Comércio do Reino Unido (DBT) testou o Microsoft 365 Copilot entre outubro e dezembro de 2024, atribuindo 1000 licenças a funcionários no Reino Unido, cerca de 70% voluntários e 30% selecionados aleatoriamente. O projeto-piloto visava testar os riscos e benefícios da ferramenta antes de qualquer alargamento no departamento. O DBT publicou as conclusões da avaliação na íntegra no GOV.UK em agosto de 2025.

O projeto-piloto visava testar os riscos e benefícios do Microsoft 365 Copilot entre o pessoal do DBT antes de qualquer decisão sobre um alargamento mais amplo. Combinou o acompanhamento quantitativo da utilização com feedback qualitativo para avaliar tanto o impacto na produtividade como a experiência dos utilizadores.

A avaliação combinou um estudo de diário (312 diários submetidos, 300 com consentimento para análise, uma taxa de resposta de 32%), 19 entrevistas qualitativas (13 participantes do piloto e 6 de um grupo de comparação), sessões de tarefas observadas e os próprios dados do painel de utilização da Microsoft. O Word, o Teams e o Outlook registaram a maior utilização, enquanto o Loop e o Edge se mantiveram abaixo de 1% dos titulares de licença.

A utilização foi reduzida, com uma média de 72 ações do Copilot por utilizador ao longo do piloto, ou 1,14 ações por utilizador por dia útil. A satisfação foi razoavelmente elevada, com 72% dos utilizadores satisfeitos ou muito satisfeitos e um Net Promoter Score de 31, e tarefas escritas como resumir e redigir registaram as maiores poupanças de tempo, embora o agendamento e a geração de imagens por vezes demorassem mais com o Copilot do que sem ele. O relatório do DBT afirma que 'não encontrou provas de que as poupanças de tempo tenham conduzido a uma produtividade melhorada,' e o grupo de comparação também não observou ganhos de produtividade entre colegas que utilizavam o Copilot. A avaliação documentou ainda alucinações reportadas pelos utilizadores e práticas inconsistentes de controlo de qualidade entre participantes e tipos de tarefa.

O DBT concluiu que, apesar de uma satisfação razoavelmente elevada e de algumas poupanças de tempo em tarefas escritas específicas, não havia provas de que estas se tenham traduzido numa produtividade mensuravelmente mais elevada. O departamento publicou este resultado nulo na íntegra, incluindo a conclusão de que a formação autodirigida superou a formação departamental formal na construção da confiança dos utilizadores.