Le pilote Microsoft 365 Copilot du DBT — Un essai d'IA gouvernemental britannique qui n'a trouvé aucun gain de productivité

Le ministère britannique du Commerce et des Affaires (DBT) a testé Microsoft 365 Copilot d'octobre à décembre 2024, en attribuant 1000 licences à des agents basés au Royaume-Uni, environ 70 % de volontaires et 30 % sélectionnés aléatoirement. Le projet pilote visait à évaluer les risques et bénéfices de l'outil avant tout déploiement plus large au sein du ministère. Le DBT a publié l'intégralité des conclusions de son évaluation sur GOV.UK en août 2025.

Le projet pilote visait à évaluer les risques et bénéfices de Microsoft 365 Copilot auprès du personnel du DBT avant toute décision de déploiement plus large. Il combinait un suivi quantitatif de l'utilisation avec des retours qualitatifs afin d'évaluer à la fois l'impact sur la productivité et l'expérience des utilisateurs.

L'évaluation a combiné une étude par journal (312 journaux soumis, 300 consentements pour analyse, un taux de réponse de 32 %), 19 entretiens qualitatifs (13 participants au pilote et 6 issus d'un groupe de comparaison), des sessions de tâches observées et les données du tableau de bord d'utilisation de Microsoft. Word, Teams et Outlook ont enregistré l'utilisation la plus forte, tandis que Loop et Edge sont restés en dessous de 1 % des détenteurs de licence.

L'utilisation est restée faible, avec une moyenne de 72 actions Copilot par utilisateur sur la durée du pilote, soit 1,14 action par utilisateur et par jour ouvré. La satisfaction était assez élevée, avec 72 % des utilisateurs satisfaits ou très satisfaits et un Net Promoter Score de 31, et les tâches écrites comme le résumé et la rédaction ont enregistré les plus grands gains de temps, bien que la planification et la génération d'images aient parfois pris plus de temps avec Copilot que sans. Le rapport du DBT indique qu'il « n'a pas trouvé de preuve que les gains de temps aient conduit à une productivité améliorée », et le groupe de comparaison n'a lui non plus observé de gains de productivité chez les collègues utilisant Copilot. L'évaluation a également documenté des hallucinations signalées par les utilisateurs et des pratiques d'assurance qualité incohérentes selon les participants et les types de tâches.

Le DBT a conclu que, malgré une satisfaction assez élevée et certains gains de temps sur des tâches écrites spécifiques, rien ne prouvait que ceux-ci se soient traduits par une productivité mesurablement plus élevée. Le ministère a publié ce résultat nul dans son intégralité, y compris la conclusion selon laquelle la formation autodirigée a surpassé la formation ministérielle formelle pour renforcer la confiance des utilisateurs.