Project Gameface — Le Contrôleur de Jeu Open Source à Gestes Faciaux de Google, Co-Conçu avec Lance Carr

Project Gameface est une application gratuite et open source qui permet de contrôler le curseur d'un ordinateur grâce aux mouvements de la tête et aux gestes faciaux captés par une simple webcam, sans matériel supplémentaire.

Google a développé cet outil avec Lance Carr, joueur et streamer tétraplégique atteint de dystrophie musculaire, qui dépendait auparavant d'une souris à suivi de tête coûteuse et dédiée — un équipement qu'il a entièrement perdu dans un incendie domestique. En collaborant avec Carr comme partenaire de conception, l'équipe de Google a utilisé son modèle MediaPipe Face Landmarker, qui détecte 52 'blendshapes' faciaux distincts (comme lever un sourcil ou ouvrir la bouche), et a associé un sous-ensemble configurable de ces gestes à des clics, glissements et mouvements du curseur de la souris.

Google a dévoilé Project Gameface lors de l'I/O 2023 pour Windows et a publié le code en open source sur GitHub la même année, invitant les développeurs à l'étendre. Lors de l'I/O 2024, Google a annoncé un portage vers Android et a publié le code supplémentaire nécessaire pour que les développeurs intègrent un contrôle mains libres, basé sur la caméra, directement dans les jeux et applications Android.

Réserve sur les preuves : Google n'a publié aucune statistique d'utilisation ou d'adoption, ni étude de résultats contrôlée, ni recherche indépendante sur l'efficacité de Project Gameface ; sa portée est documentée surtout via le récit d'origine, des démonstrations de développeurs et la couverture presse, plutôt que par des résultats mesurés.