Seeing AI — Assistant Visuel IA en Temps Réel de Microsoft pour Personnes Aveugles ou Malvoyantes

Seeing AI est une application iOS gratuite de Microsoft Research et de Microsoft Garage, issue d'un hackathon interne de 2015 qui a devancé plus de 13 000 autres candidatures, lancée à grande échelle le 12 juillet 2017.

L'application vise à transformer l'appareil photo du téléphone en assistant vocal pour les utilisateurs aveugles et malvoyants, en décrivant en temps réel du texte, des devises, des personnes, des codes-barres et des scènes.

Elle combine vision par ordinateur embarquée et dans le cloud pour lire du texte à voix haute avec un guidage d'alignement, identifier des devises et des codes-barres, reconnaître des contacts enregistrés, décrire des expressions faciales et produire des descriptions vocales de scènes.

Fin 2017, Microsoft indiquait plus de 3 millions de tâches accomplies et une disponibilité dans plus de 35 pays ; l'application a remporté le Helen Keller Achievement Award de l'American Foundation for the Blind en 2018. Elle prend désormais en charge 19 langues et affiche une note de 4,3/5 sur l'Apple App Store ; les travaux de recherche sous-jacents de Microsoft sur la classification d'images ont rapporté un taux d'erreur top-5 de 3,57 %.

Les chiffres de 3 millions de tâches et de 35 pays sont des statistiques d'usage autodéclarées par Microsoft et non des chiffres audités de manière indépendante, et les données de précision décrivent des repères de recherche généraux plutôt qu'une étude contrôlée de la réussite des tâches en conditions réelles pour les utilisateurs aveugles.