Seeing AI — Assistente Visual com IA em Tempo Real da Microsoft para Pessoas Cegas ou com Baixa Visão

O Seeing AI é uma aplicação gratuita para iOS da Microsoft Research e da Microsoft Garage, nascida de um hackathon interno de 2015 que superou mais de 13 000 outras candidaturas, lançada em geral a 12 de julho de 2017.

A aplicação tem como objetivo transformar a câmara do telemóvel num assistente falado para utilizadores cegos e com baixa visão, narrando em tempo real texto, moeda, pessoas, códigos de barras e cenas.

Combina visão computacional local e na nuvem para ler texto em voz alta com orientação de alinhamento, identificar moeda e códigos de barras, reconhecer contactos guardados, descrever expressões faciais e produzir descrições faladas de cenas.

Até ao final de 2017, a Microsoft comunicou mais de 3 milhões de tarefas concluídas e disponibilidade em mais de 35 países; a aplicação venceu o Prémio Helen Keller Achievement da American Foundation for the Blind em 2018. Atualmente suporta 19 idiomas e tem uma classificação de 4,3/5 na Apple App Store; a investigação subjacente da Microsoft em classificação de imagens registou uma taxa de erro top-5 de 3,57%.

Os valores de 3 milhões de tarefas e 35 países são estatísticas de utilização comunicadas pela própria Microsoft, e não números auditados de forma independente, e os valores de precisão referem-se a testes de referência gerais de investigação, e não a um estudo controlado do sucesso das tarefas em condições reais para utilizadores cegos.