Seeing Ai, l'intelligence artificielle de Microsoft au service des malvoyants

Posté le 04 Décembre 2019

Seeing Ai est une application disponible sur iOS. Son usage est très simple : il suffit de diriger la caméra du smartphone vers un texte, un document, un code-barres, une personne ou une scène pour qu’une voix de synthèse lise le texte, ou décrive l’image.

Inspirée par Saqib Shaikh, un ingénieur non voyant, data scientist de l’équipe Bing, l’application Seeing AI est apparue en 2015 lors d’un hackathon interne. L’année suivante, Microsoft en avait fait une démonstration sur des lunettes connectées. Arrivée sur l’App Store en 2017, elle est donc désormais multilingue. La version française a été conçue en collaboration avec l’association Valentin Hauÿ au service des aveugles et des malvoyants.

Ce mardi 3 décembre 2019, Microsoft a annoncé, à l’occasion de la Journée internationale des personnes handicapées des Nations Unies, une mise à jour majeure de Seeing AI et la prise en charge de cinq nouvelles langues dont le français.

L’application permet de choisir un mode de fonctionnement :

Texte court
lecture instantanée du texte filmé.
Document
guide l’utilisateur pour prendre une photo d’un document et en proposer une version accessible (contraste inversé, taille de caractère ajustable et voix de synthèse).
Produit
identifie un produit à partir de son code-barres.
Personne
localise et identifie les personnes aux alentours. Un apprentissage très simple est proposé pour associer une personne à son nom.
Billet
identifie la plupart des billets de banque.
Luminosité
fonctionne un peu comme un sonar. Émet un son dont la fréquence varie en fonction de la luminosité de l’image.

Et en mode expérimental,

Scène
décrit une scène prise en photo.
Couleur
énonce la couleur de la zone située au centre de l’image.

Seeing Ai est l’une des premières applications de Microsoft utilisant les technologies d’intelligence artificielle au service de l’accessibilité et de l’inclusion. Pour rappel, Microsoft a lancé un programme « AI for Accessibility ».

Seeing AI est à télécharger gratuitement sur l’App Store (iOS).

Recevez l’actualité du Hub tous les deux mois

S’inscrire à la newsletter