iSight

L'institut HumanTech cherche à améliorer la qualité de vie et le bien-être des humains grâce à l'utilisation de nouvelles technologies. Il soutient le développement de solutions innovantes promouvant l'implantation du concept « Smart Society », une coévolution de la technologie et de la société.

Plus d'infos : http://humantech.institute

Le projet iSight est voué à aider les personnes en situation d'handicaps visuels. Certains individus malvoyants ont encore la capacité de détecter des forts contrastes. Malheureusement, ce n'est pas suffisant pour reconnaître des visages. Dans ce cadre, plusieurs prototypes ont été réalisé à l'aide de lunettes de réalité augmentée permettant la reconnaissance de visage. Les lunettes de réalité augmentée choisies pour ce projet comportent une caméra embarquée qui est utilisée pour la capture d'image. La prise écouteurs-microphone est également sollicitée pour permettre à l'utilisateur d'interagir par commandes vocales avec le système. Concernant la détection de visage, les algorithmes de détection sont des éléments primordiaux. Il existe plusieurs méthodes. La plupart d'entre elles se présentent sous forme de traitement d'image. Par exemple, la méthode « Local Binary Patterns » utilisée dans ce projet traite chaque pixel d'une image et compare la luminance des pixels entourant le pixel analysé. En détectant la répartition de la luminosité, la méthode permet de dégager une texture (motif régulier dans l'image).

En portant les lunettes, l'utilisateur voit s'afficher une interface volontairement créée avec de forts contrastes. Le taux de confiance de la dernière reconnaissance s'affiche. Il peut alors l'augmenter ou le diminuer. Comme le système fonctionne sur la base de l'entraînement de l'algorithme, une fonction lui permet d'ajouter des personnes à la liste des individus à reconnaître. Il doit tout d'abord entrer le nom de la personne puis lancer l'entraînement. A ce moment, plusieurs photos sont réalisées et stockées pour une reconnaissance ultérieure. De plus, des commandes vocales permettent une utilisation facilitée du système.

L'application suit un processus défini lorsqu'elle est sollicitée. Premièrement, la caméra des lunettes commence à capturer l'environnement observé. L'image capturée est transformée en noir et blanc puis transmise à l'algorithme de détection. Ce dernier s'attèle à détecter des visages. Une fois détecté, les visages sont extraits de l'image et les coordonnées sont fournies à l'algorithme de reconnaissance. Finalement, celui-ci compare le visage à ceux stockés dans la base de données et retourne le résultat.

Des tests ont été mené sur la base de base données contenant un grand nombre de photos de visage. Les taux de reconnaissance sont bons et encourageants. L'équipe de recherche tente d'améliorer le taux de réussite en travaillant sur un algorithme moins dépendant de la qualité des images fournies par la caméra.  

Keywords

​iSight, lunettes, réalité augmentée, commande vocale, reconaissance de visage, malvoyant

Outcomes

Website of the project

 

Project Information