Machine Learning For Subtle Gesture Recognition

​Machine Learning For Subtle Gesture Recognition

L'institut HumanTech cherche à améliorer la qualité de vie et le bien-être des humains grâce à l'utilisation de nouvelles technologies. Il soutient le développement de solutions innovantes promouvant l'implantation du concept « Smart Society », une coévolution de la technologie et de la société.

Plus d'infos : http://humantech.institute

Ce projet porte sur l'analyse des gestes de l'être humain. Ces derniers font déjà le cas d'étude, principalement dans la recherche sur les interactions hommes-machines. Les gestes émanant des mains ainsi que les expressions faciales sont les plus étudiés. Cependant, il existe un autre type de mouvements appelés « fidgeting ». Ils résultent d'une situation dans laquelle se trouve un individu et apparaissent lors de sentiments d'anxiété ou d'ennui. Ces gestes sont peu structurés, spontanés et involontaires. Leur étude peut malgré tout être bénéfique pour certains domaines, par exemple, pour détecter l'anxiété d'un individu. Le domaine médical est également intéressé, ces gestes ont un impact non-négligeable sur les dépenses énergétiques du corps humain.

L'équipe de recherche a dressé une liste de gestes de type « fidgeting » basés sur les jambes qui ont été pris en compte pour établir la base de données. Les données ont été récoltées à partir de chaussures instrumentées. Plusieurs capteurs les composent : un accéléromètre 3D, un gyroscope 3D, un capteur barométrique et une semelle mesurant la force. Des tests effectués sur dix sujets pendant quatre heures lors d'activités quotidiennes forment un échantillon de données fourni par l'EPFL. Un autre échantillon conduit sur six personnes comporte des données d'un script de la liste des mouvements prédéterminés dans la première phase du projet.  

Le but du projet est de proposer un algorithme capable de repérer le « fidgeting ». Plusieurs méthodes ont été expérimentées afin d'évaluer leurs fiabilités. L'arbre de décision s'est révélé être un bon estimateur. Le modèle se base sur des critères relatifs aux données récoltées de l'accéléromètre afin d'arriver à un résultat binaire : Fidgeting / No Fidgeting.

Pour de futures recherches, l'équipe de recherche est intéressée à pouvoir constituer une base de données plus représentative et plus large afin d'améliorer l'algorithme. 


Keywords

​Algorith​m, Fidgeting, Machine Learning

Outcomes

Website of the project

 

Project Information