Musique, Handicap & IoT :
Mesure automatique de troubles sensoriels liés à l’autisme par IoT

Vers un instrument de musique augmenté.

Objectif du projet : Mesure automatique de troubles sensoriels par instruments de musique connectés (IoT)

Solution de mesure automatique de profils des troubles sensoriels avec des enfants présentant un Trouble du Spectres de l’Autisme (TSA). Les mesures sont effectuées à partir de l’utilisation d’instruments de musique lors d’ateliers musicaux se déroulant au Conservatoire à Rayonnement  Régional d’Annecy (CRR). Nous souhaitons également définir l’instrument augmenté et adapté pour chacun, proposant une interface de l’instrument de musique adaptée au profil sensoriel de la personne présentant un handicap.

Mots clésDomaines d’applicationMéthodologieSavoir-faireProblématique scientifiqueRésultatsPartenariatsContacts

Mots clés :

Mesures psychophysiques ou sensoriels, IoT Internet des objets, fusion d’information, Trouble sensoriels, profil sensoriel.

Domaines d’application

  • Mesure de profils sensoriels
    • mesure durant des ateliers de musique au Conservatoire Régional d’Annecy avec des enfants présentant un trouble du spectre de l’autisme
    • variation dans le temps de ces profils ; mesure des effets des ateliers musicaux
  • Briques technologiques :
    • instrumentation des instruments de musique
    • Actimétrie par algorithmes à partir des données capteurs placés dans les instruments
    • Détermination de profils et de leur évolution.

Méthodologie

  • identification des modalités à mesurer issue de la connaissances expertes dans l’étude (praticiens, experts du domaine) 
  • Instrumentation des instruments de musique par ajouts de capteurs adaptés aux modalités.
  • Fusion d’informations multi modalesmulti-sources par IoT.
  • Gestion des informations imparfaites : imprécisesincertainesincomplètes voire contradictoires.
  • Détermination de tableaux de bord adaptés : praticiens, famille.
  • Validation expérimentale.
  • Respects de la vie privée et règlementation des données de santé le cas échéant.

Savoir-faire engagés dans le projet par le LISTIC

  • Techniques d’identification de profils sensoriels à partir des mesures d’activités musicales :
    • Fusion d’information et théories associées (possibiliste, probabiliste, théorie de l’évidence).
    • Apprentissage, représentation, et exploitation des informations de haut niveau
    • Gestion des incertitudes, incomplétudes des données
  • Maîtrise des principales techniques Machine Learning de l’Intelligence Artificielle, ce qui permet d’identifier celle adaptée au problème à traiter
    • deep learning
    • data mining
    • classification supervisées et non superviseés (FCM, KNN, Random Forest, SVM)
  • Prototypage rapide d’objets sensibles (capteurs embarqués) et communicant (IoT). Maîtrise des outils de l’embarqué (nano-ordinateurs, micro-contrôleur).
  • Prototypage rapide d’application d’interconnexion d’objets connectés et intelligents.

Problématiques scientifiques abordées

  • Mesure de l’activité humaine (actimétrie) à partir de capteurs (de préférence non-portés, non-intrusifs)
  • Modélisation et Identification de profils, gestion des informations imparfaites associées
  • Explicabilité pour l’interprétation des résultats : apporter de la sémantique, du sens à la mesure.

Résultats 

Les premiers résultats ont permis d’identifier les modalités sensorielles impliquées dans les troubles sensoriels que l’on pourrait mesurer à l’aide de capteurs placés dans des instruments de musique. Ces résultats ont été présentés lors d’une conférence internationale avec comité de lecture :

Musical instruments for the measurement of autism sensory disorders
E Benoit, S Perrin, S Donnadieu, C. Dascalu, G. Mauris, J Favory, C Dautremer
Joint IMEKO TC1-TC7-TC13-TC18 Symposium 2019, Jul 2019, Saint Petersburg, Russia

Partenariats

Vous souhaitez nous rejoindre, étudier un partenariat :

Contacts :