Retour à Enseignement

AIR – Analyse, interprétation et reconnaissance des gestes 2D (touch) et 3D

Description

Avec le développement des écrans tactiles et des technologies de capture de mouvement, de nouvelles interactions homme-machine sont apparues ces dernières années. Des approches d’intelligence artificielle sont utilisées pour tirer parti du potentiel d’interaction offert par la reconnaissance de gestes 2D et 3D. Ces commandes gestuelles permettent à l’utilisateur d’exécuter de nombreuses actions simplement en faisant des gestes. Aujourd’hui, la reconnaissance de commandes gestuelles 2D et 3D est devenue un sujet de recherche très actif dans les domaines scientifiques suivants : Intelligence artificielle, Computer Vision, Pattern Recognition et Man-Machine Interaction.Dans ce cours, nous abordons ce thème scientifique émergent : l’analyse, l’interprétation et la reconnaissance des gestes 2D et 3D pour de nouvelles interactions homme-machine. Techniquement, une action est une séquence de gestes générée par un sujet humain pendant l’exécution d’une tâche. La reconnaissance d’action consiste à identifier automatiquement cette séquence de mouvement par rapport à un ensemble de commandes possibles.Ce cours exposera les spécificités des processus de capture et de modélisation des gestes ainsi que la reconnaissance de ces deux types d’actions (gestes 2D et 3D) mais aussi les convergences possibles des approches scientifiques utilisées. Nous voulons également aborder dans ce cours les notions de conception centrée utilisateur, les besoins utilisateurs, l’acceptabilité et les tests utilisateurs pour illustrer l’importance de considérer l’utilisateur lorsque nous développons de telles interactions homme-machine.

Mots-clés

Geste 2D, Geste 3D, classification, Reconnaissance, Analyse, Interaction Homme-Machine, Computer Vision, Pattern Recognition, Man-Machine Interaction

Prérequis

Aucun

Contenu

  • Acquisition de signaux, prétraitement et normalisation

    • Acquisition de signaux sur écran tactile, orienté stylet et sur surface tangible qui permettent la participation simultanée de plusieurs utilisateurs.
    • Systèmes de capture de mouvement (MoCap) pour extraire des postures corporelles basées sur des positions et des orientations articulaires 3D en utilisant des marqueurs et un ensemble de caméras haute précision.
    • Microsoft Kinect ou Capteur Leap Motion.
    • Prétraitement et normalisation morphologique.
    • Modélisation du squelette humain.

  • Extraction de caractéristiques et espace de représentation

    • Extraction de caractéristiques 2D et 3D ;
    • Modélisation des relations temporelles, spatiales et de mouvement.

  • Intelligence artificielle pour la reconnaissance d’actions en 2D et 3D

    • Reconnaissance à la volée et a posteriori
    • Reconnaissance de geste basée sur le squelette
    • Moteurs de reconnaissance et d’apprentissage automatique:
      1. Graph modelling, matching and embedding algorithm
      2. Dynamic Time Warping (DTW)
      3. Hidden Markov Model (HMM)
      4. Support Vector Machine (SVM)
      5. Neural Network (NN)
      6. Reject Option…

  • Segmentation et détection d’actions 2D et 3D

    • Commandes directes et indirectes
    • Détection précoce d’une action dans un flux de mouvement non segmenté
    • Méthodes de segmentation temporelle, fenêtres glissantes…

  • Conception centrée utilisateur (CCU – ISO 9241-210) et protocole de tests

    • La conception centrée utilisateur vise à rendre les systèmes utilisables en mettant l’accent sur les utilisateurs, leurs besoins et leurs exigences, et en appliquant les facteurs humains, l’ergonomie et les connaissances et techniques d’utilisabilité.
      • Notions d’ergonomie
      • Protocole de test
      • Méthodes d’évaluation et d’analyse des données de tests

  • Exemple et démonstration

Compétences acquises

Vision complète d’une chaîne de traitement depuis l’acquisition des signaux, prétraitement, classification, interprétation et feedback utilisateur. Lien entre les problématiques de reconnaissance de formes et l’interaction homme-machine. Lien entre les approches de reconnaissance de gestes 2D et 3D.

Enseignants

Eric Anquetil (responsable), Richard Kulpa, Nathalie Girard

Déroulement 2022-2023

Salle :

  • Salle Guernesey

Dates :

  •  Acquisition de signaux, prétraitement et normalisation (accès aux slides) :
    • 15/11/2022 (16h15 – 18h15 – B02B – E209)
    • 22/11/2022 (10h15 – 12h15)
    • 24/11/2022 (16h15 – 18h15)
  • Segmentation et détection d’actions 2D et 3D (accès aux slides) :
    • 22/11/2022 (16h15 – 18h15)
    • 29/11/2022 (16h15 – 18h15)
    • 6/12/2022 (16h15 – 18h15)
  • Conception centrée utilisateur et protocole de tests (accès aux slides) :
    • 08/12/2022 (16h15 – 18h15)
    • 13/12/2022 (10h15 – 12h15) 9/01/2023 (14h – 16h)
    • 15/12/2022 (16h15 – 18h15) 12/01/2023 (16h15 – 18h15)

Evaluations :

Ce module sera évalué par deux épreuves :

  • Examen écrit:
    • Durée : 1h30
    • Date : 19/01/2023, 16h15-18h15 – Bât 12D, i50
    • Exam 2017-2018
  • Homework :
    • Le travail consiste à lire un papier de référence qui est donné par les enseignants et à trouver (2) 3 autres références sur le même sujet et d’en faire une synthèse qui sera présentée pendant la soutenance.
    • Le homework sera réalisé et soutenu par  binômes ou trinômes.
    • Durée : 15’-20’ de présentation + 5’-10’ questions / binôme-trinôme
    • Date : 17/01/2023, 10h15-12h15 – Bât 12D, salle Guernesey