Analyse et interprétation de croquis pour la conception d’un Système tutoriel intelligent en médecine

Sujet de stage de recherche M2 –2021

Encadrants :

E. Anquetil (eric.anquetil@irisa.fr), Prof. à l’INSA de Rennes, Responsable de l’équipe IntuiDoc.

N. Girard (nathalie.girard@irisa.fr), MC Univ. Rennes 1, équipe IntuiDoc.

O. Krichen (omar.krichen@irisa.fr), Post-Doctorant, équipe IntuiDoc

Lieu : IRISA, IntuiDoc, Rennes

Mots-clés : systèmes tutoriels intelligents, interprétation de documents manuscrits semi-structurés, tablettes orientées stylet, grammaires visuelles, croquis, Intelligence Artificielle, médecine, anatomie, pédagogie, apprentissage.

L’équipe de recherche IntuiDoc (http://www.irisa.fr/intuidoc/) de l’IRISA travaille sur l’analyse et la reconnaissance de tracés et de gestes manuscrits réalisés sur surfaces 2D : tablettes et écrans tactiles. IntuiDoc s’intéresse notamment à la conception de moteur de reconnaissance de formes et aux nouveaux usages autour de l’interaction gestuelle sur des surfaces tactiles. L’équipe s’intéresse aussi aux environnements d’éducation numériques en profitant de la démocratisation des tablettes stylet en classes, avec des travaux récents sur l’apprentissage de l’écriture manuscrite pour les classes de primaire et de maternelle [4], ou la production de schémas géométriques pour les classes de collège [3].

Ce sujet de stage s’inscrit dans le cadre du nouveau projet « SKETCH », financé par l’ANR pour 48 mois. Le stage sera donc un travail préparatoire à une thèse financée qui démarrera en septembre 2022.

Ces travaux de recherche originaux, liant reconnaissance de formes, IA et systèmes éducatifs (tuteurs intelligents) portent sur des documents semi-structurés et plus particulièrement sur les croquis manuscrits d’anatomie réalisés par les étudiants en formation médicale. Ce projet s’appuie sur des études récentes dans ce domaine qui ont démontré que l’introduction d’activités de dessin scientifique dans des cours de médecine et d’anatomie [5, 6] permettait d’améliorer les performances d’apprentissage des étudiants.

L’objectif est donc de concevoir un système tutoriel intelligent [7] orienté stylet capable d’interpréter et de superviser la réalisation de croquis à la volée (i.e. au fil de l’élaboration manuscrite), et les actions de l’utilisateur au regard du modèle de l’enseignant défini à l’aide d’un mode « auteur ». De cet objectif, nous pouvons dégager deux problématiques scientifiques, (i) l’interprétation de schémas manuscrits d’une part, et (ii) la modélisation de la connaissance experte via un système tutoriel intelligent d’autre part. Ces deux problématiques sont structurantes pour toute la durée du projet (stage + thèse). Le stage de recherche se focalisera principalement sur la première problématique.

  • Interprétation de schémas manuscrits

La reconnaissance de formes fait partie du savoir-faire de l’équipe IntuiDoc. Cependant, les croquis manuscrits d’anatomie sont caractérisés par une plus grande liberté de composition, ce qui implique une tâche d’interprétation beaucoup plus complexe que celles déjà traitées ; le challenge scientifique est donc encore très ouvert. Le moteur de reconnaissance se basera sur une approche à base de grammaire visuelle de type GMC-PC [2] pour extraire la connaissance structurelle du document à partir du schéma de référence de l’enseignant. Ces règles de composition permettront d’analyser la structure du schéma de l’étudiant. Alors qu’habituellement la connaissance grammaticale est définie par des règles explicitées par un expert, le défi ici est de pouvoir extraire de façon semi-supervisée ces règles à partir du croquis de référence élaboré par l’enseignant. Cette connaissance grammaticale structurelle sera combinée avec un système de reconnaissance de forme qui devra être incrémental, évolutif [1] et capable d’apprendre des formes manuscrites à partir de peu d’exemples.

  • Modélisation de la connaissance experte du tuteur

Il est primordial de pouvoir analyser sémantiquement les croquis de l’étudiant en vue de lui générer des feedbacks personnalisés et adaptatifs. Pour ce faire, il faudra modéliser la connaissance déclarative, relative au savoir du domaine. Elle peut être représentée sous différentes formes (règles expertes [10], graphes de connaissance [9], contraintes [8], etc.). Cette connaissance devra être dynamique et évolutive : elle sera composée d’une base générique modélisée par un expert d’une part, et sera enrichie par l’extraction de nouvelles connaissances à partir du schéma tracé par l’enseignant dans le mode auteur d’autre part. C’est cette connaissance déclarative qui permettra au tuteur de générer des feedbacks de correction dynamiques. L’autre type de connaissance à modéliser sera la connaissance procédurale, relative au savoir-faire du domaine, par la définition d’un environnement de planification permettant de synthétiser des stratégies de résolution, en nous inspirant des travaux sur l’apprentissage de la géométrie [3]. C’est cette formalisation de la connaissance procédurale qui permettra de générer un guidage sur les prochaines étapes de réalisation du croquis.

À ces défis scientifiques viendront s’ajouter des études d’usages avec des enseignants et étudiants en médecine. Ces études seront pilotées par le laboratoire LP3C, partenaire du Projet ANR SKETCH (à travers une autre thèse en psychologie et usages) et auront pour objectif d’évaluer l’efficacité pédagogique du dispositif vis-à-vis de la nature et de la typologie des feedbacks et des guidages qui seront adressés en temps réel à l’étudiant pendant son activité.

Références :

  • Almaksour, A. & Anquetil, E. (2011), “Improving premise structure in evolving Takagi-Sugeno neuro-fuzzy classifiers”, Evolving Systems, vol. 2, no. 1, 25–33.
  • Macé, S. & Anquetil, E. (2009). Eager interpretation of on-line hand-drawn structured documents: The DALI methodology. Pattern Recognition, Volume 42, Issue 12, 3202-3214.
  • Krichen, O., Anquetil, E. & Girard, N. (2020). IntuiGeo: Interactive tutor for online geometry problems resolution on pen-based tablets. European Conference on Artificial Intelligence (ECAI), Santiago de Compostela, Spain, 1842 – 1849.
  • Simonnet, D., Anquetil, E. & Bouillon, M. (2017). Multi-Criteria Handwriting Quality Analysis with Online Fuzzy Models. Pattern Recognition, 69, 310-324.
  • Alsaid, B., & Bertrand, M. (2016). Students’ memorization of anatomy, influence of drawing. Morphologie, 100(328), 2-6.
  • Joewono, M., Karmaya, I. N. M., Wirata, G., Yuliana, Widianti, I. G. A., & Wardana, I. N. G. (2018). Drawing method can improve musculoskeletal anatomy comprehension in medical faculty student. Anatomy & Cell Biology, 51(1), 14-18.
  • Nkambou, R., Mizoguchi, R. & Bourdeau, J. (2010). Advances in Intelligent Tutoring Systems, t. 308.
  • Mitrovic, A. (2010). Modeling Domains and Students with Constraint-Based Modeling, in: Advances in Intelligent Tutoring Systems, sous ladir. de Roger Nkambou, Jacqueline Bourdeau et Riichiro Mizoguchi, Berlin, Heidelberg: Springer Berlin Heidelberg, 2010, 63-80.
  • Yan, j., et al. (2018). A retrospective of knowledge graphs, in: Frontiers of Computer Science 12.1, 55-74.
  • Aleven, V. (2010). Rule-Based Cognitive Modeling for Intelligent Tutoring systems, in: Advances in Intelligent Tutoring Systems, sous. sous ladir. de Roger Nkambou, Jacqueline Bourdeau et Riichiro Mizoguchi, Berlin, Heidelberg : Springer