Sujet de Thèse (2022) : Système tutoriel intelligent pour l’apprentissage par croquis (SKETCH)

Thèse projet ANR (SKETCH 2022) : Système tutoriel intelligent pour l’apprentissage par croquis (SKETCH)

Encadrants :
E. Anquetil (eric.anquetil@irisa.fr), Prof. à l’INSA de Rennes, Responsable de l’équipe IntuiDoc.
N. Girard (nathalie.girard@irisa.fr), MC Univ. Rennes 1, équipe IntuiDoc.

Lieu : laboratoire IRISA, IntuiDoc, Rennes

Mots-clés : systèmes tutoriels intelligents, interprétation de documents manuscrits semi-structurés, tablettes orientées stylet, grammaires visuelles, croquis, Intelligence Artificielle, médecine, anatomie, pédagogie, apprentissage.

L’équipe de recherche IntuiDoc (http://www.irisa.fr/intuidoc/) de l’IRISA travaille sur l’analyse et la reconnaissance de tracés et de gestes manuscrits réalisés sur surfaces 2D : tablettes et écrans tactiles. IntuiDoc s’intéresse notamment à la conception de moteur de reconnaissance de formes et aux nouveaux usages autour de l’interaction gestuelle sur des surfaces tactiles. L’équipe s’intéresse aussi aux environnements d’éducation numériques en profitant de la démocratisation des tablettes stylet en classes, avec le pilotage de plusieurs travaux récents sur l’apprentissage de l’écriture manuscrite pour les classes de primaire et de maternelle [4], ou sur la production de schémas géométriques pour les classes de collège [3].

Cette thèse s’inscrit dans le cadre du nouveau projet « SKETCH », financé par l’ANR pour 48 mois. Cette thèse financée sur ce projet démarrera pourra démarrer entre avril et octobre 2022.

Cette thèse s’inscrit dans la continuation des travaux de l’équipe liant reconnaissance de formes et systèmes éducatifs en se focalisant sur les croquis d’anatomie pour les étudiants en formation médicale. Ce projet s’appuie sur des études récentes dans ce domaine qui ont démontré que l’introduction d’activités de dessin scientifique dans des cours d’anatomie [5, 6] permettait d’améliorer les performances d’apprentissage des étudiants.

L’objectif de cette thèse est de concevoir un système tutoriel intelligent [7] orienté stylet capable d’interpréter et de superviser la réalisation de croquis à la volée (i.e. au fil de l’élaboration manuscrite), et les actions de l’utilisateur au regard du modèle de l’enseignant défini à l’aide d’un mode « auteur ». Ces travaux de recherche sont donc très originaux car ils associent des enjeux de reconnaissance de formes, d’IA et de systèmes éducatifs (tuteurs intelligents). Nous pouvons dégager deux problématiques scientifiques majeures : l’interprétation de schémas manuscrits semi-structurés d’une part, et la modélisation de la connaissance experte via un système tutoriel intelligent d’autre part.

Interprétation de schémas manuscrits

La reconnaissance de formes fait partie du savoir-faire de l’équipe. Cependant, les croquis d’anatomie sont caractérisés par une plus grande liberté de composition : on parle d’interprétation de schémas manuscrits semi-structurés.  Cela implique une tâche d’interprétation beaucoup plus complexe que celles déjà traitées ; le challenge scientifique est donc encore très ouvert. Le moteur de reconnaissance se basera sur une approche à base de grammaire visuelle de type GMC-PC [2] pour extraire la connaissance structurelle du document à partir du schéma de référence de l’enseignant. Ces règles de composition permettront d’analyser la structure du schéma de l’étudiant. Alors qu’habituellement la connaissance grammaticale est définie par des règles explicitées par un expert, le défi ici est de pouvoir extraire de façon semi-supervisée ces règles à partir du croquis de référence élaboré par l’enseignant. Cette connaissance grammaticale structurelle sera combinée avec des systèmes évolutifs de reconnaissance incrémentale [1] capable d’apprendre des formes manuscrites à partir de peu d’exemples, ce qui permettra de s’adapter à différents styles de composition.

Modélisation de la connaissance experte du tuteur

Il est primordial de pouvoir analyser sémantiquement les croquis de l’élève en vue de générer des feedbacks personnalisés et adaptatifs. Pour ce faire, il faudra modéliser la connaissance déclarative, relative au savoir du domaine. Elle peut être représentée sous différentes formes (règles expertes [10], graphes de connaissance [9], contraintes [8], etc.). Cette connaissance devra être dynamique et évolutive : elle sera composée d’une base générique modélisée par un expert d’une part, et sera enrichie par l’extraction de nouvelles connaissances à partir du schéma tracé par l’enseignant dans le mode auteur d’autre part. C’est cette connaissance déclarative qui permettra au tuteur de générer des feedbacks de correction dynamiques. L’autre type de connaissance à modéliser sera la connaissance procédurale, relative au savoir-faire du domaine, par la définition d’un environnement de planification permettant de synthétiser des stratégies de résolution, en nous inspirant des travaux sur l’apprentissage de la géométrie [3]. C’est cette formalisation de la connaissance procédurale qui permettra de générer un guidage sur les prochaines étapes de réalisation du croquis.

 

À ces défis scientifiques viendront s’ajouter des études d’usages avec des enseignants et étudiants en médecine. Ces études seront pilotées par le laboratoire LP3C, partenaire du Projet ANR SKETCH (à travers une autre thèse en psychologie et usages) et auront pour objectif d’évaluer l’efficacité pédagogique du dispositif vis-à-vis de la nature et de la typologie des feedbacks et des guidages qui seront adressés en temps réel à l’étudiant pendant son activité.

Références :

  • Almaksour, A. & Anquetil, E. (2011), “Improving premise structure in evolving Takagi-Sugeno neuro-fuzzy classifiers”, Evolving Systems, vol. 2, no. 1, 25–33.
  • Macé, S. & Anquetil, E. (2009). Eager interpretation of on-line hand-drawn structured documents: The DALI methodology. Pattern Recognition, Volume 42, Issue 12, 3202-3214.
  • Krichen, O., Anquetil, E. & Girard, N. (2020). IntuiGeo: Interactive tutor for online geometry problems resolution on pen-based tablets. European Conference on Artificial Intelligence (ECAI), Santiago de Compostela, Spain, 1842 – 1849.
  • Simonnet, D., Anquetil, E. & Bouillon, M. (2017). Multi-Criteria Handwriting Quality Analysis with Online Fuzzy Models. Pattern Recognition, 69, 310-324.
  • Alsaid, B., & Bertrand, M. (2016). Students’ memorization of anatomy, influence of drawing. Morphologie, 100(328), 2-6.
  • Joewono, M., Karmaya, I. N. M., Wirata, G., Yuliana, Widianti, I. G. A., & Wardana, I. N. G. (2018). Drawing method can improve musculoskeletal anatomy comprehension in medical faculty student. Anatomy & Cell Biology, 51(1), 14-18.
  • Nkambou, R., Mizoguchi, R. & Bourdeau, J. (2010). Advances in Intelligent Tutoring Systems, t. 308.
  • Mitrovic, A. (2010). Modeling Domains and Students with Constraint-Based Modeling, in: Advances in Intelligent Tutoring Systems, sous ladir. de Roger Nkambou, Jacqueline Bourdeau et Riichiro Mizoguchi, Berlin, Heidelberg : Springer Berlin Heidelberg, 2010, 63-80.
  • Yan, j., et al. (2018). A retrospective of knowledge graphs, in: Frontiers of Computer Science 12.1, 55-74.
  • Aleven, V. (2010). Rule-Based Cognitive Modeling for Intelligent Tutoring systems, in: Advances in Intelligent Tutoring Systems, sous. sous ladir. de Roger Nkambou, Jacqueline Bourdeau et Riichiro Mizoguchi, Berlin, Heidelberg : Springer