Post-doctorant : Wassim Swaileh
Conception d’une architecture de réseaux de neurones profonds dédiée à la synthèse d’écriture manuscrite à partir de capteurs cinématiques d’un stylo numérique.
Mots-clés
Apprentissage profond, écriture manuscrite, synthèse de production manuscrite, stylo numérique, analyse de signaux.
Partenaires
- Laboratoires de l’IRISA et de l’institut de technologie de Karlsruhe (KIT)
- Sociétés Stabilo et Learn&Go
Informations
- Durée : 18 mois
- Lieu : Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), 263 Avenue Général Leclerc, Rennes
Contexte
Ce post-doctorat est proposé par l’équipe Intuidoc de l’IRISA basée à Rennes. L’équipe IntuiDoc (www.irisa.fr/intuidoc/) effectue des recherches dans les domaines de la reconnaissance d’écriture manuscrite [Corbillé 2020, Lods 2020, Soullard 2019] et de l’analyse de documents [Soullard 2020, Guerry 2019]. L’équipe s’intéresse notamment à la conception de moteurs évolutifs de reconnaissance de formes et aux nouveaux usages autour de l’interaction stylet et gestuelle sur des surfaces tactiles (tablettes, tables tactiles, stylet numérique).
Ce post-doctorat financé s’inscrit dans le cadre du projet ANR franco-allemand KIHT associant côté français le laboratoire IRISA et la société Learn & Go et côté allemand l’institut de technologie de Karlsruhe (KIT) et la société Stabilo. Le projet s’inscrit dans l’extension d’un dispositif intelligent d’aide à l’apprentissage de l’écriture manuscrite sur tablette dans les classes.
L’extension consiste à ouvrir la solution à un nouveau ”device” de capture de l’écriture : un stylo numérique équipé de capteur cinématique qui permettra d’écrire sur n’importe quelle surface (écran et papier). La société Stabilo épaulée par le laboratoire allemand KIT a pour tâche de concevoir le hardware du stylo numérique ainsi que d’embarquer les algorithmes d’IA développés. De notre côté, nous mèneront, notamment à travers ce post-doctorat, les recherches de conception des algorithmes d’IA à base d’apprentissage profond qui permettront de synthétiser automatiquement le tracé manuscrit en-ligne à partir des signaux cinématiques produits par les capteurs du stylo numérique.
Sujet
Dans ce cadre, l’objectif ciblé par ce post-doctorat est donc de concevoir une architecture de réseaux de neurones profonds originale et performante pour générer automatiquement le tracé manuscrit en-ligne (c’est-à-dire avec sa dynamique) à partir des capteurs cinématiques du stylo numérique. Ce travail sera mené en parallèle d’une thèse.
Les challenges identifiés sont : 1) les capteurs cinématiques ne capturent qu’un mouvement relatif du stylet ce qui complique la tâche de synthèse de la trajectoire absolue du geste ; 2) le nombre de capteurs cinématiques utilisés est petit ce qui limite les informations en entrée du système ; 3) Pour aboutir à un stylo commercialisable dans les écoles, des capteurs à bas coût sont utilisés. les signaux générés sont parfois imprécis et bruités ; 4) Les trajectoires générées par l’écriture manuscrite sont composées de micro-mouvements qui peuvent être rapides et qui ne seront vraisemblablement pas tous captés cinématiquement. Pour faire face à ces challenges, une stratégie envisagée sera d’enrichir l’IA de connaissances sur l’écriture manuscrite pour compenser les faiblesses des signaux cinématiques d’entrée.
Les objectifs de ce post-doctorat seront multiples :
- Concevoir un environnement en Python dédié à la génération de tracés à partir de signaux de capteurs. Le tracé devra être synthétisé à partir des sorties d’un réseau, entraîné à reconstruire un geste à partir de signaux d’entrée. Cet environnement servira à expérimenter différentes méthodes d’apprentissage profond et sera donc associé à une libraire de deep learning (Pytorch / Tensorflow). Selon la librairie de deep learning retenue, on pourra venir enrichir un environnement dédié à l’expérimentation de méthodes d’apprentissage profond existant au sein de l’équipe.
- Etudier et évaluer des méthodes actuelles de référence, susceptibles de répondre à la problématique de la tâche voulue [Tang 2021, Wehbi 2020, Hsu 2019, Kumar 2018]. L’apprentissage et l’évaluation des architectures sera faite sur des données fournies par les partenaires industriels Stabilo et Learn&Go [Lai 2020, Ott 2020]. Ce travail sera conduit conjointement avec le doctorant.
- Proposer une architecture originale dédiée à la génération du tracé à partir de signaux et répondant aux contraintes des données. Pour cela, on s’inspirera des dernières innovations sur les architectures de réseaux de neurones et de solutions d’intérêt pour faire face aux différents challenges posés par les données. En particulier, les architecture de réseaux de neurones de référence et les dernières innovations ne sont généralement pas dédiées et utilisées à la production d’une synthèse de mouvements et à une application à des gestes composés de micro-mouvements [Nafea 2021, Shi 2020, Liu 2019]. On évaluera le modèle proposé tant pour sa capacité en généralisation que sa robustesse sur différents supports (tablette, papier).
Références
[Corbillé 2020] Corbillé, S., Fromont, E., Anquetil, E., & Nerdeux, P. (2020). Integrating Writing Dynamics in CNN for Online Children Handwriting Recognition. ICFHR.
[Guerry 2019] Guerry, C., Coüasnon, B., & Lemaitre, A. (2019). Combination of deep learning and syntactical approaches for the interpretation of interactions between text-lines and tabular structures in handwritten documents. ICDAR.
[Hsu 2019] Hsu, Y. L., & Wang, J. S. (2019). Random drift modeling and compensation for MEMS-based gyroscopes and its application in handwriting trajectory reconstruction. IEEE Access.
[Kumar 2018] Kumar, K. M., Kandala, H., & Reddy, N. S. (2018). Synthesizing and imitating handwriting using deep recurrent neural networks and mixture density networks. ICCCNT.
[Lai 2020] Lai, W. C., & Schröter, H. (2020). Ubicomp Digital 2020–Handwriting classification using a convolutional recurrent network. arXiv preprint arXiv:2008.01078.
[Liu 2019] J. Liu, A. Shahroudy, G. Wang, L. Duan and A. C. Kot, « Skeleton-Based Online Action Prediction Using Scale Selection Network, » PAMI, 2019.
[Lods 2020] Lods, A., Anquetil, E., & Macé, S. (2020). Graph Edit Distance for the analysis of children’s on-line handwritten arithmetical operations. ICFHR.
[Nafea 2021] Nafea, O., Abdul, W., Muhammad, G., & Alsulaiman, M. (2021). Sensor-Based Human Activity Recognition with Spatio-Temporal Deep Learning. Sensors.
[Ott 2020] Ott, F., Wehbi, M., Hamann, T., Barth, J., Eskofier, B., & Mutschler, C. (2020). The OnHW Dataset: Online Handwriting Recognition from IMU-Enhanced Ballpoint Pens with Machine Learning. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
[Shi 2020] L. Shi et al., « SC4D: A Sparse 4D Convolutional Network for Skeleton-Based Action Recognition », Arxiv, 2020, https://arxiv.org/abs/2004.03259
[Soullard 2019] Soullard, Y., Swaileh, W., Tranouez, P., Paquet, T., & Chatelain, C. (2019). Improving text recognition using optical and language model writer adaptation. ICDAR.
[Soullard 2020] Soullard, Y., Tranouez, P., Chatelain, C., Nicolas, S., & Paquet, T. (2020). Multi-scale Gated Fully Convolutional DenseNets for semantic labeling of historical newspaper images. Pattern Recognition Letters.
[Tang 2021] Tang, S., & Lian, Z. (2021) Write Like You: Synthesizing Your Cursive Online Chinese Handwriting via Metric-based Meta Learning.
[Wehbi 2020] Wehbi, M., Hamann, T., Barth, J., & Eskofier, B. (2020, September). Digitizing Handwriting with a Sensor Pen: A Writer-Independent Recognizer. In 2020 17th International Conference on Frontiers in Handwriting Recognition (ICFHR).
Prérequis
- Bonne compétence en Python
- Expérience approfondie en apprentissage profond avec au moins l’une des librairies de deep learning (Pytorch, Tensorflow, Keras).
- Expérience en traitement du signal est un plus
- Anglais (lu, écrit, parlé)
Encadrants
- Anquetil (eric.anquetil@irisa.fr), Professeur à l’INSA de Rennes, responsable de l’équipe Intuidoc de l’IRISA.
- Soullard (yann.soullard@univ-rennes2.fr), maître de conférences à l’université Rennes 2, collaborateur de l’équipe Intuidoc de l’IRISA.
- Tavenard (romain.tavenard@univ-rennes2.fr), maître de conférences à l’université Rennes 2, collaborateur de l’équipe Obelix de l’IRISA
