Combinaison de modèles génératifs non supervisés et d’une méthode syntaxique pour la détection de symboles musicaux avec peu de données annotées
Soutenue le 30 juin 2021
Résumé
Dans ces travaux, nous étudions la détection de symboles musicaux dans des partitions historiques imprimées, complexes, denses et bruitées en utilisant des modèles de détection de Deep Learning. Nous proposons une étude comparative de plusieurs modèles de détection de l’état de l’art appliqués aux symboles musicaux ainsi qu’une nouvelle architecture basée sur le Spatial Transformer pour une tâche de détection spécifique et contrainte. Bien que cette nouvelle architecture nous a permis d’explorer une approche originale à la détection, nous obtenons 94,8% de mAP alors que la meilleure méthode de l’état de l’art obtient un mAP de 98,7%. L’utilisation de modèles de Deep Learning nécessitant une grande quantité de données annotées, nous proposons l’Isolating-GAN, une nouvelle méthode de détection de symboles musicaux non supervisée et basée sur un réseau antagoniste génératif (GAN). En utilisant uniquement des exemples de symboles isolés, nous construisons un modèle génératif de type encodeur-décodeur capable de filtrer et d’isoler des symboles musicaux de leur contexte bruité et nous entraînons ce modèle en utilisant une fonction d’apprentissage hybride. Les symboles précédemment isolés sont par la suite détectés en utilisant un petit détecteur préentrainé avec des symboles isolés sur fond blanc. Avec cette approche, nous obtenons un mAP de 82,5% dans le cadre d’une tâche de détection de trois types d’altérations. Nous démontrons que l’apport de l’Isolating-GAN pour filtrer et isoler les symboles avant détection permet de réduire le nombre de faux positifs de 2696 à 57. L’ensemble a été appliqué sur 1774 pages de partitions anciennes et a permis de détecter 38908 altérations.
Composition du jury :
- ÉGLIN Véronique, Professeur à l’INSA de Lyon
- PAQUET Thierry, Professeur à l’Université de Rouen et Normandie Université
- FORNÉS Alicia, Senior Research Fellow at Universitat Autònoma de Barcelona
- FUJINAGA Ichiro, Associate Professor at McGill University
- MOUCHÈRE Harold, Professeur à l’Université de Nantes
- COÜASNON Bertrand, HDR à l’INSA de Rennes
- RICQUEBOURG Yann, Maître de conférence à l’INSA de Rennes
- ZANIBBI Richard, Professor at Rochester Institute of Technology
