Postdoc' 24 mois: Analyse des mouvements d'experts - LISPEN

Proposition de poste de post-doctorat 24 mois

Analyse des mouvements d’experts pour le développement d’une plateforme d’apprentissage innovante

1. Contexte

Le poste de post-doctorat proposé s’inscrit dans le cadre de la formation innovante pour les métiers des équipements agricoles. Il fait partie du consortium PLAPIMA. Soutenu par la Fondation UNIT, le consortium PLAPIMA vise à relever les défis majeurs liés aux profondes mutations du secteur des machines agricoles. Le projet PLAPIMA a pour objectifs :

• de fournir une formation aux compétences clés de demain dans le secteur des machines agricoles ;

• de développer des supports pédagogiques innovants, réalistes et conformes aux attentes du monde professionnel ;

• d’enrichir les cursus existants avec des outils de formation innovants ;

• et enfin, de renforcer l’attractivité des métiers.

Le consortium PLAPIMA regroupe huit partenaires, dont le laboratoire LISPEN, qui sera le laboratoire d’accueil du post-doctorant. Le laboratoire LISPEN de l’ENSAM (École Nationale Supérieure d’Arts et Métiers) à Chalon-sur-Saône est dédié à l’enseignement, la recherche et la diffusion des méthodes et outils d’immersion multisensorielle pour l’interaction avec des modèles virtuels en réalité étendue (réalité virtuelle, augmentée et mixte). Le LISPEN dispose d’une expertise en assistance personnalisée pour les opérateurs de maintenance en réalité augmentée. Il contribuera au projet PLAPIMA dans les domaines suivants :

• analyse des mouvements des opérateurs experts et des apprenants ;

• retour multimodal aux apprenants en réalité virtuelle et/ou augmentée.

2. Problématique

Dans le cadre du projet PLAPIMA, le poste de post-doctorat portera sur les problématiques suivantes :

• analyse des mouvements des opérateurs experts pour la reconstruction du squelette d’une opération de maintenance, d’utilisation ou de préparation de l’équipement ;

• analyse des mouvements de l’apprenant ;

• retour multimodal à l’apprenant (visuel, audio, haptique) en réalité virtuelle et/ou augmentée.

3. État de l’art

Plateforme d’apprentissage innovante

Les technologies innovantes d’e-learning, numériques, de réalité virtuelle (VR), de réalité augmentée (AR) et d’intelligence artificielle (IA) peuvent être exploités pour rendre plus efficace l’enseignement des compétences professionnelles.

• L’IA peut évaluer les forces et faiblesses individuelles, offrant des expériences d’apprentissage personnalisées adaptées aux besoins de l’apprenant [1], [2], [3].

• Les simulations immersives en VR permettent de créer des environnements réalistes pour acquérir des compétences techniques sans risque [4], [5].

• La VR peut aussi être utilisée pour enseigner des compétences comportementales (leadership, travail en équipe, communication, éthique) via des environnements interactifs et engageants [6].

• Le retour en temps réel améliore le processus d’apprentissage et permet une analyse détaillée des performances [5].

Analyse des mouvements des experts ou des apprenants

Pour capturer les gestes experts et construire des séquences d’apprentissage ou des guides visuels pour débutants, plusieurs méthodologies et technologies peuvent être déployées.

• Un système VR peut enregistrer les gestes experts et les rejouer dans un environnement virtuel, permettant aux apprenants d’observer et d’étudier les gestes sous différents angles [7].

• Les systèmes AR peuvent suivre et enregistrer les démonstrations d’experts, synchronisant parole et action pour créer des repères spatiaux [8].

• La capture de mouvement combinée à l’apprentissage automatique peut modéliser les gestes experts et les comparer en temps réel avec ceux de l’apprenant, fournissant un retour sur les différences cinématiques [9].

• Des caractéristiques spatio-temporelles peuvent être capturées à partir de données vidéo, améliorant la reconnaissance des gestes [10].

• Des systèmes permettent aux apprenants d’imiter physiquement les gestes experts avec un retour en temps réel ce qui améliore significativement l’apprentissage [11].

• Fournir un retour visuel et sonore basé sur la comparaison des gestes expert/apprenant aide à corriger les erreurs plus efficacement [9].

L’intégration des technologies immersives et des outils d’analyse des mouvements dans les systèmes éducatifs ouvre la voie à une formation plus personnalisée, interactive et efficace, centrée sur l’observation, la reproduction et l’évaluation des mouvements experts.

4. Problématique scientifique

Deux questions de recherche sont abordées dans ce projet :

• Comment reconstruire une activité professionnelle à partir de l’analyse des mouvements experts ?

• Comment analyser le comportement de l’apprenant ?

Reconstruction d’une activité professionnelle à partir des mouvements experts

Ce premier défi consistera à proposer des méthodes et outils innovants pour :

• analyser les mouvements d’un expert afin d’identifier les règles et gestes de référence ;

• modéliser l’activité professionnelle à partir de gestes experts ;

• intégrer ce modèle dans les outils d’IA développés par un partenaire du projet PLAPIMA.

Analyse du comportement de l’apprenant

Ce second défi consistera à proposer des méthodes et outils innovants pour :

• analyser le comportement et les mouvements de l’apprenant afin de générer un profil ;

• intégrer les données collectées dans le support d’apprentissage développé par un partenaire du projet PLAPIMA.

5. Approche proposée

L’approche suivra les étapes suivantes :

• état de l’art lié aux problématiques ;

• étude des questions scientifiques ;

• développement de démonstrateurs technologiques ;

• développement de systèmes pour collecter et modéliser les gestes des experts et des apprenants ;

• expérimentation pour valider les méthodes proposées ;

• publications.

Ce travail sera réalisé dans le cadre du projet PLAPIMA. Le post-doctorant collaborera avec les partenaires académiques, socio-économiques et didactiques du projet.

6. Résultats attendus

Les résultats attendus sont :

• démonstrateurs technologiques pour preuve de concept ;

• système complet, testé et certifié ;

• publications dans des conférences internationales et des revues à comité de lecture ;

• communications lors de séminaires et réunions internes ;

• rapports scientifiques et techniques.

7. Durée du post doc et lieu de travail

La durée du post-doc est de 24 mois, le travail sera réalisé au laboratoire LISPEN à Chalon-sur- Saône, France.

8. Profil du candidat

Le candidat devra être titulaire d’un doctorat.

Le profil attendu doit correspondre à certains de ces mots-clés :

• Analyse de poste de travail

• Sciences industrielles et informatiques

Compétences appréciées :

• Interaction homme-système (conception, évaluation)

• Réalité virtuelle et augmentée

• Retours multisensoriels en immersion mixte

• Intelligence artificielle

La maîtrise du français et de l’anglais est requise.

9 – Contacts

La candidature est à adresser par mail aux contacts suivants.

• Florence Danglade : Florence.danglade@ensam.eu

• Frédéric Merienne : frederic.merienne@ensam.eu

10 - Références

• [1] Rajput, R., Sharma , (2025), Teacher professional development in the digital age P. Smart Education and Sustainable Learning Environments in Smart Cities

• [2] Zaralli, M. (2025). The Evolution of Professional Training: How Artificial Intelligence Technologies Can Accelerate the Learning (1st ed.). Productivity Press. https://doi.org/10.4324/9781003562801

• [3] Gandedkar, N.H., Wong, M.T., Darendeliler, M.A., (2021), Role of virtual reality (VR) , augmented reality (AR) and artificial intelligence (AI) in tertiary education and research of orthodontics: An insight Seminars in Orthodontics

• [4] Nasir, Y,. (2025) Continuing education and training Next-Generation Dentistry Practices to Enhance Patient Outcomes

• [5] Dybała, J., Kordecki, A. , (2023), Concept of Virtual Reality Training of Facility Management Employees Using Eye Tracking Applied Sciences (Switzerland)

• [6] Nelson, M.E., Ahn, B. , (2018) Virtual Reality Activities for Teaching Engineering Students Professional Development Skills Proceedings - Frontiers in Education Conference, FIE

• [7] Agueda, V., Hamon, L., George, S., Petitprez, P.-J. , (2024), Building Suitable Observation Points to Enhance the Learner’s Perception of Information in Virtual Environment for Gesture Learning, International Conference on Computer Supported Education, CSEDU - Proceedings

• [8] Zhao, A.Y., Weng, S.C.-C., Finstuen, E.G., (...), Do, E.Y.-L. , (2024), The WizARd and Apprentice: An Augmented Reality Expert Capture System, Proceedings - 2024 IEEE International Symposium on Mixed and Augmented Reality Adjunct, ISMAR-Adjunct 2024

• [9] Glushkova, A., Manitsaris, S. , (2018), Gesture recognition and sensorimotor learning-by-doing of motor skills in manual professions: A case study in the wheel-throwing art of pottery, Journal of Computer Assisted Learning

• [10] Elboushaki, A., Hannane, R., Afdel, K., Koutti, L. , (2020), MultiD-CNN: A multi-dimensional feature learning approach based on deep convolutional networks for gesture recognition in RGB- D image sequences, Expert Systems with Applications, 2020

• [11] Monserrat, C., Lucas, A., Hernández-Orallo, J., Rupérez, M.J. , (2014), Automatic supervision of gestures to guide novice surgeons during training Surgical Endoscopy