Stage M2R : Interactions pour la formation médicale en réalité virtuelle

Mots clés

Réalité Virtuelle, Interactions multimodales, Interactions collaboratives, compagnonnage, formation médicale

Contexte

Ce stage s'inscrit dans les domaines de l’interaction homme machine et de la réalité virtuelle (RV) appliqués à la formation médicale. Il vise à concevoir des interactions multimodales et collaboratives permettant à un formateur d’enseigner des gestes techniques en médecine à un apprenant dans un environnement virtuel. Il sera réalisé dans le cadre du projet Show-me (Virtual reality mentee-mentor multimodal collaboration for surgical skills training) financé par l’Agence Nationale de la Recherche (ANR) en collaboration avec le LabForSIMS, le CHSF, le LIMSI et le LS2N.

Problématique

Les internes en médecine sont traditionnellement formés sur la base du modèle de compagnonnage en s’entrainant sur les patients au cours des stages hospitaliers encadrés par des experts. Cependant, pour des raisons éthiques et de sécurité des patients, comme conclut par le rapport de la Haute Autorité de Santé 2012 "jamais la première fois sur le patient", le développement de nouveaux paradigmes de formation médicale innovants basés sur la simulation devient un nécessité et une urgence. Pour assurer cette transition pédagogique, les simulateurs basés sur les technologies de la réalité virtuelle peuvent jouer un rôle important. Cependant, leur développement reste complexe et potentiellement coûteux. Il est donc nécessaire de concentrer leur conception et leur utilisation sur les besoins réels de formation des professionnels de santé. L'objectif du projet ANR Show-Me est de concevoir de nouvelles techniques d'interaction multimodales et collaboratives et des interfaces utilisateurs innovantes permettant à un tuteur expert de partager ses compétences, de superviser et de guider un apprenant à travers un environnement de formation collaboratif et multimodal en réalité virtuelle pour un meilleur transfert des compétences médicales techniques. Cela permettra de garder le formateur dans la boucle et de profiter ainsi des avantages du modèle de compagnonnage mais dans un environnement plus sûr.

L’objectif du présent stage est de réaliser des études sur le terrain afin de mieux comprendre les interactions apprenant-formateur dans les situations de formations actuelles. Ces études permettront de guider la conception d’un premier prototype d’environnement virtuel collaboratif et multimodal pour la formation médicale en compagnonnage à travers la réalité virtuelle.

Travail à réaliser

1. Réaliser une étude de l’état de l’art du domaine,

2. Réaliser des études sur le terrain dans les blocs opératoires et les centres de formation (facilitées par les partenaires du projet) afin de mieux comprendre les situations de formation actuelles,

3. Définir un premier modèle d’interactions multimodales et collaboratives susceptible de supporter la formation médicale en telementoring dans un environnement virtuel,

4. Concevoir et évaluer une POC du système, en se basant sur des simulateurs de formation médicale déjà développés au sein du laboratoire IBISC,

5. Publier les résultats dans une conférence nationale ou internationale.

Compétences et qualités requises

Niveau M2 ou dernière année en école d’Ingénieur, Bonne maîtrise de la conception/programmation (si possible Unity/C#), connaissance des interactions multimodales, de la réalité virtuelle, de la méthodologie de conception centrée utilisateur, avoir un goût pour la recherche, le travail d’équipe et les échanges pluridisciplinaires.

Conditions du stage

Le stage se déroulera au laboratoire IBISC. Une plateforme expérimentale (plateforme EVR@) et des EV pour la simulation chirurgicale sont mis à disposition. Le stagiaire sera en interaction avec les doctorants et les autres stagiaires de l’équipe. Il sera également convié à participer à certaines réunions avec les cliniciens et à faire des observations sur le terrain dans les hôpitaux et les centres de formation médicale partenaires.

Durée : 6 mois (entre Février et Octobre 2021, selon disponibilités)

Gratification minimale légale (environ 560€/mois)

Un financement est disponible pour poursuivre ces travaux en thèse de doctorat pour un excellent(e) candidat(e).

Contact

Merci de faire parvenir une lettre de motivation, un CV, les relevés de notes du Master 1 et/ou Master 2, et deux lettres de recommandations recherche à :

Amine CHELLALI

01 69 47 75 33

amine.chellali@univ-evry.fr

https://www.ibisc.univ-evry.fr

Laboratoire IBISC EA 4526 - Equipe IRA2

Bâtiment Pelvoux 2, IUP

40, Rue du Pelvoux

Courcouronnes 91020 EVRY

References

• Chellali A, Mentis H, Miller A, Ahn W, Arikatla V, Sankaranarayanan G, Schwaitzberg S, Cao C (2016) Achieving Interface and Environment Fidelity in the Virtual Basic Laparoscopic Surgical Trainer. IJHCS 96: 22–37

• Chellali A, Dumas C, Milleville-Pennel I (2012) Haptic communication to support biopsy procedures learning in virtual environments. Presence: Teleoperators and Virtual Environments 21(4): 470–489

• Mentis H, Chellali A, Schwaitzberg S (2014) Learning to see the body: supporting instructional practices in laparoscopic surgical procedures. Proceedings of the CHI Conference on Human Factors in Computing Systems, pp 2113–2122

• Mentis HM, Feng Y, Semsar A, Ponsky TA (2020) Remotely Shaping the View in Surgical Telementoring. Proceedings of the CHI Conference on Human Factors in Computing Systems, pp 1–14

• Le Chénéchal M, Duval T, Gouranton V, Royan J, Arnaldi B (2019) Help! I Need a Remote Guide in My Mixed Reality Collaborative Environment. Frontiers in Robotics and AI 6: 106

• Chengyuan, Edgar, Maria, et al. (2020) How About the Mentor? Effective Workspace Visualization in AR Telementoring. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)

• Lee G, Kang H, Lee J, Han J (2020) A User Study on View-sharing Techniques for One-to-Many Mixed Reality Collaborations. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)

• Moll J, Frid E (2017) Using eye-tracking to study the effect of haptic feedback on visual focus during collaborative object managing in a multimodal virtual interface. SweCog 2017, October 26–27, Uppsala, Sweden, pp 49–51

• Moll J, Pysander ELS, Eklundh KS, Hellström SO (2014) The effects of audio and haptic feedback on collaborative scanning and placing. Interacting with computers 26: 177–195

• Wang J, Chellali A, Cao CGL (2016) Haptic communication in collaborative virtual environments. Human factors 58: 496–508

• Ricca A, Chellali A, Otmane S (2020) Comparing touch-based and head-tracking navigation techniques in a virtual reality biopsy simulator. Virtual Reality, https://doi.org/10.1007/s10055-020-00445-7

• Ricca, A. Chellali, A., Otmane, S. (2020) Influence of hand visualization on tool-based motor skills training in an immersive VR simulator. In the proceedings of IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp 339-347