Soutenance de thèse Cassandre SIMON (IBISC)

Bonjour à toutes et à tous,

J'ai le plaisir de vous inviter à ma soutenance de thèse de doctorat en informatique intitulée : Interaction collaborative et multimodalité pour la formation médicale en réalité virtuelle. Ma thèse a été préparée au sein du laboratoire IBISC (Université Evry Paris-Saclay) sous l'encadrement de Samir OTMANE et Amine CHELLALI.

Date et heure : Mardi 17 décembre, 2024 à 14H

Lieu : Université d'Évry, 36 Rue du Pelvoux, 91034 Évry-Courcouronnes

Salle : Bx30

Vous êtes également conviés au pot qui suivra la soutenance.

Membres du jury

• Mme Dominique BECHMANN, Professeure, Université de Strasbourg, ICube, Rapporteure

• M. Thierry DUVAL, Professeur, IMT Atlantique, Lab-STICC, Rapporteur

• M. Gilles BAILLY, Directeur de recherche CNRS, Sorbonne Université, ISIR, Examinateur

• Mme Stéphanie FLECK, Maître de conférences HDR, Université de Lorraine, PErSEUs, Examinatrice

Résumé

Le compagnonnage, modèle traditionnel de la formation médicale, soulève des enjeux éthiques et de sécurité car les novices s’exercent sur de vrais patients. Pour y remédier, la Haute Autorité de Santé (HAS) a instauré la directive « jamais la première fois sur un patient », encourageant l’usage de la simulation. La réalité virtuelle (RV) s’impose alors comme un outil prometteur, offrant un environnement immersif où les étudiants peuvent s’exercer sans risque pour les patients. Cependant, les simulateurs actuels sont majoritairement centrés sur l’apprentissage autonome, limitant ainsi la présence d’un instructeur pour guider les apprenants. Cette absence soulève la question de comment réintégrer un instructeur dans les simulateurs immersifs pour optimiser la formation. Dans cette thèse, nous explorons la conception d’interactions multimodales et collaboratives dans des environnements virtuels collaboratifs (EVCs), afin de permettre à un instructeur de superviser et d’accompagner un apprenant dans l’apprentissage de gestes techniques. Nous avons étudié les interactions entre instructeur et apprenant à la fois dans le monde réel et le virtuel, en adaptant une approche centrée sur l’humain. Sur la base de l’analyse de terrain, nous avons modélisé ces interactions et conçu plusieurs environnements virtuels collaboratifs pour tester différentes modalités de communication. Trois études expérimentales ont été réalisées pour évaluer l’impact des modalités de communications sur le transfert des compétences techniques. Les résultats des deux premières études montrent que les instructions visuo-haptiques offrent les meilleures performances en termes de rapidité et de précision, tandis que l’ajout de la modalité verbale améliore l’expérience utilisateur. Dans la troisième étude, les feedbacks visuels ont accéléré l’exécution des tâches, tandis que les feedbacks visuo-haptiques ont optimisé l’expérience utilisateur en réduisant la charge cognitive et en renforçant la collaboration. Nos travaux fournissent des recommandations pour la conception d’EVCs destinés à la formation aux gestes techniques. Ils montrent que l’intégration d’une communication multimodale améliore significativement les interactions entre l’instructeur et l’apprenant, en optimisant la communication et la collaboration. Ces résultats offrent des pistes prometteuses pour réintégrer efficacement l’instructeur dans les environnements virtuels de formation.

---

Hello everyone,

I am pleased to invite you to my PhD defense in computer science entitled: Collaborative interaction and multimodality for medical training in virtual reality. My PhD has been prepared within the IBISC laboratory (Université Evry Paris-Saclay) under the supervision of Samir OTMANE and Amine CHELLALI.

Date and time: Tuesday, December 17th, 2024, at 2PM

Location: Université d'Évry, 36 Rue du Pelvoux, 91034 Évry-Courcouronnes

Room: Bx30

You are also invited to the reception that will take place after the defense.

Jury members

Ms. Dominique BECHMANN, Professor, Université de Strasbourg, ICube, Reviewer

Mr. Thierry DUVAL, Professor, IMT Atlantique, Lab-STICC, Reviewer

Mr. Gilles BAILLY, CNRS Research director Sorbonne Université, ISIR, Examiner

Ms. Stéphanie FLECK, Associate professor, Université de Lorraine, PErSEUs, Examiner

Abstract

The traditional mentorship model in medical training raises ethical and safety concerns because novices often practice on real patients. In response to this, the Haut Autorité de Santé (HAS) established the directive "never the first time on a patient," encouraging the use of simulation as an alternative. Virtual reality (VR) has emerged as a promising solution, offering an immersive environment for students to practice without posing any risk to patients. However, current simulators primarily emphasize autonomous learning, which limits the presence of an instructor to guide learners. This raises the important question of reintroducing instructors into immersive simulators to enhance the effectiveness of training. In this thesis, we explore the design of multimodal and collaborative interactions in collaborative virtual environments (CVEs), enabling an instructor to supervise and support a learner in acquiring technical skills. We studied the interactions between instructor and learner in both real and virtual worlds, adapting a human-centered approach. Based on field analysis, we modeled these interactions and designed several collaborative virtual environments to test different communication modalities. Three experimental studies were conducted to evaluate the impact of communication modalities on the transfer of technical skills. The results of the first two studies show that visuo-haptic instructions yield the best performance in terms of speed and accuracy, while the addition of verbal modality enhances the user experience. In the third study, visual feedback accelerated task execution, while visuo-haptic feedback optimized the user experience by reducing cognitive load and enhancing collaboration. Our work provides recommendations for the design of CVEs intended for training in technical skills. It demonstrates that integrating multimodal communication significantly improves interactions between the instructor and learner, optimizing both communication and collaboration. These results provide promising avenues for effectively reintroducing instructors into virtual training environments.