ABONNEZ-VOUS À NOTRE NEWSLETTER

Thèse iCube (U. Strasbourg) et LISPEN (ENSAM)

Influence des informations émotionnelles dans des situations de collaboration

Résumé

La communication émotionnelle joue un rôle fondamental dans les interactions sociales, influençant la prise de décision, la coopération et la cohésion de groupe, tant en présentiel qu’en environnement virtuel.

Dans les interactions numériques, l’absence d’indices non verbaux complique la transmission des émotions, mais des solutions comme les représentations symboliques ou physiologiques permettent d’améliorer l’expression et l’interprétation des états affectifs. Parmi ces solutions, l’intégration des états physiologiques internes (rythme cardiaque, respiration) en réalité virtuelle (VR) pourrait renforcer la présence sociale et les interactions collaboratives.

Ce projet vise à analyser l’impact de la transmission des états physiologiques internes sur les interactions en Réalité Étendue (XR). Il repose sur la mesure en temps réel de la fréquence cardiaque et de la respiration, qui sont des indicateurs de l’état émotionnel et de la charge cognitive. Ces signaux seront intégrés dans un environnement immersif via des visualisations intradiégétiques, dont l’efficacité sera évaluée selon leur influence sur la perception de soi, la présence sociale et la collaboration.

La méthodologie s’articule en cinq phases : (1) la mesure et l’intégration des états physiologiques en temps réel, (2) la conception de représentations intradiégétiques, (3) le développement d’un scénario collaboratif en XR, (4) l’évaluation expérimentale des effets sur la performance, et (5) la diffusion des résultats. Cette recherche apportera des connaissances théoriques et appliquées sur la manière dont les feedbacks physiologiques peuvent influencer la collaboration en XR et contribuera à mieux intégrer les informations affectives via des environnements adaptatifs collaboratifs.

Groupe de recherche

L’équipe IGG (Informatique Graphique et Géométrique) du laboratoire ICube mène des recherches en réalité virtuelle (RV), avec un focus particulier sur l’influence des émotions sur l’expérience immersive des utilisateurs. L’objectif est de proposer de nouvelles méthodes pour adapter dynamiquement les environnements virtuels aux réactions et aux comportements des utilisateurs, en intégrant des modèles cognitifs et émotionnels. Ces travaux permettent de mieux comprendre l’impact des émotions sur l’immersion et d’optimiser l’interaction homme-machine en RV.

De son côté, le LISPEN (Laboratoire d’Ingénierie des Systèmes Physiques et Numériques), rattaché à l’École Nationale Supérieure d’Arts et Métiers (ENSAM), explore les applications ergonomiques et pédagogiques de la réalité virtuelle. Il développe des simulateurs immersifs destinés à la formation professionnelle et à l’apprentissage de gestes techniques, tout en étudiant les interactions entre humains et agents virtuels dans des environnements collaboratifs.

Contexte et état de l’art

La communication émotionnelle joue un rôle fondamental dans les interactions sociales, influençant l’expression individuelle, l’interprétation des émotions d’autrui et la régulation des dynamiques interpersonnelles. Les émotions impactent la prise de décision, la coopération, la construction de la confiance et la cohésion de groupe, tant dans les interactions en présentiel que dans les environnements virtuels [1]. Les indices émotionnels non verbaux, tels que les expressions faciales, le ton de la voix, le langage corporel et les signaux physiologiques, permettent aux individus de transmettre efficacement leurs états affectifs et intentions [2].

Dans la communication médiée par la technologie (ex. messagerie texte, e-mails, réalité virtuelle), l’absence d’indices non verbaux traditionnels peut compliquer la transmission des émotions. Cependant, des représentations symboliques simplifiées, telles que les émoticônes et emojis, se sont révélées être des outils efficaces pour compenser cette absence et enrichir l’expression émotionnelle dans les interactions numériques [3].

Les états physiologiques internes — tels que la fréquence cardiaque, la respiration et la tension musculaire — jouent un rôle essentiel dans la génération, l’expression et la communication des émotions. Ces signaux corporels fournissent des informations cruciales sur l’état émotionnel, la charge cognitive et le niveau de stress d’un individu, influençant ainsi les interactions verbales et non verbales, les dynamiques de groupe et la prise de décision [4]. Par exemple, des recherches récentes mettent en évidence le rôle de la synchronie physiologique, où les individus alignent inconsciemment leur fréquence cardiaque, leur respiration ou leur activité neuronale lors de collaborations réussies [5]. Une synchronie physiologique accrue est associée à une meilleure coordination, une confiance mutuelle plus élevée et de meilleures performances, notamment dans les contextes à fort niveau de stress tels que les environnements médicaux, les gestion de crises ou les engagements militaires [6]. L’intégration des états physiologiques internes dans les interactions sociales, en particulier dans des environnements à fort enjeu émotionnel ou immersifs pourrait donc considérablement améliorer la coordination d’équipe, l’empathie et l’adaptabilité comportementale.

Problématique et Objectifs

Dans les environnements de réalité virtuelle (VR), la communication des émotions en temps réel via les expressions des avatars, le contact visuel et la rétroaction physiologique peut améliorer la présence sociale et l’engagement dans les interactions collaboratives [7]. Des recherches récentes ont exploré des solutions techniques pour la synthèse en temps réel des expressions faciales des avatars, afin de faciliter la communication émotionnelle dans les environnements virtuels [8]-[10]. Cependant, ces techniques restent coûteuses, peu fiables et technologiquement limitées pour une application à grande échelle [11].

Face à ces contraintes, des approches alternatives ont été développées pour compléter la communication verbale en intégrant des représentations intradiégétiques des émotions et des états cognitifs. Des études suggèrent que des représentations symboliques ou archétypales des émotions dans l’environnement virtuel pourraient constituer une méthode simple mais efficace pour transmettre des informations affectives [12].

En réalité virtuelle, les états physiologiques internes pourraient être exploités pour améliorer la communication émotionnelle et la présence sociale. Des technologies intégrant une rétroaction physiologique en temps réel, telles que des avatars synchronisés avec le rythme cardiaque ou des environnements adaptatifs réagissant aux états émotionnels, pourraient rendre les interactions virtuelles plus expressives et engageantes [13].

Cette recherche s’appuie sur une première phase exploratoire, financée par le PEPR ENSEMBLE, qui vise à étudier des outils et méthodes pour la représentation des états physiologiques internes à travers des visualisations intradiégétiques dans des environnements immersifs. Cette étude préliminaire s’est concentrée sur l’impact de ces représentations sur la perception de son propre état physiologique. Le présent projet vise à poursuivre ce travail et à l’élargir afin d’analyser l’impact de la transmission des états physiologiques internes sur les interactions collaboratives en Réalité Étendue (XR). L’étude portera sur l’influence de la rétroaction physiologique et des indices interoceptifs sur la présence sociale, la coordination d’équipe, l’efficacité de la communication et la performance utilisateur. Les résultats attendus pourront contribuer à la conception d’environnements de collaboration XR adaptatifs intégrant des informations sur les états physiologiques des personnes engagées, dans le but d’améliorer l’interaction et la collaboration dans des contextes professionnels et éducatifs.

Méthodologie de Recherche et Plan de Mise en OEuvre

Ce travail se déroulera en cinq phases.

Phase 1 : Mesure et intégration des états physiologiques internes en temps réel

Nous utiliserons deux mesures physiologiques principales :

• La fréquence cardiaque, associé aux niveaux d’activation émotionnelle, de charge cognitive et de stress, mesurée en temps réel via des capteurs photopléthysmographiques (PPG) [14].

• La respiration, reconnue comme un marqueur de régulation émotionnelle, d’effort cognitif et de synchronisation physiologique dans les interactions sociales. Elle sera mesurée via des capteurs inductifs thoraciques (RIP) [15].

Phase 2 : Conception et évaluation des représentations intradiégétiques

Cette phase consistera à développer et valider des visualisations intradiégétiques des états émotionnels et physiologiques. Nous évaluerons l’impact de ces représentations sur la conscience émotionnelle des participants dans des environnements immersifs et nous chercherons à savoirs si des phénomènes de contagion émotionnelle ( le processus par lequel les émotions d’un individu influencent automatiquement et involontairement les émotions des autres, conduisant à une synchronisation affective au sein d’un groupe) peuvent se produire dans des environnements de XR.

Phase 3 : Développement d’un scénario collaboratif en XR

Nous concevrons un scénario interactif multi-utilisateur favorisant la collaboration synchronisée en XR, intégrant les différentes modalités de rétroaction physiologique pour évaluer leur influence sur la collaboration.

Phase 4 : Évaluation expérimentale

La quatrième phase consistera en une évaluation expérimentale du modèle d’interaction proposé à travers des expérimentations contrôlées auprès des utilisateurs. Les participants prendront part à un scénario collaboratif dans différentes conditions, permettant ainsi une analyse comparative des effets des représentations émotionnelles intradiégétiques sur l’incarnation, la présence sociale, la collaboration et l’utilisabilité du système. Des données quantitatives et qualitatives seront collectées afin d’évaluer la performance des utilisateurs, leur expérience subjective et l’efficacité des interactions.

Phase 5 : Diffusion des résultats

Les résultats seront communiqués à travers des publications scientifiques, conférences et collaborations industrielles, afin d’optimiser l’intégration de feedback physiologique en réalité virtuelle.

Résultats attendus

Les résultats de ce travail porteront sur la compréhension des interactions collaboratives en environnements immersifs ainsi que sur le développement de nouvelles technologies adaptatives en réalité étendue (XR).

Un premier résultat attendu concerne la validation expérimentale des effets de la transmission des états physiologiques sur la collaboration. L’étude permettra de savoir si l’intégration des feedbacks physiologiques en temps réel améliore la présence sociale, l’engagement et la collaboration dans les environnements immersifs. D’un point de vue théorique ce travail permettra de savoir si des phénomènes de contagion émotionnelle et de synchronie physiologique peuvent apparaître dans un contexte de collaboration numérique. Il contribuera à affiner les modèles expliquant comment les individus perçoivent et réagissent aux signaux physiologiques de leurs interlocuteurs en milieu virtuel, ce qui pourrait éclairer de nouvelles stratégies pour optimiser les interactions à distance.

Sur le plan technologique, il apportera de nouvelles solutions pour adapter dynamiquement les environnements XR aux états physiologiques des participants, ouvrant la voie à des systèmes collaboratifs plus naturels et émotionnellement intelligents.

Enfin, ce travail conduira à la formalisation de recommandations méthodologiques sur l’implémentation des représentations physiologiques en VR et AR. Ces recommandations seraient utiles aux chercheurs en interaction homme-machine (IHM), aux concepteurs d’environnements immersifs et aux entreprises développant des solutions XR collaboratives. Ainsi, au-delà des avancées scientifiques et techniques, ce projet pourrait favoriser le développement de systèmes de collaboration numérique intelligents et sensibles aux états émotionnels des utilisateurs, enrichissant ainsi la qualité des interactions

Références

[1] D. Keltner et J. Haidt, « Social functions of emotions », in Handbook of emotions, P. R. Shaver et M. S. Clark, Eds. New York, NY, USA: Guilford Press, 1999, pp. 192-210.

[2] M. L. Knapp, J. A. Hall, et T. G. Horgan, Nonverbal communication in human interaction. Boston, MA, USA: Cengage Learning, 2013.

[3] D. Derks, A. H. Fischer, et A. E. Bos, « The role of emotion in computer-mediated communication: A review », Computers in Human Behavior, vol. 24, no. 3, pp. 766-785, 2008.

[4] H. D. Critchley et S. N. Garfinkel, « Interoception and emotion », Current Opinion in Psychology, vol. 17, pp. 7-14, 2017.

[5] R. V. Palumbo et al., « Interpersonal autonomic physiology: A systematic review of the literature », Personality and Social Psychology Review, vol. 21, no. 2, pp. 99-141, 2017.

[6] D. Bevilacqua et al., « Brain-to-brain synchrony and learning outcomes », Social Cognitive and Affective Neuroscience, vol. 14, no. 1, pp. 1-9, 2018.

[7] J. N. Bailenson, A. C. Beall, J. M. Loomis, J. J. Blascovich, et M. Turk, « Transformed social interaction, augmented gaze, and social influence in immersive virtual environments », Human Communication Research, vol. 29, no. 4, pp. 506-534, 2003.

[8] J.-L. Lugrin et al., « Breaking bad behavior: Immersive training of peer intervention for bullying prevention using virtual reality », Frontiers in Robotics and AI, vol. 5, p. 13, 2018.

[9] J. Li, H. Zhang, et Y. Wang, « Improving avatar-mediated emotional communication in virtual environments », Journal of Virtual Reality & Intelligent Hardware, vol. 4, no. 1, pp. 77-91, 2022.

[10] X. Hu, J. Zhan, F. Jiang, et Z. Pan, « Real-time facial animation in virtual reality: Advances and challenges », Computers & Graphics, vol. 95, pp. 14-26, 2021.

[11] G. Gonçalves, M. Melo, F. O. Soares, et P. Dias, « Emotional and behavioral responses to symbolic representations of affective states in virtual environments », Virtual Reality, vol. 24, pp. 399-414, 2020.

[12] G. A. Van Kleef, « How emotions regulate social life: The emotions as social information (EASI) model », Current Directions in Psychological Science, vol. 18, no. 3, pp. 184-188, 2009.

[13] D. Friedman, J. F. Thayer, et R. A. Tyrrell, « Respiratory sinus arrhythmia: A marker of parasympathetic cardiac control », Biological Psychology, vol. 67, no. 1, pp. 1-10, 2020.