M2 research internship: Exploring stress induction in Collaborative VE

-----Version française plus bas

M2 research internship: Exploring stress induction during collaborative tasks in virtual environments

Location: IMT Atlantique, Nantes – PACCE team + possibilities of research visits at University of Glasgow, Scotland

Duration: 6 months, from February/March 2021

Keywords: virtual reality, collaborative virtual environments, psychosocial stress

We are looking for candidates for a research internship (Master 2) in the domain of virtual reality and collaborative virtual environments. Virtual environments offer more and more possibilities to tackle collaborative tasks: several users can be immersed in a virtual environment to analyze and share information, but also to interact and manipulate content together in various contexts such as industrial design, data analysis, training, etc (Wang et al., 2021). This collaboration in a virtual environment can reproduce real collaboration situations, but it also offers the possibility to set up situations that would be impossible in the real world, as described by (Hollan and Stornetta, 1992) with the notion of "Beyond being there".

Therefore, virtual reality holds great potential to study collaborative processes in a highly controlled environment, enabling researchers to observe and analyse how collaborators convey information, negotiate roles, or deal with unexpected situations (Pan et al., 2018). In this internship, we are interested in understanding which elements and events of such virtual situations can induce stress in users during collaborative tasks, and which coping strategies are adopted by such teams to overcome stress (Neubauer et al., 2017). Indeed, it is well-established that psychological stress is associated with a myriad of negative outcomes that physically and psychological burden the individual and adversely impact performance (Matthews et al., 2000) and understanding the underlying processes could help design virtual environments that maximise performance and support users through difficult events.

In this project, the intern will design an experimental study aimed at understanding the impact of various stressors on performance and behavior in a collaborative task. This task will consist of a simple puzzle-solving exercise with exploration elements, with additional stressors (e.g. time pressure, distractors, adverse events). During the experiment, participants’ behaviors (vocal interactions, eye gaze) will be recorded with headsets’ sensors (eye-trackers, microphones), as well as their interactions with the environment (movements, object manipulations). To that end, existing collaborative virtual environments as well as social and physiological signal detection software developed and used in the team will be adapted. The intern will (1) conduct a literature review on the effects and antecedents of stress in collaborative tasks and in virtual environments, (2) adapt existing virtual environments and software tools to create an experimental framework capable of inducing stress during collaborative vitual tasks, (3) design and conduct the experimental study, (4) analyze the results and (5)publish them in an academic conference.

The intern will be supervised by Mathieu Chollet (University of Glasgow – social signal modelling and virtual interactions) and Cédric Dumas (IMT Atlantique – collaboration in virtual environment). The project will be conducted in close collaboration with a postdoctoral researcher, Alexandre Kabil (IMT Atlantique), working on the assessment of collaboration in virtual environments through multimodal signals, and a PhD student, Célia Kessassi (IMT Atlantique), working on a computational model of psychosocial stress induction in virtual reality.

Student profile:

Master 2/3rd year engineering school level, or equivalent, in computer science, cognitive science, or related discipline. Strong interest for interdisciplinary research and innovative human-machine interactions.

Required skills: 3D/game engine programming (Unity 3D, C#). Fluency in English or French.

Preferred skills: virtual reality. Experience with eye-tracking sensors/data. Experimental protocol design.

-----Version française

Stage de recherche M2 : Exploration de l'induction du stress lors de tâches collaboratives dans des environnements virtuels

Lieu : IMT Atlantique, Nantes - équipe PACCE + possibilités de visites de recherche à l'Université de Glasgow, Ecosse

Durée du stage : 6 mois, à partir de février/mars 2021

Mots-clés : réalité virtuelle, environnements virtuels collaboratifs, stress psychosocial

Nous recherchons des candidats pour un stage de recherche (Master 2) dans le domaine de la réalité virtuelle et des environnements virtuels collaboratifs. Les environnements virtuels offrent de plus en plus de possibilités pour aborder des tâches collaboratives : plusieurs utilisateurs peuvent être immergés dans un environnement virtuel pour analyser et partager des informations, mais aussi pour interagir et manipuler ensemble des contenus dans des contextes variés tels que le design industriel, l'analyse de données, la formation, etc (Wang et al., 2021). Cette collaboration dans un environnement virtuel peut reproduire des situations de collaboration réelles, mais elle offre également la possibilité de mettre en place des situations qui seraient impossibles dans le monde réel, comme décrit par (Hollan et Stornetta, 1992) avec la notion de " Beyond being there ".

Par conséquent, la réalité virtuelle présente un grand potentiel pour étudier les processus de collaboration dans un environnement hautement contrôlé, permettant aux chercheurs d'observer et d'analyser la façon dont les collaborateurs transmettent l'information, négocient les rôles ou font face à des situations inattendues (Pan et al., 2018). Dans ce stage, nous nous intéressons à comprendre quels éléments et événements de telles situations virtuelles peuvent induire du stress chez les utilisateurs lors de tâches collaboratives, et quelles stratégies d'adaptation sont adoptées par ces équipes pour surmonter le stress (Neubauer et al., 2017). En effet, il est bien établi que le stress psychologique est associé à une myriade de résultats négatifs qui pèsent physiquement et psychologiquement sur l'individu et ont un impact négatif sur la performance (Matthews et al., 2000) et la compréhension des processus sous-jacents pourrait aider à concevoir des environnements virtuels qui maximisent la performance et soutiennent les utilisateurs lors d'événements difficiles.

Dans ce projet, le stagiaire concevra une étude expérimentale visant à comprendre l'impact de divers facteurs de stress sur la performance et le comportement dans une tâche collaborative. Cette tâche consistera en un exercice simple de résolution de puzzle avec des éléments d'exploration, auquel des facteurs de stress supplémentaires seront ajoutés (par exemple, pression temporelle, distracteurs, événements néfastes). Au cours de l'expérience, les comportements des participants (interactions vocales, regard) seront enregistrés par les capteurs des casques (eye-trackers, microphones), ainsi que leurs interactions avec l'environnement (mouvements, manipulations d'objets). Pour ce faire, des environnements virtuels collaboratifs existants ainsi que les logiciels de détection des signaux sociaux et physiologiques développés et utilisés dans l'équipe seront réutilisés. Le stagiaire devra (1) réaliser une revue de la littérature sur les effets et les antécédents du stress dans les tâches collaboratives et dans les environnements virtuels, (2) adapter les environnements virtuels et les outils logiciels existants pour créer un cadre expérimental capable d'induire du stress lors de tâches virtuelles collaboratives, (3) concevoir et réaliser l'étude expérimentale, (4) analyser les résultats et (5) les publier dans une conférence académique.

Le stagiaire sera supervisé par Mathieu Chollet (Université de Glasgow - modélisation des signaux sociaux et interactions virtuelles) et Cédric Dumas (IMT Atlantique – interfaces collaboratives, interaction en réalité virtuelle). Le projet sera mené en étroite collaboration avec un chercheur postdoctoral, Alexandre Kabil (IMT Atlantique), travaillant sur l'évaluation de la collaboration en environnement virtuel par des signaux multimodaux, et une doctorante, Célia Kessassi (IMT Atlantique), travaillant sur un modèle computationnel de l'induction du stress psychosocial en réalité virtuelle.

Profil de l'étudiant :

Niveau Master 2/3 d'école d'ingénieur, ou équivalent, en informatique, sciences cognitives, ou discipline connexe. Intérêt marqué pour la recherche interdisciplinaire et les interactions homme-machine innovantes.

Compétences requises : Programmation de moteurs de jeux/de 3D (Unity 3D, C#). Maîtrise de l'anglais ou du français.

Compétences souhaitées : réalité virtuelle. Expérience avec les capteurs/données d'eye-tracking. Conception de protocoles expérimentaux.

Refs :

* - Hollan, J., & Stornetta, S. (1992). Beyond being there. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 119-125).

* - Matthews, G., Davies, D. R., Stammers, R. B., & Westerman, S. J. (2000). Human performance: Cognition, stress, and individual differences. Psychology Press.

* - Neubauer, C., Chollet, M., Mozgai, S., Dennison, M., Khooshabeh, P., & Scherer, S. (2017). The relationship between task-induced stress, vocal changes, and physiological state during a dyadic team task. In Proceedings of the 19th ACM International Conference on Multimodal Interaction (pp. 426-432).

* - Pan, X., & Hamilton, A. (2018). Why and how to use virtual reality to study human social interaction: The challenges of exploring a new research landscape. British Journal of Psychology, 109(3), 395-417.

* - Rappa, N., Ledger, S., Teo, T., Wong, K., Power, B., & Hilliard, B. (2019). The use of eye tracking technology to explore learning and performance within virtual reality and mixed reality settings: a scoping review. Interactive Learning Environments. 1-13. 10.1080/10494820.2019.1702560.

* - Wang, P., Bai, X., Billinghurst, M., Zhang, S., Zhang, X., Wang, S., ... & Ji, H. (2021). AR/MR Remote Collaboration on Physical Tasks: A Review. Robotics and Computer-Integrated Manufacturing, 72, 102071.