Real VR

Immersion et Interaction dans les environnements issus de captures du réel

Plusieurs domaines applicatifs ont pour besoin d'acquérir des scènes réelles et les mobiliser dans des environnements de VR : Formation, Cinéma, Muséographie, Jeux. L'utilisateur immergé peut être passif (narration simple au cinéma, observation d'un artefact culturel) ou interagir avec le contenu (cinéma interactif, scénarii de formation).

Les problèmes scientifiques et techniques qu'il faut résoudre pour améliorer l'expérience utilisateur dans ces scènes virtuelles, capturées sur le réel (appelons ces expériences "Real VR"), sont pluridisciplinaires : méthodes et matériel de capture, reconstruction et représentation, affichage et perception, interaction [1]. La communauté scientifique aborde d'ores et déjà certains de ces problèmes. D'autre part, les professionnels du cinéma, de la muséographie, de la formation, forment un corpus de pratiques, visant l'amélioration de l'expérience utilisateur.

Le parti pris de cette commission est de faire l'hypothèse qu'une grande richesse réside dans la mise en contact de l'approche scientifique d'une part et des pratiques métiers d'autre part.

L'objectif de cette commission est donc de créer des échanges entre les professionnels de ces domaines et les acteurs de la recherche sur les questions de l'experience utilisateur dans le contexte spécifique de la "Real VR"

Une proposition concrète pour démarrer ces échanges est l'organisation d'ateliers de visionnage et d'échanges autour d'expériences de "Real VR" connues pour leur bonne réception par le public ou la critique. Pour prendre l'exemple du cinéma, lors de ces ateliers, un réalisateur de Cinéma VR pourra mettre en avant les raisons subjectives ou objectives pour lesquelles une oeuvre lui semble réussie, et les chercheurs tenteront de puiser dans la littérature ou leur travaux en cours pour tenter de comprendre les mécanismes perceptifs, comportementaux, attentionels, cognitifs, sous-jacents. L'objectif ultime est une "grammaire du Cinéma VR" qui puiserait dans ces échanges qui, in fine, améliorera l'utilité de ces technologies pour l'humain.

Illustration (c) Mines ParisTech [2]

Références :

[1] Real VR – Immersive Digital Reality, How to Import the Real World into Head-Mounted Immersive Displays, Editors : Marcus Magnor, Alexander Sorkine-Hornung. Image Processing, Computer Vision, Pattern Recognition, and Graphics. Springer International Publishing. 2020.

[2] Grégoire Dupont de Dinechin, Alexis Paljic. From Real to Virtual: An Image-Based Rendering Toolkit to Help Bring the World Around Us Into Virtual Reality. 2020 IEEE 6th Workshop on Everyday Virtual Reality (WEVR), Mar 2020, Atlanta, Georgia, United States. ⟨hal-02492896⟩