Menu icoMenu232Dark icoCross32Dark
Retour
Alexis Paljic
11 décembre 2020
Soutenance de thèse Grégoire DUPONT de DINECHIN – 18/12/2020 14h00

ABONNEZ-VOUS À NOTRE NEWSLETTER

Abonnez-vous à notre newsletter
icoCross16Dark

Soutenance de thèse Grégoire DUPONT de DINECHIN – 18/12/2020 14h00

Bonjour,

J'ai le plaisir de vous inviter à ma soutenance de thèse, intitulée "Vers l’observation confortable, en réalité virtuelle, d’environnements virtuels créés à partir de photos du monde réel", et défendue en anglais sous le titre "Towards comfortable virtual reality viewing of virtual environments created from photographs of the real world". Cette thèse a été réalisée au Centre de Robotique (CAOR) de MINES ParisTech, Université PSL sous la direction d'Alexis PALJIC.

La soutenance aura lieu le vendredi 18 décembre 2020 à 14h, et sera diffusée depuis l'amphi L109 de MINES ParisTech, Université PSL (60 boulevard Saint-Michel, 75006 Paris).

La diffusion en ligne pourra être suivie au lien suivant : https://www.twitch.tv/dinechingreg. Cela me ferait aussi très plaisir de vous retrouver sur place : si vous souhaitez assister à la soutenance en présentiel, merci de me prévenir à l'avance. En raison de la crise sanitaire, il n'y aura malheureusement pas de pot après la soutenance.

Le jury est composé de :

• M. Anatole LÉCUYER - Directeur de recherche, Inria Rennes (rapporteur)

• M. Anthony STEED - Professor, University College London (rapporteur)

• Mme Selma RIZVIĆ - Professor, University of Sarajevo (examinateur)

• M. Diego GUTIERREZ – Professor, Universidad de Zaragoza (examinateur)

• M. Jean-Philippe FARRUGIA - Maître de conférences, Université Lyon 1 (examinateur)

• M. Alexis PALJIC - Chargé de recherche, MINES ParisTech, Université PSL (examinateur - directeur de thèse)

Résumé

La reconstitution en réalité virtuelle de lieux, personnes, et objets réels ouvre la voie à de nombreux usages, tels que préserver et promouvoir des sites culturels, générer des avatars photoréalistes pour se retrouver virtuellement avec famille et amis à distance, ou encore recréer des lieux ou situations spécifiques à des fins thérapeutiques ou de formation. Tout cela s'appuie sur notre capacité à transformer des images du monde réel (photos et vidéos) en environnements 360° immersifs et objets 3D interactifs.

Cependant, ces environnements virtuels à base d'images demeurent souvent imparfaits, et peuvent ainsi rendre le visionnage en réalité virtuelle inconfortable pour les utilisateurs. En particulier, il est difficile de reconstituer avec précision la géométrie d'une scène réelle, et souvent de nombreuses approximations sont ainsi faites qui peuvent être source d'inconfort lors de l'observation ou du déplacement. De même, il est difficile de restituer fidèlement l'aspect visuel de la scène: les méthodes classiques ne peuvent ainsi restituer certains effets visuels complexes tels que transparence et réflexions spéculaires, tandis que les algorithmes de rendu plus spécialisés ont tendance à générer des artefacts visuels et peuvent être source de latence. Par ailleurs, ces problèmes deviennent d'autant plus complexes lorsqu'il s'agit de reconstituer des personnes, l'oeil humain étant très sensible aux défauts dans l'apparence ou le comportement de personnages virtuels.

Par conséquent, l'objectif de cette thèse est d'étudier les méthodes permettant de rendre les utilisateurs plus confortables lors du visionnage immersif de reconstitutions digitales du monde réel, par l'amélioration et le développement de nouvelles méthodes de création d'environnements virtuels à partir de photos. Nous démontrons et évaluons ainsi des solutions permettant (1) de fournir une meilleure parallaxe de mouvement lors du visionnage d'images 360°, par le biais d'une interface immersive pour l'estimation de cartes de profondeur, (2) de générer automatiquement des agents virtuels 3D capables d'interaction à partir de vidéos 360°, en combinant des réseaux convolutionnels pré-entrainés, et (3) de restituer des effets visuels de façon photoréaliste en réalité virtuelle, par le développement d'outils que nous appliquons ensuite pour recréer virtuellement la collection d'un musée de minéralogie. Nous évaluons chaque approche par le biais d'études utilisateur, et rendons notre code accessible sous forme d'outils open source.

Abstract

There are many applications to capturing and digitally recreating real-world people and places for virtual reality (VR), such as preserving and promoting cultural heritage sites, placing users face-to-face with faraway family and friends, and creating photorealistic replicas of specific locations for therapy and training. This is typically done by transforming sets of input images, i.e. photographs and videos, into immersive 360° scenes and interactive 3D objects.

However, such image-based virtual environments are often flawed such that they fail to provide users with a comfortable viewing experience. In particular, accurately recovering the scene's 3D geometry is a difficult task, causing many existing approaches to make approximations that are likely to cause discomfort, e.g. as the scene appears distorted or seems to move with the viewer during head motion. In the same way, existing solutions most often fail to accurately render the scene's visual appearance in a comfortable fashion. Standard 3D reconstruction pipelines thus commonly average out captured view-dependent effects such as specular reflections, whereas complex image-based rendering algorithms often fail to achieve VR-compatible framerates, and are likely to cause distracting visual artifacts outside of a small range of head motion. Finally, further complications arise when the goal is to virtually recreate people, as inaccuracies in the appearance of the displayed 3D characters or unconvincing responsive behavior may be additional sources of unease.

Therefore, in this thesis, we investigate the extent to which users can be made more comfortable when viewing digital replicas of the real world in VR, by enhancing, combining, and designing new solutions for creating virtual environments from input sets of photographs. We thus demonstrate and evaluate solutions for (1) providing motion parallax during the viewing of 360° images, using a VR interface for estimating depth information, (2) automatically generating responsive 3D virtual agents from 360° videos, by combining pre-trained deep learning networks, and (3) rendering captured view-dependent effects at high framerates in a game engine widely used for VR development, which we apply to digitally recreate a museum's mineralogy collection. We evaluate and discuss each approach by way of user studies, and make our codebase available as an open-source toolkit.

---

Grégoire DUPONT de DINECHIN

Doctorant - Centre de Robotique (CAOR), MINES ParisTech, Université PSL

Mail : gregoire.dupont_de_dinechin@mines-paristech.fr

Découvrez davantage d'articles sur ces thèmes :
Recherche Evénement Soutenance
0 commentaire(s)
Aucun commentaire pour le moment.
Consultez également
Retour sur Laval Virtual en virtuel

Retour sur Laval Virtual en virtuel

Nous n’avons jamais rassemblé autant de participant au VRIC durant Laval Virtual !Les chiffres...

Simon RICHIR
27 avril 2020
CfP : SMI 2020 Fabrication and Sculpting Event

CfP : SMI 2020 Fabrication and Sculpting Event

The Fabrication and Sculpting Event (FASE) presents original research at the intersection of...

Alexandre Kabil
27 avril 2020
Articles de la conférence CHI 2020 disponibles

Articles de la conférence CHI 2020 disponibles

Les proceedings de la conférence CHI 2020 (Conference on Human Factors in Computing Systems)...

Alexandre Kabil
27 avril 2020
Call for Papers ISMAR 2020

Call for Papers ISMAR 2020

http://ismar20.org/call-for-papers/Note: all submissions are made via the PCS system. Please see...

Laure Leroy
27 avril 2020
Report – Journée du Groupe de Travail « Réalité Virtuelle » du GDR IG.RV

Report – Journée du Groupe de Travail « Réalité Virtuelle » du GDR IG.RV

Suite à la crise sanitaire, nous somme obligés de décaler le Groupe de travail réalité virtuelle...

Laure Leroy
27 avril 2020
Frontiers in Virtual Reality – Online Seminar Series

Frontiers in Virtual Reality – Online Seminar Series

The Editorial board of Frontiers in Virtual Reality is pleased to present a series of virtual...

Alexandre Kabil
10 mai 2020
Fermer En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies et notre Politique de Confidentialité. En savoir plus