Proposition de thèse en informatique (ANR Lab In Virtuo)
Sujet:
Interactions en Réalité Virtuelle et Augmentée pour la Construction de Connaissances dans le domaine du Patrimoine Numérique.
Contacts et direction de thèse :
Ronan Querrec (Lab-STICC – ENIB) querrec@enib.fr
Florent Laroche (LS2N – ECN) florent.laroche@ls2n.fr
Mots-clés :
Interaction, Réalité virtuelle, Réalité Augmentée, Patrimoine Numérique, Agent Conversationnel Animé, Ontologie, méta-modèle.
Contexte
Ce sujet de thèse s’inscrit dans le cadre du projet ANR LabInVirtuo (2021-2025). Ce projet se situe dans le domaine de l’ingénierie des connaissances, de la Réalité Virtuelle (RV) et des Humanités Numériques (HN) sur la thématique « Activités humaines versus histoire et patrimoine des paysages culturels industriels ». Les objectifs du projet sont de développer et valider : a) des laboratoires virtuels et des méthodes de recherches interdisciplinaires SHS-STIC (IA-RV) à partir de démonstrateurs d'un fort intérêt historique et patrimonial ; b) des méthodes collaboratives impliquant aussi bien des acteurs institutionnels (musées, etc.) que non institutionnels (ouvriers, etc.) portant sur l’histoire culturelle et la conservation numérique des métiers industriels ; c) des scénarios situés dans l’Environnement Virtuel (EV) dédiés à la médiation.
Classiquement, l’acquisition des connaissances relative à un objet 3D s’effectue par la collecte de sources primaires (archives, traces archéologiques, etc.) et secondaires (travaux académiques de référence), complétée le cas échéant par des enquêtes orales auprès des acteurs. Notre proposition est centrée sur l’acquisition et la restitution des connaissances (déclaratives, procédurales et incarnées) dans un EV constitué à partir de la modélisation 3D à caractère historique et patrimonial matériel et multisensoriel (par multisensoriel, nous entendons un environnement où plusieurs sens sont sollicités soit en termes de contexte corporel soit participant à l’activité industrielle par les informations qu’ils donnent) avec plusieurs jeux d’usagers. Un jeu d’usagers est une suite d’interactions impliquant deux acteurs (ou plus) dans l’«Environnement Virtuel Intelligent Réaliste Sensoriel» (EVIRS) dans une approche de science collaborative : i) chercheurs (historien, archéologue, anthropologue, …); ii) experts en patrimoine/chercheurs; iii) Acteurs non académiques/chercheurs pour l’acquisition d’informations sur le milieu matériel et sensoriel, acquisition/capture des savoirfaire; iv) experts en médiation/chercheurs/acteurs locaux. Ces jeux d’acteurs collaboratifs permettront d’acquérir, partager et restituer des connaissances plus détaillées et plus pertinentes grâce à la mise en situation dans un EVIRS. En d’autres termes, il s’agit d’améliorer l’élicitation des connaissances.
L’hypothèse que nous défendons est double : 1) l’immersion des usagers dans un EVIRS où il est engagé d’un point de vue cinématique, gestuel et sensoriel se traduit par : a) une récupération accrue des différentes mémoires procédurales, épisodiques et autobiographiques qui sont habituellement interrogées ou travaillées dans le cadre classique de productions d’archives orales. ; b) au-delà des savoirs déclaratifs, la possibilité de capture de gestes et de savoirs incarnés (embodied knowledge) ; c) une meilleure mémorisation des connaissances proposées; 2) la RV collaborative permet, au-delà des approches classiques en SHS, de développer des méthodes de recherche pluridisciplinaire et de médiations innovantes avec un saut qualitatif et quantitatif concernant l’élicitation et la restitution des connaissances et des savoir-faire.
Positionnement
Aujourd’hui, l’utilisation du numérique pour capturer notre patrimoine est acquise par l’ensemble des professionnels du domaine. Les projets réalisés au sein des institutions permettent de manipuler virtuellement les objets patrimoniaux [Dima et al., 2014] et de les présenter dans leur contexte historique [Rae et Edwards, 2016]. Mais, à notre connaissance, il n’existe pas de système permettant leur mise en fonctionnement pour en conserver l'usage. Pourtant, la RV semble avoir un effet significatif sur l'acquisition de connaissances sur ces objets historiques [Li et Chang, 2017] et selon [Barreau, 2017] "dans un futur plus lointain, les enjeux se situeront au niveau de la simulation et de l’interaction avec des humains virtuels du passé".
Par ailleurs, le projet ANR ReSeed (porté par le LS2N – www.reseed.fr) a démontré l’intérêt et la nécessité “de mettre en place une nouvelle méthodologie, un outil et un format interopérable pour permettre l’alliance de la digitalisation sémantique et physique des objets” [Kerouanton & Laroche, 2017]. Le projet LabInVirtuo est centré sur l’activité humaine, l’élicitation et la restitution des savoirs experts dans un EVIRS. Il complète les approches actuelles centrées sur l’objet technique, comme dans les problématiques du métamodèle Digital Heritage Reference Model (DHRM) [Laroche, 2017]. L’interdisciplinarité du projet le situe à l’interface de plusieurs domaines : histoire, anthropologie et patrimoine des industries, RV/RA, incluant une dimension sensorielle qui constitue un champ peu exploré [Simmonot et al., 2014] [Erdoen, 2017] [Bekele,2018] pourtant nécessaire pour une meilleure restitution virtuelle des usages et des savoirs incorporés, compte tenu notamment des informations que cette dimension porte.
Rendre explicite les connaissances dans un environnement virtuel est l’objet des EVI [Aylett, 2001]. Certains travaux en RV [Bouville et al. 2015, Lourdeaux et al., 2017] s’approchent en partie de l’objectif de concevoir l’EVI à l’aide d’un métamodèle. Ces modèles permettent uniquement, pour l’utilisateur final, d’accéder à des connaissances mais pas d’en créer en temps réel. Pour cela nous proposons d’utiliser les Agents Conversationnels Autonomes (ACA) en tant qu’interface dans l’EV entre l’utilisateur et le corpus historique numérique. Les ACA apparaissent de plus en plus dans les EVI en prenant le rôle de compagnon ou de tuteur ou encore de psychologue à l'écoute [Gratch et al., 2014] en apportant des bénéfices indéniables
[Rowe et al., 2007] [Kokane et al., 2014]. Pour que l'interaction soit efficace et satisfaisante, un ACA doit être capable de parler mais aussi d'écouter, de modifier et d’adapter son comportement selon celui montré par l'utilisateur [Gratch et al., 2006]. Cependant, les comportements d’agents développés dans ce domaine se focalisent sur les rétroactions échangées entre les participants lors du dialogue mais rarement sur la sémantique du contenu des messages échanges ou dans la base de connaissances de l’agent. C’est ce que nous souhaitons réaliser.
Objectif de la thèse
L’objectif de la thèse est de concevoir les outils et de penser les interactions qui permettront de faire le lien bidirectionnel entre le corpus numérique et l’environnement virtuel. Le corpus numérique correspond non seulement aux données et sources historiques, mais également aux dispositifs techniques pour les conserver et y accéder. Nous postulons ici que l’EV constitue un ensemble [interface, interactions] plus naturel (par rapport aux outils classiques) pour naviguer, simuler et augmenter ce corpus numérique. La thèse contribuera aux tâches identifiées dans le projet ANR.
La première tâche consiste à créer les méthodes pour faire le lien bidirectionnel entre le corpus numérique et l’environnement virtuel en proposant des interactions multisensorielles. Il s’agit de générer l’environnement virtuel informé à partir des données du corpus numérique mais aussi de proposer les métaphores pour interagir dans l’EV. Nous considérons tout d’abord (1er niveau) les données de type 3D, sonore, gestuelle, haptique, tangible et, dans la mesure du possible, les odeurs et les goûts. Pour cela nous nous appuierons sur les ontologies développées par les partenaires du projet. Nous nous intéressons ensuite (2nd niveau) à la gestion des activités humaines au sein de l’environnement. Une activité est ici par exemple l’agencement d’actions d’opérateurs dont l’objectif est de manipuler le système technique. Ce niveau s’appuie fortement sur le premier niveau car une opération peut modifier la géométrie (position, orientation) d’une partie du système, de générer un son et nécessiter la réalisation d’un geste par un opérateur (joué par un agent autonome ou par un utilisateur du LabInVirtuo). Enfin le dernier niveau porte sur la gestion, dans l’environnement virtuel informé, de la qualité et l’intégrité des informations contenues dans le corpus numérique. Nous utiliserons pour cela, par exemple, des métaphores visuelles pour représenter le degré de confiance d’une information (objet plus ou moins transparent par exemple). Le point le plus original de cette tâche sera la capacité d’enrichir et de modifier le corpus numérique depuis l’environnement virtuel. Pour le premier niveau (objets 3D, sons...), il n’est pas forcément pertinent de modifier la donnée brute au sein de l’EV en revanche cela devient pertinent pour les informations sémantiques. A l’inverse, il est plus pertinent de décrire une activité, les opérations et les gestes dans l’environnement virtuel par démonstration.
La seconde tâche porte sur la conception des interactions avec l’Agent Conversationnel Animé (ACA) et l’EV. L’objectif de l’ACA est de jouer le rôle d’interface entre les utilisateurs et les connaissances dans l’environnement virtuel informé, issue ou à ajouter dans le corpus numérique. Le premier objectif est de fournir à l’ACA la capacité de comprendre les questions ou les informations fournies par l’utilisateur et de verbaliser les réponses ou les informations de l’ACA. Les verbalisations de l’ACA seront basées sur les techniques de TextToSpeech classique mais le contenu sera issu du raisonnement de l’ACA sur la base de connaissance de l’environnement virtuel informé. L’objectif n’est pas ici de travailler sur le traitement automatique du langage naturel. Nous nous appuierons pour cela sur des résultats déjà éprouvés par les partenaires du consortium ou au sein de la communauté scientifique. L’originalité ici est que nous pouvons imaginer une grammaire fondée sur le métamodèle utilisé pour concevoir l’environnement virtuel informé. Le second objectif de cette tâche est de concevoir l’algorithme de raisonnement de l’ACA sur la base de connaissances et sur les interactions de l’utilisateur au sein de l’EV. Le principe est de pouvoir proposer de nouveaux modes d’interactions (haptiques, gestuelles, tangibles, …) pour interroger ou renseigner la base de connaissance via l’agent. Le raisonnement de l’agent doit également servir à générer de nouvelles interactions entre l’ACA et les utilisateurs. Par exemple, l’ACA devra être capable de répondre aux questions des utilisateurs, d’identifier des manques dans la base de connaissances (un objet 3D sans informations sémantiques) ou des incohérences (un objet nommé différemment par plusieurs utilisateurs). De ces nouvelles interactions pourront émerger de nouvelles connaissances qui seront alors également transmises au corpus numérique.
Plusieurs types de situations distribuées seront créées en fonction des cas d’utilisation prévus par les partenaires, mais nous imaginons des situations de collaboration entre un utilisateur sur site avec un dispositif de RA et un autre dans un dispositif de type CAVE ou des situations avec plusieurs utilisateurs portant des casques de RV ou encore un utilisateur unique visualisant la scène et interagissant à l’aide d’une table interactive avec objets tangibles.
Compétences attendues et diplôme requis.
Cette thèse est ouverte à tous les candidats disposant d’un diplôme de master ou d’ingénieurs dans les domaines de l’informatique.
De bonnes connaissances en algorithmique et développement informatique sont obligatoires. Une expérience dans le domaine de la réalité virtuelle et/ou augmentée sera appréciée. Une première utilisation d’outils tels que Unity3D ou Unreal sera également pertinente.
Le projet étant par nature à l’interface entre l’informatique et les sciences sociales, une appétence pour les domaines de l’Histoire, l’archéologie, le patrimoine et la médiation est également importante.
Date et Lieu de la thèse
La thèse se déroulera en grande partie au Lab-STICC ENIB à Brest (voir https://www.brestlife.fr/). Plus précisément les travaux se dérouleront au sein de la plateforme technologique CERV (Centre Européen de Réalité Virtuelle). Cependant des déplacements de plusieurs semaines seront programmés chez les partenaires (LS2N Nantes, FEMTO Belfort, Musée des arts et métiers Paris).
Des points réguliers avec les directeurs (Brest/Nantes) et les encadrants (Informatique/Humanités numériques) auront lieu.
La thèse est prévue sur 3 ans à partir du 1er Septembre 2021.

Poste Doctorant F/H Immersive and Situated Visualizations of Personal Data
Informations généralesThème/Domaine : Interaction et visualisationInstrumentation et...
Thèse : « «Dynamique d’interactions tactiles et cognition sociale » à l’UTC
Poursuivez ici selon votre inspiration...Type de financement : Demi-bourse région + demi-bourse...
Internship on Human Robot Interaction evaluation in Virtual Reality
Keywords:Human Machine Interaction, Human Robot Collaboration, Virtual Reality, Virtual Reality...
Internship on Intelligent Tutoring System in Virtual Reality
Keywords: Virtual Reality Training System (VRTS), Data collection and analysis, Machine...
Postdoctoral researcher / Research engineer (AR/VR)
Keywords: Human Machine Interaction, Virtual Reality, Virtual Reality Training Systems (VRTS),...
Thèse: Prototypage rapide d’interactions en RA/RV
Mots-clés : Interaction homme – machine (IHM), réalités virtuelle et augmentée (RV&A), génie...