Sujet de Thèse CIFRE Centre de Robotique - Spectral TMS

Titre du Sujet : Interaction adaptative en réalité augmentée pour la maintenance industrielle.

Date limite de candidature : 9 juin 2020

1. Contexte.

La réalité augmentée est un outil puissant pour l’assistance et la formation dans le contexte industriel. Ce sujet de thèse se place dans le cadre d’une collaboration entre la société Spectral TMS qui développe des solutions de réalité augmentée pour l’industrie (https://spectraltms.com/) et le centre de robotique de Mines ParisTech qui réalise ses recherches sur l’immersion et l’interaction en RV et RA, ainsi qu’en intelligence artificielle. L’objectif de la réalité augmentée pour l’assistance et la formation est de permettre une meilleure compréhension par les opérateurs de séquences d’opérations à réaliser sur des installations industrielles. Lors de l’usage de l’outil réalité augmentée l’opérateur suit des scénarii de procédures, en étant au cœur de son environnement de travail physique. Il reçoit une information enrichie sur les tâches et procédures qu’il doit apprendre, grâce aux instructions visuelles spatialement cohérentes présentant les points d’intérêt et objets à manipuler dans l’espace de travail. La démarche est celle du « learning by doing » en étant assisté d’informations adaptées à la progression de l’apprenant et au plus près de la situation réelle.

Le sujet s’intègre dans l’ensemble du parcours utilisateur depuis la création du scénario sur la plateforme à partir d’un mode opératoire existant par le formateur jusqu’à la réalisation de ce parcours par le formé. L'objectif global sera par conséquent de “faciliter la transmission des savoir-faire”. Nous étudions les points d'amélioration de la solution actuelle à travers les critères suivants : facilité d’implémentation du scénario pour le formateur, pertinence du scénario en réalité augmentée, rétention de l’information lors de l’expérience et intégration ergonomique de la solution dans un contexte industriel (sécurité et immersion).

Dans ce contexte, ce sujet de thèse cherche à améliorer deux aspects de l’outil : la création des scénarii, et l’aide à l’apprentissage. Le domaine de recherche du sujet est de faciliter l’interaction 3D en réalité augmentée dans ces deux cas en utilisant les techniques d’intelligence artificielle.

2. Sujet de la thèse et Méthode de travail

Le premier axe de recherche dans cette thèse est l’adaptation de l’interaction pour l’aide à l’apprentissage. Un des points bloquants de la formation en réalité augmentée est la possible surcharge cognitive de l’apprenant résultant de la quantité et du placement spatial des informations augmentées. On se réfèrera à l’étude récente de Imamov et al. [3] sur la question. On explorera la question d’une approche adaptative, dans laquelle la densité et le placement de l’information sont adaptées au niveau de compréhension et de formation de l’opérateur. Voir Westerfield et al. [4]. Un système automatisé d’évaluation de la compréhension et de l’attention de l’opérateur pourra être mis en place, et couplé à des stratégies progressives de présentation de la scène.

L’outil actuel de création de scénarii permet de générer les séquences de tâches et les éléments pédagogiques associés (cf vidéo https://youtu.be/qpLBDds9ywc). Pour chaque tâche le formateur doit spécifier un objet dans l’espace 3D, ainsi qu’une consigne ou une opération particulière à réaliser à cet endroit. Cette phase de création de scénarii se constitue d’abord d’une édition des séquences sur une interface 2D web. Ensuite, le formateur doit manuellement placer, en immersion en RA, les ressources 3D et multimédia sur les objets (modèles 3D, fiches de renseignements, zones de danger, fichiers sons).

Le placement spatial de nombreux objets est une phase potentiellement fatigante (l’effet « gorilla arm » connu en interaction [1]) et répétitive. Le second axe de recherche que propose cette thèse est de faciliter la mise en place des scenarii en automatisant la reconnaissance des objets de la scène et leur placement spatial. On se basera sur l’état de l’art pour les systèmes de reconnaissance. Une importante synthèse de l’état de l’art en génération de scènes virtuelles à partir d’images RGBD par deep learning a été faire par Wang et al [5] et sera le point de départ des choix et implémentations à réaliser. On explorera la possibilité d’utiliser des datasets existants [6, 7, 8] ou d’en créer des spécifiques aux cas d’usage. La thèse pourra s’appuyer sur les travaux récents de l’équipe RV/RA du centre de Robotique (Thèse de Grégoire Dupont de Dinechin) pour la génération des données RGBD et de maillages texturés à partir d’images [9][10].

La recherche portera sur l’adaptation de l’interaction à un système qui propose au formateur une sémantisation possible de la scène en 3D. La thèse devra proposer et évaluer des réponses à la question suivante : « Quelle méthode(s) d’interaction 3D pour confirmer ou corriger le placement et la nature des objets proposés par le système de reconnaissance ? ». Le point de départ sera la classification des interactions types en RA (cf Billinghurst et al. [2]. La méthode de travail sera de choisir des critères d’évaluation (efficacité, fatigue) et d’effectuer des comparaisons entre méthodes d’interaction.

Les deux axes de recherche apprenant / formateur proposés dans ce sujet de thèse sont résumées dans le tableau ci-dessous.

3. Profil souhaité et contexte de Travail

Profil général

• Ingénieur Grande Ecole apprécié ou Master Recherche

• Rigueur et autonomie

• Qualités de rédaction et de présentation à l’oral

• Anglais parlé et écrit (rédaction d’articles scientifiques)

Compétences requises

• Le candidat devra avoir des connaissances scientifiques dans au moins un des domaines : machine learning, réalité virtuelle, réalité augmentée, UX design, tests utilisateurs.

• Compétences techniques demandées : programmation C# ou C++, la connaissance de moteurs de jeux (Unity 3D, UnrealEngine) est appréciée mais pas absolument requise au démarrage de la thèse.

La thèse s’effectuera à l’école des Mines-ParisTech et chez Spectral TMS. L’équilibre de présence sera à définir en fonction des besoins.

Direction de Thèse :

Alexis Paljic. Phd, HDR, Enseignant Chercheur, Centre de Robotique.

Alexis Paljic, PhD, HDR, Associate Professor.

MINES ParisTech, PSL Research University, Centre for Robotics

60 Boulevard Saint Michel 75006 Paris France

+33 (0)1 40 51 91 61

Encadrement Industriel :

Maxence BOUCAS - Fondateur & COO

maxence.boucas@spectraltms.com

SPECTRAL Transactive Memory Systems

49 rue du Faubourg Saint Martin, 75010 Paris

spectraltms.com

Environnement de travail : Laboratoire de Robotique avec des compétences IA, ML, Interaction, RV, RA, et un grand nombre de solutions hard et soft de RV et RA à disposition.

Date limite de candidature : mardi 9 juin 2020.

Envoi des dossiers de candidature à alexis.paljic@mines-paristech.fr

Composition du dossier :

• CV, lettre de motivation.

• Copies des diplômes obtenus, date des diplômes à venir.

• Notes de Master Recherche (ou des dernières années d’étude).

• Niveau demandé: Master français ou équivalent (ingénieur). Expérience de recherche (stage réussi d'au moins 4 mois ou équivalent, à l’appréciation du jury). Tout diplôme étranger demande une dérogation : année probatoire ; idem pour niveau incertain ou à consolider (à l'appréciation du jury).

• Niveau d’anglais avec justificatif (TOEFL, TOEIC). Niveaux demandés : 750 TOEIC, 550 TOEFL, Niveaux inconnus : faire passer un test par professeur d’anglais

• Candidats étrangers : niveau de français avec justificatif. Niveaux demandés : A2 ou B1 en FLE (Français Langue Etrangère). Niveaux inconnus : faire passer un test par le/la professeur(e) de FLE.

• Lettres de recommandation.

4. Références Bibliographiques.

[1] Hansberger, J. T., Peng, C., Mathis, S. L., Shanthakumar, V. A., Meacham, S. C., Cao, L., & Blakely, V. R. (2017, July). Dispelling the gorilla arm syndrome: the viability of prolonged gesture interactions. In International Conference on Virtual, Augmented and Mixed Reality (pp. 505-520). Springer, Cham.

[2] Mark Billinghurst, Adrian Clark and Gun Lee (2015), "A Survey of Augmented Reality", Foundations and Trends in Human–Computer Interaction: Vol. 8: No. 2-3, pp 73-272. http://dx.doi.org/10.1561/1100000049

[3] Where to display? How Interface Position Affects Comfort and Task Switching Time on Glanceable Interfaces

Samat Imamov (Virginia Tech, USA), Daniel Monzel (Virginia Tech, USA), Wallace Lages (Virginia Tech, USA). IEEE VR Virtual Reality Conference, March 2020.

[4] Westerfield, G., Mitrovic, A. & Billinghurst, M. Intelligent Augmented Reality Training for Motherboard Assembly. Int J Artif Intell Educ 25, 157–172 (2015). https://doi.org/10.1007/s40593-014-0032-x

[5] Wang, M., Lyu, X., Li, Y. et al. VR content creation and exploration with deep learning: A survey. Comp. Visual Media 6, 3–28 (2020). https://doi.org/10.1007/s41095-020-0162-z

[6] https://niessner.github.io/Matterport/

[7] http://www.michaelfirman.co.uk/RGBDdatasets/

[8] https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html#raw_parts

[9] Grégoire Dupont de Dinechin, Alexis Paljic. From Real to Virtual: An Image-Based Rendering Toolkit to Help Bring the World Around Us Into Virtual Reality. 2020 IEEE 6th Workshop on Everyday Virtual Reality (WEVR), Mar 2020, Atlanta, Georgia, United States. ⟨hal-02492896⟩

[10] Grégoire Dupont de Dinechin, Alexis Paljic. Demonstrating COLIBRI VR, an Open-Source Toolkit to Render Real-World Scenes in Virtual Reality. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Mar 2020, Atlanta, Georgia, United States. ⟨hal-02492733⟩