Offre Thèse CIFRE ENIT RV haptique

Sujet :

Assistance à la validation de scénarios complexes en Réalité Virtuelle (RV) : planification interactive et immersive avec guidage visuo-haptique, et présence par immersion visuelle pluridirectionnelle.

Encadrement scientifique :

• Bernard ARCHIMEDE – Professeur des Universités – email : bernard.archimede@enit.fr

• Philippe FILLATREAU – Maître de Conférences – email : philippe.fillatreau@enit.fr

Equipe Décision et Interopérabilité pour la Dynamique des Systèmes (DIDS) du Laboratoire Génie de Production de l’Ecole Nationale d’Ingénieurs de Tarbes (LGP-ENIT)

Ecole Nationale d’Ingénieurs de Tarbes

47, avenue d'Azereix

BP 1629

65016 Tarbes Cedex

Contexte

Avec l’émergence des techniques de simulation numérique et plus récemment de la Réalité Virtuelle, industriels ou institutionnels expriment le besoin croissant de valider des processus complexes par simulation.

• Dans l’industrie, alors que le contexte économique est de plus en plus concurrentiel, les produits industriels sont de plus en plus intégrés et les tâches associées à leur cycle de vie (assemblage, maintenance, démontage…) doivent être effectués sous des contraintes géométriques parfois très fortes. Dans le PLM (Product Lifecycle Management) de l’Industrie 4.0 (Usine du Futur), les industriels souhaitent donc pouvoir, dès la phase de conception des produits, valider l’ensemble de ces tâches de manière à pouvoir modifier la conception de ces produits (avant d’avoir construit les prototypes physiques) si l’assemblage, la maintenance ou le démontage de ces produits le nécessite. Une telle approche permet de réduire les temps et coûts de développement, de détecter les erreurs au plus tôt, et un développement des produits plus durable.

• De même, la simulation numérique peut permettre de préparer ou de valider des scénarios complexes tels que l’intervention d’une équipe de sécurité civile sur un site sinistré, la navigation de robots mobiles d’intervention en milieu hostile ou la coordination de véhicules automatiques. Lors de la simulation de tels processus complexes, on s’intéresse au positionnement relatif ou au mouvement d’objets et de ressources : machines, robots, humains qui les manipulent. Une étape clé est de trouver un chemin, une trajectoire, un mouvement pour montrer la faisabilité de scénarios, pré-calculer ce que sera l’exécution d’une tâche.

Historiquement cette question a donné lieu, à partir des années 80, au développement par la communauté robotique de méthodes de planification automatique de mouvements dans l’espace libre. Les principales approches se sont appuyées sur les différentes façons de caractériser l’espace libre, par des méthodes cartographiques (pavage régulier ou non, exact polyédrique ou approché), et sur la recherche d’une composante connexe parcourable. Ces méthodes ont évolué. De démarches déterministes et basées sur des cartographies exactes, elles ont abouti aujourd’hui à des familles de recherche probabiliste de graphes dans l’espace libre : ces dernières familles de méthodes font le pari initial d’un jet équiprobable de points admissibles puis l’adaptent à la situation étudiée au moyen d’heuristiques qui guident ce jet de points. Les limites de ces techniques, qu’elles soient déterministes ou probabilistes, sont liées principalement à la complexité des modèles de l’environnement mis en œuvre, traditionnellement purement géométriques ; ni les modèles de l’environnement, ni les méthodes d’exploration de ces modèles ne s’appuient sur des informations relatives à la tâche à réaliser. Lorsque l’environnement est complexe, les algorithmes de planification automatique de trajectoires peuvent conduire à des temps de calcul élevés, échouer, ou fournir des solutions peu pertinentes vis-à-vis de la tâche à réaliser. Pour répondre à ces difficultés, des travaux récents se sont intéressés à des approches collaboratives humain / planificateur, qui ne permettent malheureusement que rarement une interaction continue.

Ces dernières années, l’émergence de la Réalité Virtuelle a permis d’envisager une révolution de la simulation. La RV permet la simulation dans un monde virtuel du comportement d’entités 3D, en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire d’interfaces sensorimotrices ; l’opérateur humain dans la boucle peut agir en temps réel sur les objets de la scène virtuelle, en particulier en les mettant en mouvement et en détectant les collisions. Pour l’utilisateur, la crédibilité de l’expérience et le sentiment de "présence" (présence des objets virtuels, ou présence de soi-même dans la scène virtuelle) ressenti sont très importants.

L’équipe DIDS du LGP-ENIT a alors développé une démarche scientifique originale associant des moyens de planification automatique de trajectoires aux techniques de RV afin de faire appel à l’expertise humaine pour contrôler cette planification par une coopération planificateur/humain. Celle-ci s’est appuyée sur un guidage visuo-haptique en immersion, et une reformulation et intégration de techniques de pré-cartographie (octree), d’optimisation heuristique en position (A*) et de planification probabiliste à base de RRT (Rapidly exploring Random Tree). Ces travaux ont montré la pertinence de l’approche et nous ont permis d’aborder la question du partage d’autorité entre l’humain (avec ses capacités cognitives) et la plateforme de RV (et sa puissance de calcul). Pour répondre aux limitations des planificateurs automatiques de trajectoires évoquées ci-dessus et améliorer l’assistance à la manipulation ou à la navigation, nous avons ensuite proposé de prendre en compte dans le modèle 3D de la scène virtuelle et dans les stratégies de planification interactive de mouvements des données de plus haut niveau d’abstraction (topologiques, sémantiques) que les données purement géométriques traditionnellement utilisées. La pertinence des trajectoires proposées, les modalités d’interaction (partage d’autorité, détection des intentions de l’opérateur) et les performances temps réel du système de planification de trajectoires ont été significativement améliorées ; mais le niveau sémantique reste embryonnaire, et l’assistance proposée à l’opérateur n’est pas orientée vers le métier et la tâche à réaliser.

Dans ce contexte, le travail proposé vise à améliorer l’assistance à la simulation de scénarios complexes de manipulation ou de navigation. Pour passer de l’"expérience virtuelle" à l’"expérience métier", il est nécessaire de raisonner au niveau "tâche à réaliser". Pour cela, il faut, dans le module d’assistance, considérer conjointement planification de tâches (qui permet de prendre en compte le contexte métier de la tâche simulée, et pas seulement la problématique de la recherche d’un mouvement faisable) et planification de trajectoires (seule à même de valider qu’il existe un mouvement permettant de réaliser le plan de tâches). Ceci n’a été que rarement exploré par la communauté scientifique, quelquefois dans le domaine de la robotique, et est totalement innovant dans le domaine de l’assistance à la manipulation ou à la navigation interactives et immersives qui nous intéresse ici.

Sujet proposé

Objectifs

Pour considérer conjointement planification de tâches et de trajectoires dans le module d’assistance à la manipulation et à la navigation, nous proposons donc d’étudier :

• les possibilités d’associer planification de tâches et planification de trajectoires de manière collaborative pour l’assistance à la manipulation et la navigation interactives et immersives pour la simulation de scénarios complexes ;
• les modalités d’interaction (partage d’autorité, détection d’intention) entre l’opérateur humain dans la boucle et ce module collaboratif d’assistance "tâches-trajectoires"

tout en intégrant dans la réflexion scientifique le potentiel "présence" d’un dispositif d’immersion visuelle pluridirectionnelle développé par l’entreprise.

Les applications visées dans le travail proposé concernent l’assistance à la navigation ou/et à la manipulation dans un environnement de type habitation ou bâtiment (industriel ou autre), par exemple pour la validation d’un site de production dans un contexte industriel, ou la préparation d’une intervention dans un bâtiment dans le contexte de la sécurité civile.

Dans un premier temps, nous proposons d’explorer les stratégies de collaboration entre planification de tâches et planification de trajectoires. La planification de tâches permet de décomposer une tâche à réaliser en un ensemble de tâches élémentaires ; le plan de tâches obtenu doit être utilisé pour définir des requêtes de planification de trajectoires (position de départ et d’arrivée, planificateur de trajectoires à utiliser, contraintes géométriques sur la planification de mouvement…) plus pertinentes par rapport à la tâche à réaliser. Les résultats de la planification de trajectoires doivent alors être utilisés pour valider, remettre en cause ou affiner le plan de tâches, dans une démarche itérative. Pour pouvoir raisonner sur les concepts mis en jeu, les possibilités des outils des sciences cognitives (et notamment des ontologies qui permettent de représenter des concepts et des moyens de raisonnement sur ces concepts) pourront être étudiées. Nous nous appuierons ici sur les travaux existants dans le domaine de la modélisation des concepts associés à la planification des tâches, la modélisation 3D de l’environnement et la planification de trajectoires.

Comme les travaux passés menés par l’équipe DIDS l’ont montré, ceci nécessitera d’étudier les possibilités de "sortir du tout géométrique" et de prendre en compte des données de plus haut niveau d’abstraction (topologiques et / ou sémantiques) pour la modélisation d’environnements de type habitation ou bâtiment.

Dans un second temps, nous explorerons l’amélioration des modalités d’interaction entre l’opérateur humain en immersion et le module d’assistance collaboratif tâches-trajectoires. Nous poursuivrons nos travaux sur les questions de partage d’autorité et de détection d’intention. Les modalités d’interaction pourront permettre la remise en cause globale ou locale du plan de tâches ou de trajectoires associés à la tâche simulée, ou le choix parmi des alternatives dans les deux plans (de tâches et/ou de trajectoires).

Les concepts développés dans ce travail de thèse seront validés par l’expérimentation sur des plateformes de RV.

Verrous scientifiques

Les verrous scientifiques à lever sont les suivants :

1. Le premier verrou concerne la modélisation, dans un environnement de type bâtiment, de données de plus haut niveau (topologiques – lieux dans un environnement de type bâtiment, tels que pièces ou couloirs, et leur connectivité - ou sémantiques – qualification sémantique des lieux, décrivant leur identité, fonction, etc.) que les données purement géométriques. Dans les domaines du BIM (Building Information Modeling) comme des systèmes d’information géographiques, ou dans les développements spécifiques réalisés pour la robotique mobile et de nombreux autres domaines, les méthodes proposées dans ce sens manquent souvent d’automatisation, et les travaux ne s’intéressent généralement pas à des environnements véritablement 3D – immeubles à plusieurs étages avec des lieux permettant de passer d’un étage à un autre –, ni à la génération de mouvements, qui sont l’objectif des travaux proposés ici.

2. Le deuxième verrou concerne la collaboration entre planification de tâches et planification de trajectoires. En robotique, les travaux trouvés dans la littérature réalisent généralement une planification de tâches classique, et associent aux tâches élémentaires du plan obtenu des requêtes de planification de trajectoires dont la faisabilité est vérifiée. L’interopérabilité entre planification de tâches et de trajectoires doit être améliorée, notamment du fait d’un rebouclage insuffisant entre le "bas niveau" (faisabilité du mouvement) et le "haut niveau" (absence de prise en compte de ces informations pour la planification de tâches). Intégrer ces deux aspects dans une démarche itérative et interactive pourra nécessiter par exemple d’étudier les possibilités de rendre les méthodes traditionnelles de planification de tâches plus interactives. Etudier la nature des informations à échanger entre ces deux niveaux est important également (ne peut-on utiliser au niveau planification de tâches une information plus riche que la simple faisabilité du mouvement, comme la complexité de celui-ci, par exemple ?). A notre connaissance, ces problématiques n’ont pas été étudiées pour l’assistance à la navigation ou à la manipulation.

3. Le troisième verrou concerne l'interaction de l’utilisateur dans la boucle avec le module d’assistance tâches-trajectoires. A notre connaissance, cette problématique n’a pas été étudiée pour l’assistance à la navigation ou à la manipulation.

Le doctorant candidat

Le candidat recruté sera issu d’une formation Master 2 université / Ecole d’Ingénieurs dans les domaines des systèmes intelligents, de la robotique et de l’informatique. Des compétences en RV et/ou Intelligence Artificielle, une expérience de recherche (stage en laboratoire ou R&D industrielle), et un bon niveau d’Anglais seront appréciés.