Thèse CIFRE ou CRE sur l’usage de la réalité augmentée dans le BTP

Titre

Localisation intérieure sur site basée sur le flux vidéo pour l’usage de la réalité augmentée dans le BTP

Mots clés

Vision 3D, réalité augmentée, BIM, reconnaissance d’image, IFC, machine learning, analyse de scène, détection d’objets.

Contexte

Un des problèmes majeurs pour le développement des technologies de réalité augmentée sur site concerne les contraintes fortes des environnements visités : conditions d’éclairage variables et difficilement prévisibles, présence de matériaux réfléchissants (ex. métaux), absence de couleurs ou de textures, environnements changeants.

Ce problème est encore plus important quand l’environnement en question est un chantier de construction de bâtiments : phases de chantiers en évolution, positionnements temporaires ou déplacement d’éléments, etc.

Les enjeux des applications de réalité augmentée dans le BTP sont doubles :

(1) localiser le dispositif de réalité augmentée (tablette, smartphone, casque, etc.) sur site (i.e. à grande échelle) de manière précise en temps réel ;

(2) augmenter de manière précise (au centimètre) les objets (i.e. à petite échelle) nécessaires à la conduite du chantier ou à l’exploitation du site.

Dans ces environnements inconnus, non contrôlés (éclairage, scène) et sans couverture GPS, les outils existants de réalité augmentée éprouvent des difficultés fonctionner et ne répondent qu’à une partie de ces enjeux. Pour parvenir à déployer ce type d’applications avec la meilleure qualité de service possible, l’utilisation de techniques de vision par ordinateur est nécessaire, mais des verrous importants restent encore à lever notamment au niveau de l’algorithmie de recalage réel/virtuel et des systèmes de localisation et d’interaction, surtout dans le contexte de terminaux mobiles.

L’objectif étant d’assurer la continuité numérique des informations entre les étapes de conception, de construction et de maintenance d’un bâtiment grâce à la technologie de réalité augmentée.

Défis et objectifs

L’objectif principal de la thèse est de proposer des solutions innovantes de localisation en environnement intérieur changeant (chantiers de construction) afin de permettre à l’utilisateur d’interagir en réalité augmentée avec la maquette de chantier le plus précisément possible tout en utilisant un appareil mobile grand public (smartphone, tablette).

L’intérêt est de pouvoir fournir à l’utilisateur un produit accessible qui ne nécessite qu’un appareil mobile. Actuellement, l’application Bloc in Bloc a comme fonction principale de superposer une maquette numérique issue d’un modèle 3D BIM au réel. L’utilisateur définit manuellement sa position dans le bâtiment. Cette manipulation ne garantit pas un alignement fiable à 100%.

Après étude des techniques existantes de localisation (SLAM visuel, Structure From Motion, zones d’intérêts, etc.), le/la doctorant(e) proposera une solution hybride de localisation intérieure la plus précise possible et en temps réel. La thèse portera également sur la reconnaissance d’objets dans le flux vidéo de réalité augmentée afin de superposer le modèle 3D numérique de l’ouvrage sur le réel et de présenter des informations pertinentes pour des tâches requérant une précision fine. Un scénario d’application consisterait par exemple à afficher, sur un chantier, un ensemble d’informations concernant les non-conformités affectant un élément de l’ouvrage à un utilisateur, en le conseillant sur des points de vigilance pertinents.

Les développements seront réalisés sur des systèmes mobiles iOS, Android et éventuellement HoloLens.

Ces travaux de thèse seront menés en coopération étroite entre le CERI Systèmes Numérique d’IMT à Villeneuve d'Ascq et Bloc in Bloc à Nantes. Les choix algorithmiques se feront en cohérence avec les services utilisés par Bloc in Bloc en mobilité. L’intégration dans une application réelle et des tests en situation seront réalisés dans le cadre de cette thèse.

Lieux de la thèse : IMT Lille Douai (site de Villeneuve d’Ascq) et Bloc in Bloc (Nantes).

IMT Lille Douai

Issue de la fusion au 1er janvier 2017 de l’École des Mines de Douai et de Télécom Lille, IMT Lille Douai est la plus importante École d’Ingénieurs au nord de Paris. Son objectif est de former les ingénieurs de demain, maîtrisant à la fois les technologies numériques et les savoir-faire industriels. Son Centre d’Enseignement, Recherche et Innovation (CERI) Systèmes Numériques développe un enseignement de haut niveau et une recherche d’excellence en Sciences et Technologies du Numérique et dans les Processus pour l’Industrie et les Services.

Bloc in Bloc

La société Bloc in Bloc, créée en 2017 et située en plein cœur de Nantes, est spécialisée dans la réalité augmentée au service du bâtiment.

Entreprise à taille humaine, notre travail se concentre sur la recherche, l'innovation et la valorisation des nouvelles technologies au service des professionnels du bâtiment. Nos solutions s’appliquent à l’ensemble du cycle de vie d’un bâtiment, de sa conception à son exploitation (et demain à sa déconstruction).

Nous nous inscrivons dans le programme de coopération openBIM et nous utilisons le format de fichier standardisé IFC pour sortir les modèles architecturaux en modèles virtuels exploitables en AR ou VR.

Profil recherché

- Étudiant(e) titulaire d’un diplôme d’ingénieurs ou Master 2 en informatique

- Fort intérêt pour les technologies de réalité augmentée et virtuelle

- Connaissances en vision par ordinateur et en intelligence artificielle (Deep Learning)

- Appétence pour le développement informatique, et les plateformes mobiles (iOS, Android)

- Envie de s’investir dans un projet de recherche à fort potentiel applicatif et pouvant déboucher sur des applications concrètes pendant la thèse.

- Connaissances en mathématique (optimisation, statistique)

- Connaissances de moteurs de jeux (Unity 3D, Unreal Engine…) est appréciée.

Contacts

- Bloc In Bloc : Adrien Scholastique (adrien@blocinbloc.com) et Laurent Bartholomeus (laurent@blocinbloc.com)

- IMT Lille Douai : Jean-Philippe Vandeborre (jean-philippe.vandeborre@imt-lille-douai.fr) et Hazem Wannous (hazem.wannous@imt-lille-douai.fr)

Pour postuler

Le/la candidat(e) devra fournir : une lettre de motivation pour le sujet et l’engagement dans une thèse de doctorat, un CV, une copie de ses derniers diplômes et ses résultats académiques, et au moins une lettre de recommandation ou le contact d’une personne de référence (enseignant en master, encadrant de stage de master, etc.)