Soutenance de Thèse: Restauration virtuelle de statues numerisées
J’ai le plaisir de vous inviter à ma soutenance de thèse qui aura lieu le mardi 6 juillet 2021 à 14 heures à l’Université Lyon 1, Bâtiment Charles Darwin - Amphithéâtre Deperet au 43 bd du 11 novembre à Villeurbanne.
Cette thèse s’intitule “Restauration virtuelle de statues numerisées”. Elle a été préparée au sein du laboratoire LIRIS, et a été réalisée dans le cadre du projet e-ROMA (ANR-16-CE38-0009).
Le jury sera composé de :
- Rapporteure : Stefanie HAHMANN, professeure, Grenoble INP
- Rapporteur : Mathias PAULIN, Professeur, Université Paul Sabatier
- Examinateur :Franck HÉTROY-WHEELER, Professeur, Université de Strasbourg
- Examinateur : Yoann LAFON-JALBY, Maître de Conférences, Université Claude Bernard Lyon 1
- Examinatrice : Emmanuelle ROSSO, Maître de Conférences, Université Paris-Sorbonne
- Directrice de thèse : Raphaëlle CHAINE, Professeure, Université Claude Bernard Lyon 1
- Co-Directrice de thèse : Julie DIGNE, Chargée de Recherche, CNRS
La soutenance aura lieu en présentiel, mais il sera possible d’assister virtuellement à l’exposé de la thèse en utilisant le lien de visioconférence suivant :
https://univ-lyon1.webex.com/univ-lyon1/j.php?MTID=mee41327ae717cf6266f5814dba8d8a0e
Le résumé est joint ci-dessous. La soutenance se déroulera en français mais les transparents seront en anglais.
Résumé:
La numérisation des objets archéologiques est une tâche importante pour la préservation et la transmission du patrimoine culturel, mais il est également indispensable de s’occuper du problème de leur restauration. Cependant, les processus de restauration physique traditionnels sont difficiles, coûteux et parfois risqués pour l’intégrité des vestiges eux-mêmes, en raison de mauvais choix de restauration par exemple. Pour éviter cela, il est intéressant de se tourner vers la restauration virtuelle, qui permet de tester des hypothèses de restauration, qui pourront être réalisées ultérieurement sur les vestiges réels. Dans ce contexte, notre objectif est de développer une nouvelle approche de restauration virtuelle de statues numérisées, fondée sur l'utilisation d'un modèle unifié gardant le lien avec la précision originale des scanners utilisés et permettant d'échafauder différentes hypothèses.
Cette thèse présente un cadre pour compléter les parties manquantes de statues archéologiques représentant des personnages.
Tout d'abord, nous proposons l'algorithme FAKIR qui permet de recaler un modèle anatomique articulé de type sphere-mesh sur un nuage de points résultant de la numérisation d’une statue, en découvrant conjointement les paramètres anatomiques utiles à l'étalonnage du modèle. Il s'agit en effet d'un problème d'optimisation pour lequel il est possible d'exploiter des hypothèses de recalage rigide par morceaux, tout en s’inspirant d'algorithmes de cinématique inverse. Nous avons également testé les capacités actuelles offertes par l’apprentissage profond pour le recalage de squelette 2D et 3D afin de comparer et de mieux positionner l’algorithme FAKIR. La comparaison étaye notre intuition que l’apprentissage effectué à partir des images ou des relevés de vrais modèles humains ne permet pas de détecter avec justesse le squelette d’une statue. De plus, l'approche de recalage FAKIR se généralise à des modèles non humanoïdes, pour lesquels on ne dispose généralement pas de base d’apprentissage.
Ensuite, nous proposons deux nouvelles approches de skinning pour modifier la position d’une statue décrite par un nuage de points après que l’on ait identifié sa structure anatomique en utilisant FAKIR. La premier approche adoptée distingue les mouvements de torsion, des mouvements de dépliement ou repliement d'une articulation entre deux membres, en prenant en compte l’anisotropie propre à ces articulations, mais reste fondée sur l’utilisation de poids pour déterminer le déplacement d’un point influencé par plusieurs os. La seconde approche de skinning utilise une description du détail de la statue au dessus d'un ensemble de lignes couvrant notre modèle articulé, avec une approche géométrique pour déterminer l’évolution des lignes et du détail suite à une déformation.
Finalement, sur la base de ces contributions, nous proposons une méthode pour combiner entre elles des parties de différentes statues après les avoir ramenées à une pause et une morphologie communes. Étant donné une statue à restaurer, nous commençons par identifier les parties manquantes. Des statues compatibles sont ensuite fournies par les utilisateurs afin de pouvoir compléter la statue à restaurer par combinaison la plus harmonieuse possible. Pour cela, la morphologie et la pose des statues sont modifiées au préalable pour correspondre à celles de la statue cassée. Une des originalités des approches développées est qu’elles opèrent directement sur des nuages de point, sans recourir à un maillage, afin de préserver la richesse de la précision fournie par les scanners.
Mots clés : restauration virtuelle, nuage de points, recalage, skinning sur nuage de point, déformation de forme, modèle de sphere-mesh
Abstract:
The digitization of archaeological artifacts is an essential task for the preservation and transmission of cultural heritage, and it is also essential to deal with the problem of their restoration. However, traditional physical restoration processes are complicated, costly, and sometimes risky for the remains' integrity due to poor restoration choices. For this reason, it is interesting to turn to virtual restoration, which allows testing restoration hypotheses before applying them later on the actual remains. In this context, our objective is to develop a new approach to the virtual restoration of digitized statues, based on a unified model keeping the link with the original precision of scanned data and allowing to build different hypotheses.
This thesis presents a framework for completing the missing parts of archaeological statues representing characters.
First of all, we propose the FAKIR algorithm, which allows registering an articulated anatomical model of the sphere-mesh type on a point cloud resulting from the digitization of a statue while jointly discovering the anatomical parameters for the calibration of the model. The registration is indeed an optimization problem that we address by exploiting piecewise rigid registration assumptions while taking inspiration from inverse kinematics algorithms. We also tested the current capabilities offered by deep learning for 2D and 3D skeletal registration to compare FAKIR with those algorithms on our data. The comparison supports our intuition that learning from images or scans of real human models does not accurately detect a statue's skeleton. Besides, the FAKIR registration approach is generalized to non-humanoid models, for which there is generally no basis for learning.
Next, we propose two new skinning approaches for modifying the position of a statue described by a point set after FAKIR has identified its anatomical structure. The first approach distinguishes twist of a limbs from bending or unbending at a joint between two limbs. It also takes into account the anisotropy specific to these joints, but it is based on the use of weights to determine the displacement of a point influenced by several bones. The second skinning approach introduces a description of a statue's details above a set of baselines covering our articulated model, with a geometric approach to determine the evolution of baselines and detail following a deformation.
Finally, based on these contributions, we propose combining parts of different statues after bringing them to a common pose and morphology. Given a statue to be restored, we start by identifying the missing parts. Compatible statues are then provided by the users to complete the statue to be restored in the most harmonious combination position. For this, the morphology and the pose of the statues are modified beforehand to match broken statues. One of the originalities of our approaches is that they operate directly on point sets without resorting to a mesh to preserve the richness of the precision provided by the scanners.
Key words: virtual restoration, point cloud, registration, point set skinning, shape deformation, sphere-mesh model
Cordialement,
Tong Fu
Retour sur Laval Virtual en virtuel
Nous n’avons jamais rassemblé autant de participant au VRIC durant Laval Virtual !Les chiffres...
CfP : SMI 2020 Fabrication and Sculpting Event
The Fabrication and Sculpting Event (FASE) presents original research at the intersection of...
Articles de la conférence CHI 2020 disponibles
Les proceedings de la conférence CHI 2020 (Conference on Human Factors in Computing Systems)...
Call for Papers ISMAR 2020
http://ismar20.org/call-for-papers/Note: all submissions are made via the PCS system. Please see...
Report – Journée du Groupe de Travail « Réalité Virtuelle » du GDR IG.RV
Suite à la crise sanitaire, nous somme obligés de décaler le Groupe de travail réalité virtuelle...
Frontiers in Virtual Reality – Online Seminar Series
The Editorial board of Frontiers in Virtual Reality is pleased to present a series of virtual...