PhD Defense/Soutenance de thèse - Vialle Manon - 11/12/23

***English version below***

Bonjour à toutes et tous,

J'ai le plaisir de vous inviter à ma soutenance de ma thèse intitulée "Conception et Evaluation de Systèmes 3D pour la Transmission de Mouvement Dansé" encadrée par Mélina Skouras, Sarah Fdili Alaoui et Emmanuelle Crépeau .

La soutenance aura lieu le lundi 11 décembre à 14h00 dans l'amphithéâtre de la MACI, sur le campus de Saint Martin d'Hères, au 339 Avenue Centrale, 38400 Saint-Martin-d'Hères.

La soutenance sera en anglais et sera retransmise en direct:

https://youtube.com/live/rQRpckGAK54

Le jury de thèse sera composé de :

Rapporteur : M. Antonio Camurri, Professor, Università degli Studi di Genova

Rapporteur : M. Michael Neff, Professor, University of California, Davis

Examinatrice : Mme Laurence Nigay, Professeure des Universités, Université Grenoble-Alpes, LIG

Examinatrice : Mme Caroline Larboulette, Maitresse de conférence, Université de Bretagne Sud, IRISA

Examinatrice : Mme Katerina El Raheb, Assistant Professor, Université du Péloponnèse

Invitée : Mme Schwartz Elisabeth, Chercheuse et Danseuse Indépendante

Résumé

Dans cette thèse, mon objectif est de concevoir et d'évaluer des systèmes 3D pour la transmission du mouvement en danse. J'explore la transmission de la danse à travers deux dimensions : la transmission de certains aspects spécifiques d'un style de danse aux danseurs, et la transmission d'une animation de danse d'un personnage virtuel animé à un autre.

Lors de la transmission d'aspects spécifiques d'un style de danse aux danseurs, j'ai collaboré avec une danseuse experte dans le style d'Isadora Duncan pour créer des systèmes 3D en réalité augmentée. Une première contribution réside dans la co-conception, la mise en œuvre technique et l'évaluation avec les danseurs d'un artefact virtuel qui transmet la fluidité du mouvement. Ce système permet de visualiser des rubans en forme d'étoile joints au plexus solaire, animés à partir de données de capture de mouvement des danses d'Isadora Duncan. L'animation est créée via un algorithme d'optimisation. L'évaluation s'est déroulée sous la forme d'ateliers et a montré un grand potentiel du système pour transmettre les qualités du mouvement d'Isadora Duncan qu'une représentation de type humain ou basée sur un squelette échoue à transmettre.

Sur la base des retours de la première contribution, j'ai co-conçu avec la même danseuse experte un second système qui vise à aider la perception de la spatialisation de la danse en réalité augmentée. Cette deuxième contribution réside dans la conception et l'évaluation du système. Avec la danseuse experte, nous nous sommes inspirées de la notation Sutton pour créer un système qui visualise des poses clés animées à partir de la danse et la trace du plexus solaire dans l'espace. J'ai ensuite mené une observation structurée pour évaluer les différences dans le nombre d'images clés affichées en même temps. Mes résultats montrent le potentiel de la réalité augmentée à des fins pédagogiques.

La dernière contribution de cette thèse réside dans le deuxième aspect de la transmission de la danse : la transmission de la danse animée d'un personnage virtuel à un autre. J'ai créé un système qui prend en entrée des données de capture de mouvement d'une danse et les transfère à un autre corps qui peut avoir une morphologie différente. Pour ce faire, je génère d'abord des rubans à partir des données de capture de mouvement (squelette animé ou ensemble de marqueurs). Ensuite, j'associe chaque ruban à une chaîne articulée du squelette cible. Enfin, j'applique l'animation contenue dans les rubans sur le squelette cible à l'aide d'un algorithme d'optimisation.

Bien cordialement,

Manon Vialle

********************************

English version

Hello everyone,

I am pleased to invite you to my thesis defense entitled "Design and Evaluation of 3D Systems for Movement Transmission in Dance," supervised by Mélina Skouras, Sarah Fdili Alaoui, and Emmanuelle Crépeau.

The defense will take place on Monday, December 11th, at 2:00 PM in the auditorium of MACI, on the Saint Martin d'Hères campus, at 339 Avenue Centrale, 38400 Saint-Martin-d'Hères.

The defense will be conducted in English and will be live-streamed:

https://youtube.com/live/rQRpckGAK54

The thesis committee will consist of:

Examiner: Mr. Antonio Camurri, Professor, Università degli Studi di Genova

Examiner: Mr. Michael Neff, Professor, University of California, Davis

Examiner: Ms. Laurence Nigay, Professor, Université Grenoble-Alpes, LIG

Examiner: Ms. Caroline Larboulette, Associate Professor, Université de Bretagne Sud, IRISA

Examiner: Ms. Katerina El Raheb, Assistant Professor, Université du Péloponnèse

Guest: Ms. Schwartz Elisabeth, Independent Dancer

Abstract

In this thesis, I aim to design and evaluate 3D systems for movement transmission in dance. I explore dance transmission through two dimensions: transmission of specific aspects of a dance style to dancers and transmission of the animated dance from one virtual animated character to another.

When transmitting specific aspects of a dance style to dancers, I collaborated with a connoisseur dancer in Isadora Duncan’s style to create 3D systems in augmented reality. A first contribution is the co-design, technical implementation, and evaluation with dancers of an artifact that transmits the fluidity of movement. This system visualizes star-shaped ribbons joined at the solar plexus animated from motion-captured data of Isadora Duncan’s dances. The animation is performed using an optimization-based algorithm. The evaluation took place as a series of workshops. It showed great potential for the system to transmit the qualities of Isadora Duncan’s movement that a human-like or skeleton-based representation fails to transmit.

Based on the feedback of the first contribution, I co-designed with the same connoisseur dancer another system that supports the perception of spatiality in dance in augmented reality. This second contribution lies in the design and evaluation of the system. Along with the expert dancer, I took inspiration from the Sutton notation to create a system that visualizes animated keyframes of the dance and the trace of the solar plexus in space. I then ran a structured observation to evaluate the differences in the number of keyframes displayed simultaneously. My results show the potential of augmented reality for pedagogical purposes.

The last contribution of this thesis lies in the second aspect of dance transmission: transmission of the animated dance from one virtual animated character to another. I created a system that takes as an input motion-captured data of a dance and transfers it to another body with a different morphology. To achieve this, I first generate ribbons from the motion-captured data (animated rig or set of markers). Then, I match each ribbon with an articulated chain of the target rig. Lastly, I apply the animation contained in the ribbons onto the target rig using an optimization algorithm.