Offre de Thèse LIS et ISM Aix-Marseille Université & CNRS

Apprentissage et évaluation de la prise de parole en public en réalité virtuelle

Date limite pour l’envoi de la candidature : 8 mai 2020

Laboratoire d’Informatique et des Systèmes (LIS) et l'Institut des Sciences du Mouvement (ISM) Aix-Marseille Université & CNRS

Mots-clés :

Interaction humain-machine, Recueil de données comportementales, Réalité virtuelle, Agent Conversationnel Animé, Intelligence Artificielle, Apprentissage automatique

Contexte

Dans le domaine de l’e-éducation et de la formation, un intérêt croissant est apparu autour de la « formation par la simulation » s’appuyant sur des environnements virtuels. Plusieurs travaux ont été ainsi conduits autour de dispositifs permettant de simuler une interaction sociale avec un Agent Conversationnel Animé (ACA) pour entraîner ses propres compétences sociales (« Virtual Agents for Social Skills Training », Bruijnes et al., 2019; Ochs et al., 2019). Certains travaux de recherche, encore très peu nombreux, ont exploré l’utilisation d’une audience virtuelle composée d’un ensemble d’ACAs pour entraîner les individus à la prise de parole en public (Chollet et al., 2015; Pertaub et al., 2002; North et al., 1998).

Un des enjeux dans le développement des environnements virtuels pour la formation des compétences sociales est de pouvoir automatiquement évaluer la performance de l’utilisateur et son engagement dans la tâche. Dans le contexte de la prise de parole en public, un certain nombre d’indices verbaux et non-verbaux objectifs reflète la qualité de la prise de parole en public ; par exemple le nombre de disfluences dans le discours, les gestes et la direction du regard. L’engagement de l’utilisateur, et plus particulièrement dans le domaine de la réalité virtuelle son sentiment de présence et de co-présence, se traduit aussi par des indices verbaux et non-verbaux objectifs (Ochs et al, 2019). L’identification des indices comportementaux de la qualité d’une interaction humain-machine est aujourd’hui une problématique de recherche majeure.

L’objectif de ce projet de thèse est d’explorer les indices objectifs comportementaux et physiologiques de la qualité de l’interaction avec comme cas d’usage plus spécifiquement la prise de parole en public face à une audience virtuelle dans un environnement de Réalité Virtuelle (RV). Il s’agit d’un défi scientifique important, reposant à la fois sur les travaux en sciences du mouvement humain et en informatique. La méthodologie proposée reposera en effet sur une analyse interdisciplinaire des indices objectifs de l’Interaction Humain-Machine dans cette situation notamment à partir de l’analyse du langage (e.g. prosodie, lexique, syntaxe), une analyse des gestes et des postures (e.g. mesure biomécanique, expression faciale) et des indices physiologiques (e.g. mesure de la fréquence cardiaque, de la conductance electro-dermale). Ces données d’interactions seront analysées à partir de méthodes d'apprentissage automatique pour extraire les indices comportementaux et physiologiques caractéristiques de la qualité de la prise de parole.

La thèse s’organisera autour de 4 grandes étapes : 1/ Collecte et annotation semi-automatique d’un corpus d’interaction humain-audience virtuelle en RV du comportement de prise de parole; 2/ identification des compétences sociales à partir de l’étude du cas d’usage ; 3/ identification des indices comportementaux et physiologiques des compétences sociales à l’aide de techniques d’apprentissage automatique ; et 4/ développement d’un système d’évaluation automatique des compétences sociales adapté au cas d’usage.

Cette thèse interdisciplinaire sera réalisée en collaboration avec deux laboratoires de recherche de Aix Marseille Université : l’ISM et le LIS. La plateforme technologique de simulation développée au Centre de Réalité Virtuelle Méditerranée (CRVM) de l’ISM pour l'entraînement à la prise de parole face à une audience virtuelle sera utilisée. L’évaluation sera réalisée en collaboration avec les experts du domaine (coach en prise de parole) pour comparer la sortie du modèle avec l’expertise des coachs.

Compétences requises

La-e candidat-e devra avoir une formation initiale en Informatique, ou en Sciences du Mouvement ou en Sciences Cognitives.

Des compétences en apprentissage automatique, en méthodes expérimentales et en analyses statistiques sont attendues.

Des connaissances en Traitement Automatique du Langage, en traitement du signal, et en analyse du mouvement (motion capture) en Python et R seraient appréciées.

Des connaissances techniques en programmation (Java, C++, C Sharp) et dans le logiciel Unity seraient un plus.

Une ouverture pluridisciplinaire est incontournable.

La thèse est entièrement financée par un contrat doctoral de 3 ans (salaire brut entre 1700 et 2000€/mois) dans le contexte de l’appel Inter-Ed interdisciplinaire d’Aix Marseille Université. Les laboratoires assurent le financement des déplacements professionnels, de la formation du candidat et de la participation aux conférences internationales. Aix Marseille Université (http://www.univ-amu.fr/en), la plus grande université française, est idéalement localisée sur la côte méditerranée à seulement 1h30 des Alpes.

Candidature

Le dossier du candidat doit comporter les documents suivants :

1. 1 CV
2. Une lettre de motivation
3. Les relevés de notes et copies des diplômes (Licence et master)
4. Une lettre de recommandation du responsable de stage ou du directeur de mémoire de master.
5. Le mémoire de master 1 et/ou 2.

Le dossier doit être envoyé avant le 8 mai 2020 à:

• Magalie Ochs: magalie.ochs@lis-lab.fr

• Rémy Casanova: remy.casanova@univ-amu.fr

Pour toute question, vous pouvez nous contacter par email.