Contributions to the Design of Novel Hand-based Interaction Techniques for Virtual Environments

Merwan Achibet

Team-project Hybrid

PhD defense - December 14th, 2015

Les membres du Jury:

Sabine Coquillart, Directrice de Recherche Inria, Inria Grenoble – Rapporteur
Frank Steinicke, Professeur, Hamburg University – Rapporteur
Stephen Brewster, Professeur, Glasgow University – Examinateur
Mehdi Ammi, Maître de conférences, Université Paris Sud – Examinateur
Bruno Arnaldi, Professeur, INSA Rennes – Examinateur
Géry Casiez, Professeur, Université de Lille 1 – Membre invité
Maud Marchal, Maître de conférences, INSA Rennes – Encadrante
Anatole Lécuyer, Directeur de Recherche Inria, Inria Rennes – Directeur de Thèse

Résumé:

Faire directement usage de nos mains pour explorer des environnements virtuels et interagir avec leur contenu permet une interaction à la fois naturelle et convaincante. Dans cette thèse, nous visons à améliorer l'interaction avec les mains dans le contexte de la Réalité Virtuelle en abordant deux principaux défis : (1) faciliter le contrôle de modèles de mains articulées et (2) fournir des sensations haptiques au travers d'interfaces accessibles.

Nous abordons tout d'abord l'interaction au travers de mains virtuelles articulées et proposons deux méthodes pour faciliter leur contrôle. Premièrement, nous réduisons leurs nombreux degrés de liberté de façon à pouvoir exploiter des interfaces tactiles courantes. Le système qui en résulte permet aux utilisateurs de contrôler une main virtuelle en réalisant des gestes sur la surface d'une tablette. Ensuite, nous adoptons une autre approche et séparons les degrés de liberté des mains virtuelles entre deux interfaces haptiques contrôlées en parallèle. Par cette distribution des contrôles et des retours de force, les utilisateurs sont exposés à des effets haptiques variés, autrement réservés à des interfaces haptiques coûteuses.

Nous abordons ensuite le sujet du retour haptique pour différents types d'interaction avec les mains. Pour cela, nous combinons des retours passifs à des retours pseudo-haptiques en tant qu'alternative à l'usage d'interfaces actives complexes et encombrantes. Dans un premier temps, nous considérons l'interaction avec les bras et proposons une armature élastique attachés à l'utilisateur qui fournit un retour de force égocentrique tout en conservant sa mobilité. Nous abordons ensuite le sujet de la saisie d'objets virtuels et proposons un nouveau paradigme d'interaction basé sur une interface élastique qui reproduit les mouvements de préhension et fournit un retour adapté et modulable par un effet pseudo-haptique.

Finalement, nous considérons la manipulation fine avec les doigts et proposons un exosquelette passif qui contraint chaque doigt séparément, associé à un retour pseudo-haptique multi-doigt simulant l'interaction avec des matériaux hétérogènes.