Habilitation à Diriger des Recherches

Vers des asservissements visuels sur des scènes inconnues

Christophe Collewet - projet Lagadic

Irisa - 30 septembre 2008

Résumé:
Les travaux décrits dans cette présentation concernent le domaine de l'asservissement visuel. D'une façon générale, cette technique permet de contrôler le déplacement d'un système dynamique à l'aide d'une ou plusieurs caméras, embarquées ou non, le système considéré, tout comme la scène observée, pouvant être réel ou virtuel. Le plus souvent, on s'emploie en fait à commander un robot. Plus précisément, ces travaux portent sur la synthèse de schémas de commande par bouclage d'informations issues d'un capteur de type caméra vidéo. Dans ce type d’approche, la loi de commande permet d'amener le robot de sa situation initiale à sa situation désirée grâce à l’annulation d’un signal d’erreur exprimé comme la différence entre des informations visuelles extraites de l’image en situation courante et celles obtenues en situation désirée. Cette façon de faire s’avère donc être dépendante de l’objet d’intérêt, pour lequel un positionnement du robot est requis, dans le sens où elle est tributaire de la présence ou non de telle ou telle information visuelle présente sur l’objet. Elle fait également l’hypothèse implicite d’une scène texturée pour laquelle le traitement d’images ad hoc permettra l’extraction des informations visuelles. Elle repose également sur la connaissance des informations visuelles désirées, obtenues le plus souvent par apprentissage ou grâce à la disponibilité d’un modèle de l’objet. Ces hypothèses sont tout à fait raisonnables pour des applications impliquant des objets manufacturés, elles sont en revanche mises à mal dans d’autres secteurs d’application où la scène est mal connue (robotique médicale, agricole, exploration spatiale, sous-marine, etc.). Cette présentation s’efforce dans une première partie de dégager un panel d’approches permettant de s’affranchir à divers degrés de ces différents problèmes. Nous nous sommes intéressés en particulier au couplage de l’asservissement visuel et de l’éclairage structuré, technique à même de se confronter aux scènes peu texturées, ainsi qu’à l’utilisation d’informations visuelles non géométriques, comme directement le signal de luminance par exemple, le but étant alors de s’affranchir de scènes peu structurées. Alors que le but de la première partie a consisté, somme toute, à proposer des solutions indépendantes de l’objet observé, la seconde partie traite de façon plus générale de l’environnement dans lequel l’objet d’intérêt est amené à évoluer. Dans un contexte d’asservissement visuel, l’environnement est à prendre au sens de tout phénomène pouvant avoir un impact sur l’image, il s’agit donc essentiellement de la façon dont l’objet est éclairé. Outre les propriétés physiques de l'objet lui-même qui peuvent être inconnues, nous avons considéré que la géométrie de la scène pouvait l'être également, voire qu'elle pouvait être dynamique. On entend ici par géométrie de la scène, les positions relatives du triplet observateur / objet / éclairage. Nous avons donc cherché à nous affranchir de toute modification de cette géométrie, permettant ainsi une indépendance vis-à-vis de variations de luminance, qu'elles soient dues à l'apparition de spécularités ou même, à un changement d'irradiance de la scène. Une modélisation précise du signal de luminance mais aussi de chrominance, intimement liée aux phénomènes d’interactions lumière / matière nous a permis de proposer des contributions aux domaines de la mise en correspondance robuste de motifs texturés ainsi qu’à l’utilisation de la luminance en asservissement visuel robuste à l'occurrence de spécularités.

accès aux transparents (pdf) ; accès 1 et 2 aux animations ; l'exposé [57:44]

© 2008 Pôle audiovisuel de l'Irisa