Création automatique de résumés vidéo par programmation par contraintes

Les transparents

Mohammed Haykel Boukadida - UMR Irisa (LINKMEDIA)

Soutenance de thèse - Vendredi 4 décembre 2015

Fichier téléchargeable (MP4)

Cette soutenance est co-produite avec Orange Labs

Composition du Jury:

Georges QUENOT - Directeur de recherche CNRS/ rapporteur

Bernard MERIALDO - Professeur Eurécom / rapporteur

Alexandre TERMIER - Professeur Université de Rennes 1 / examinateur

Julien PINQUIER - Maitre de Conférences Université Paul Sabatier/examinateur

Nicolas BELDICEANU - Professeur École des Mines de Nantes / examinateur

Pascale Sébillot - Professeur INSA de Rennes / examinateur

Patrick GROS - Directeur de recherche Inria / directeur de thèse

Sid-Ahmed BERRANI - Resp. équipe de recherche Orange Labs/Co-directeur

 

Résumé :

Cette thèse s’intéresse à la création automatique de résumés de vidéos. L’idée est de créer de manière adaptative un résumé vidéo qui prenne en compte des règles définies sur le contenu audiovisuel d’une part, et qui s’adapte aux préférences de l’utilisateur d’autre part. Nous proposons une nouvelle approche qui considère le problème de création automatique de résumés sous forme d’un problème de satisfaction de contraintes. La solution est basée sur la programmation par contraintes comme paradigme de programmation.

Un expert commence par définir un ensemble de règles générales de production du résumé, règles liées au contenu multimédia de la vidéo d’entrée. Ces règles de production sont exprimées sous forme de contraintes à satisfaire. L’utilisateur final peut alors définir des contraintes supplémentaires (comme la durée souhaitée du résumé) ou fixer des paramètres de haut niveau des contraintes définies par l’expert.

Cette approche a plusieurs avantages. Elle permet de séparer clairement les règles de production des résumés (modélisation du problème) de l’algorithme de génération de résumés (la résolution du problème par le solveur de contraintes). Le résumé peut donc être adapté sans qu’il soit nécessaire de revoir tout le processus de génération des résumés. Cette approche permet par exemple aux utilisateurs d’adapter le résumé à l’application cible et à leurs préférences en ajoutant une contrainte ou en modifiant une contrainte existante, ceci sans avoir à modifier l’algorithme de production des résumés.

Nous avons proposé trois modèles de représentation des vidéos qui se distinguent par leur flexibilité et leur efficacité. Outre les originalités liées à chacun des trois modèles, une contribution supplémentaire de cette thèse est une étude comparative de leurs performances et de la qualité des résumés résultants en utilisant des mesures objectives et subjectives.

Enfin, et dans le but d’évaluer la qualité des résumés générés automatiquement, l’approche proposée a été évaluée par des utilisateurs à grande échelle. Cette évaluation a impliqué plus de 60 personnes. Ces expériences ont porté sur le résumé de matchs de tennis.