Semantic structuring of video collection from speech: segmentation and hyperlinking

Structuration sémantique de collections vidéos à partir de la parole: segmentation et liage

the slides

Anca Simon - UMR Irisa (LINKMEDIA)
Downloading file (MP4)
PhD defense - Wednesday 2nd december 2015

Composition du Jury:

Sophie Rosset, Directeur de recherche, CNRS, LIMSI -rapporteur
Sien Moens, Professor, KU Leuven, LIIR -rapporteur
Roeland Ordelman, Senior researcher, Univ. of Twente -rapporteur
Brigitte Grau, Professeur, ENSIIE, LIMSI -examinateur
Benoît Favre, Maître de conférences, Univ. Aix-Marseille, LIF -examinateur
Pascale Sébillot, Professeur, INSA de Rennes, IRISA - directeur de thèse
Guillaume Gravier, Directeur de recherche, CNRS, IRISA -directeur de thèse

Résumé :

Au cours des dernières années, de nouveaux challenges ont émergé avec la transformation très significative du paysage audiovisuel due à l'émergence de la télévision sur Internet. La décision de ce qui est regardé et dans quel ordre n'appartient en effet plus à la chaîne TV concernée mais à l'utilisateur. De nouveaux moyens facilitant l'accès précis et rapide à l'information souhaitée au sein des quantités toujours croissantes de contenus audiovisuels doivent donc être proposés aux utilisateurs : par exemple, pour repérer un événement spécifique, un fragment d'émission contenant une certaine personnalité ou abordant un sujet particulier, voire pour naviguer successivement entre tous les segments de vidéos abordant ce sujet.

Ces fonctionnalités nouvelles et variées impliquent le développement de méthodes novatrices de structuration et d'exploitation des contenus audiovisuels, sujet abordé dans cette thèse. Nous proposons d'une part des techniques automatiques de structuration thématique des données audiovisuelles permettant de révéler l'organisation interne de chaque programme. Nous étudions également les implications de la structure produite sur diverses tâches telles que la création d'hyperliens entre vidéos (afin de permettre une navigation entre fragments d'émissions thématiquement proches) ou la création de résumés automatiques.

L'ensemble des travaux menés est effectué sur les transcriptions automatiques de la parole prononcée dans les émissions, afin d'obtenir des solutions génériques, non dédiées à un type de programme particulier.