on the July 1, 2021
Julien MILLE - Titre : Segmentation et classification d'objets
Résumé :
Comprendre le contenu sémantique d'une image ou d'une vidéo peut impliquer une étape de segmentation, qui consiste en un étiquetage, au niveau pixel, du fond et des objets présents dans la scène. Cette segmentation peut être une finalité en soi (en imagerie médicale par exemple, lorsqu'un praticien souhaite délimiter précisément le contour d'une structure anatomique en IRM/CT-scan, etc) ou n'être qu'une étape d'un processus d'analyse de plus haut niveau (par exemple, l'indexation de vidéos par le contenu peut bénéficier de la segmentation pour extraire les types d'objets et de mouvements). Par ailleurs, une fois qu'un objet est segmenté, il peut être associé à une catégorie connue, au moyen d'une extraction de caractéristiques et d'une classification, soit - et c'est le cas qui nous intéresse ici - par appariement à des formes prototype de chaque catégorie. Mon manuscrit et ma soutenance d'HDR résument 10 ans de recherches portant sur les modèles et algorithmes appliqués à la segmentation d'objets dans des images et vidéos, et en appariement d'objets. Je présente des résultats issus de co-encadrements de doctorants, ainsi que de recherches plus personnelles.
Dans un premier temps, je résume les méthodes développées pour la segmentation d'un objet unique avec interaction a priori, un ou plusieurs points de guidage le long du contour de l'objet étant fournis. La segmentation consiste à reconstruire le contour en connectant les points de guidage consécutifs à l'aide de chemins. Ces chemins, dits admissibles, généralisent la notion de géodésiques. Afin d'être pertinent pour la segmentation, le contour obtenu par assemblage de ces chemins admissibles doit satisfaire simultanément des critères de type contour (positionnement sur les zones de fort gradient), région (séparation de l'image en deux zones avec des distributions de couleurs distinctes) et géométrique (le contour doit être une courbe fermée simple).
Dans la deuxième partie, je décris des travaux portant sur la segmentation et le suivi de plusieurs objets dans des vidéos, basés sur une modélisation originale de fond. La forme et l'apparence des objets varient en général beaucoup au cours d'une vidéo, ceci étant dû aux déformations non-rigides, aux changements d'éclairage ou aux occultations. La tâche de segmentation spatiotemporelle est réalisée de manière séquentielle, dans laquelle le premier frame est segmenté. Etant donnée une segmentation à l'instant t, l'objectif est de déterminer la segmentation à l'instant t+1. Un modèle de perception locale est développé, basé sur la cohérence temporelle des distributions de couleur au sein des objets, et dans un voisinage proche de ceux-ci.
Enfin, la dernière partie aborde la classification de formes planes, par appariement entre une forme requête (à classifier) et un ensemble de formes prototypes de chaque classe. La méthode d'appariement de formes décrite ici est basée sur le squelette hiérarchique, composé de différentes branches, bien adaptées à la représentation des différentes parties de la forme. L'appariement exploite, d'une part, les caractéristiques intrinsèques (géométriques) des branches, et, d'autre part, le contexte, incarné par leur position relative aux autres branches. L'appariement est formulé comme un problème d'affectation linéaire dans un graphe biparti, résolu à l'aide de l'algorithme hongrois.
Composition du jury :
Mme. Raphaëlle CHAINE, Professeure des Universités, Université Claude Bernard Lyon 1, Examinatrice
M. Thierry CHATEAU, Professeur des Universités, Université Clermont-Auvergne, Rapporteur
Mme. Julie DELON, Professeure des Universités, Université de Paris, Examinatrice
M. Jacques-Olivier LACHAUD, Professeur des Universités, Université Savoie Mont Blanc, Rapporteur
M. Olivier LEZORAY, Professeur des Universités, Université de Caen-Normandie, Rapporteur
M. Nicolas RAGOT, Maître de conférences HDR, Université de Tours, Référent
