|
TOUSCH anne-marie : Hierarchies semantiques pour l'annotation multi-facettes d'imagesThèse ou HDR soutenue le 15/02/2010 à Ecole des Ponts ParisTech (http://imagine.enpc.fr/~tousch)Contact : stephane.herbin@onera.fr| Jury | Henri Maitre (Examinateur) Telecom ParisTech Matthieu Cord (Rapporteur) UPMC Frederic Jurie (Rapporteur) Universite de Caen Jean-Yves Audibert (Examinateur) Ecole des Ponts ParisTech Stephane Herbin (Examinateur) ONERA Renaud Keriven (Directeur de these) Ecole des Ponts ParisTech
| | Direction | Stephane Herbin (ONERA), Jean-Yves Audibert (Ecole des Ponts ParisTech) et Renaud Keriven (Ecole des Ponts ParisTech) | | Laboratoire | ONERA/DTIM (Chatillon) / LIGM-IMAGINE (Marne la Vallee) | | Résumé | Cette these a pour sujet l'annotation automatique d'images. Pour plus de souplesse, nous utilisons un vocabulaire structure, permettant de construire des annotations multi-facettes et a differents niveaux d'interpretation. Une annotation prend alors la forme d'un ensemble de multilabels associes a des indices de confiance et permet d'exprimer un compromis fiabilite/precision semantique.
Le traitement propose se deroule en deux phases : extraction de caracteristiques informatives et calcul de probabilites normalisees sur un espace de multilabels. Chacune exploite des mecanismes d'apprentissage. La demarche est evaluee sur deux jeux de donnees : un ensemble d'images de voitures et la base d'objets generiques Caltech-101. Les resultats suggerent d'utiliser le vocabulaire structure a differentes etapes selon la nature des donnees. | | Mots-Clefs | Annotation d'image, reconnaissance d'objets, vocabulaires structures, classification a facettes, apprentissage statistique | | Abstract | In this thesis, we address the problem of automatic image annotation. For a more flexible system, we build multi-faceted annotations organized in a semantic hierarchy. Thus, an annotation is defined by a set of multilabels coupled with confidence levels. A tradeoff between reliability and semantic precision allows greater flexibility.
The proposed algorithm proceeds in two stages. First, informative image features are extracted. Second, normalized probabilities are computed on a set of multilabels. Both rely on statistical learning machines. We evaluate the approach on two datasets: a set of car images and a generic database, Caltech-101. Results show different behaviour depending on the data, suggesting that the vocabulary structure is useful at different stages of the algorithm. | | KeyWords | Image annotation, object recognition, structured vocabularies, semantic hierarchies, faceted classification, machine learning |
|