L'indexation multimédia
Description et recherche automatiques
Patrick Gros
Hermes Science
Lavoisier
Introduction
Patrick Gros17
Première partie. Systèmes de recherche d'information multimédia23
Chapitre 1. Recherche d'information multimédia
Philippe Mulhem, Catherine Berrut et Georges Quénot25
1.1. Problématique de la recherche d'information multimédia pour les utilisateurs25
1.2. Langage d'indexation26
1.2.1. Langage simple versus langage complexe26
1.2.2. Langage d'indexation pour le média texte27
1.2.3. Langage d'indexation pour le média image fixe28
1.2.4. Langage d'indexation pour le média vidéo29
1.3. Processus d'indexation30
1.3.1. L'indexation en recherche d'information30
1.3.2. Extraction31
1.3.2.1. Images fixes31
1.3.2.2. Vidéos32
1.3.3. Propagation32
1.3.4. Pondération33
1.3.4.1. Documents structurés34
1.3.4.2. Images fixes35
1.4. Recherche36
1.4.1. Modèles de correspondance requête-document36
1.4.2. Formulation/reformulation37
1.4.2.1. Principes37
1.4.2.2. Images fixes38
1.4.3. Présentation/navigation39
1.4.3.1. Documents structurés40
1.4.3.2. Images fixes40
1.4.3.3. Vidéos40
1.5. Evaluation de systèmes de recherche de documents41
1.5.1. Documents structurés : INEX41
1.5.2. Documents vidéos : TRECVID42
1.6. Conclusion44
1.7. Bibliographie44
Chapitre 2. Formes et stratgies de l'interrogation de l'information visuelle
José Martinez51
2.1. Introduction51
2.2. Recherche formelle55
2.2.1. Définition du contenu55
2.2.1.1. Métadonnées de format57
2.2.1.2. Métadonnées physiques à perceptuelles57
2.2.1.3. Métadonnées syntaxiques58
2.2.1.4. Métadonnées de transcription59
2.2.1.5. Métadonnées d'annotations60
2.2.1.6. Métadonnées textuelles versus numériques60
2.2.2. Recherche formelle via un langage de requêtes61
2.2.3. Mesures de similarité62
2.2.4. Recherche formelle graphique66
2.2.5. Conclusion sur la recherche formelle67
2.3. Recherche par rétroaction68
2.3.1. Boucle de rétroaction68
2.3.2. Déplacement du point ou de l'ensemble de référence70
2.3.3. Déformation du voisinage71
2.3.4. Conclusions sur la recherche par rétroaction72
2.4. Recherche par navigation72
2.4.1. Classification74
2.4.1.1. Navigation ensembliste75
2.4.1.2. Navigation ponctuelle75
2.4.2. Conclusion sur la recherche par navigation76
2.5. Conclusion76
2.6. Bibliographie77
Deuxième partie. Description et indexation87
Chapitre 3. Description des images fixes
Nozha Boujemaa et Marin Ferecatu89
3.1. Introduction90
3.2. Signatures globales pour les requêtes approchées93
3.2.1. Descripteurs de couleur93
3.2.2. Descripteurs de texture96
3.2.3. Descripteurs de forme98
3.3. Signatures locales pour requêtes partielles99
3.3.1. Requêtes partielles par régions d'intérêt101
3.3.2. Requêtes par points d'intérêt102
3.3.3. Discussion105
3.4. Exemple de contenu spécifique : les visages107
3.5. Descriptions hybrides111
3.6. Epilogue112
3.7. Bibliographie113
Chapitre 4. Descriptions des séquences d'images
Philippe Joly119
4.1. Introduction119
4.2. Mesures du mouvement instantané et descripteurs associés120
4.3. Analyse du mouvement de caméra121
4.4. Segmentation et suivi d'objets122
4.5. Suivi et descripteurs de trajectoire124
4.5.1. Description de trajectoire par interpolation124
4.5.2. Description paramétrique de mouvement125
4.6. Segmentation temporelle et structuration de la vidéo126
4.6.1. Microsegmentation127
4.6.2. Segmentation en plans128
4.6.3. Macrosegmentation131
4.7. Bibliographie135
Chapitre 5. Description des documents sonores
Frédéric Bimbot137
5.1. Introduction137
5.2. Généralités138
5.2.1. Numérisation du son138
5.2.2. Attributs acoustiques fondamentaux139
5.3. Niveaux et types de description sonore140
5.4. Fondements et outils142
5.4.1. Descripteurs temporels du signal et enveloppe énergétique142
5.4.2. Transformée de Fourier et spectre de puissance146
5.4.3. Régressions et convolutions149
5.4.4. Modélisation statistique150
5.4.5. Comparaison de segments sonores et détection de ruptures153
5.4.6. Classification bayésienne et suivi de classes sonores154
5.4.7. Décodage de séquences d'états et recherche de motifs156
5.5. Conclusion160
5.6. Bibliographie161
Chapitre 6. Description des textes
Vincent Claveau, Fabienne Moreau et Pascale Sébillot163
6.1. Principes de base de l'indexation automatique164
6.1.1. Choix des termes d'indexation165
6.1.2. Pondérations des descripteurs166
6.1.2.1. Pondération locale166
6.1.2.2. Pondération globale167
6.1.2.3. Normalisation168
6.1.2.4. Combinaison des pondérations169
6.1.3. Modèles de représentation170
6.1.3.1. Modèles ensemblistes170
6.1.3.2. Modèles algébriques171
6.1.3.3. Modèles probabilistes174
6.2. Traitement automatique des langues et recherche d'information176
6.2.1. De l'apport de la morphologie176
6.2.1.1. Quelques notions utiles de morphologie176
6.2.1.2. Analyse flexionnelle, lemmatisation et RI177
6.2.1.3. Analyse dérivationnelle, racinisation et RI177
6.2.2. De l'apport de la syntaxe178
6.2.2.1. Quelques notions utiles de syntaxe179
6.2.2.2. Les syntagmes comme termes d'indexation179
6.2.2.3. Intégration d'informations syntaxiques dans les SRI180
6.2.3. De l'apport de la sémantique181
6.2.3.1. Exploitation d'informations sémantiques lors des requêtes182
6.2.3.2. Exploitation d'informations sémantiques pour l'indexation182
6.2.3.3. Désambiguïsation et RI182
6.3. Conclusion183
6.4. Bibliographie184
Chapitre 7. Description multimodale des documents multimédias
Guillaume Gravier191
7.1. Introduction191
7.2. Applications de l'analyse multimédia192
7.3. Tâches élémentaires (d'un point de vue multimodal)193
7.4. Typologie des stratégies du fusion195
7.5. Fusion des descripteurs196
7.5.1. Principe196
7.5.2. Fusion des descripteurs et modèles de Markov cachés197
7.5.3. Commentaires198
7.6. Modélisation conjointe198
7.6.1. Les modèles de Markov multiflux199
7.6.1.1. Principe199
7.6.1.2. Modèle multiflux synchrone200
7.6.1.3. Modèle produit asynchrone201
7.6.1.4. Commentaires202
7.6.2. Les réseaux bayésiens203
7.6.2.1. Principe203
7.6.2.2. Réseaux bayésiens dynamiques et modèles de Markov205
7.6.2.3. Commentaires206
7.6.3. Un modèle segmental207
7.7. Fusion de décisions209
7.8. Quelle technique pour quelle tâche ?209
7.9. Conclusion210
7.10. Bibliographie211
Chapitre 8. Indexation multidimensionnelle
Laurent Amsaleg215
8.1. Introduction215
8.2. Construction de cellules et filtrage217
8.3. Optimisations communes : inégalité triangulaire et distance partielle218
8.4. Partitionnement des données : le R-Tree et ses dérivés220
8.4.1. Les R+-Tree et R*-Tree221
8.4.2. Le X-Tree222
8.4.3. Les SS-Tree et SR-Tree223
8.5. Partitionnement de l'espace : le KD-Tree et ses dérivés223
8.5.1. Le K-D-B-Tree224
8.5.2. Le LSD-Tree et le LSDh-Tree225
8.5.3. Le VA-File226
8.6. Propriétés des espaces de grande dimension227
8.7. Recherches approximatives229
8.7.1. Réduction de la dimension229
8.7.2. Arrêts prématurés230
8.7.3. Approximations géométriques231
8.7.4. Approximations probabilistes232
8.7.5. Approximations hybrides235
8.7.6. Transformation monodimensionnelle235
8.7.6.1. Hachage multidimensionnel235
8.7.6.2. Utilisation de courbes remplissant l'espace236
8.7.7. Transformation monodimensionnelle : projections aléatoires et agrégation de rangs237
8.7.7.1. Omedrank238
8.7.7.2. PvS240
8.8. Conclusion243
8.9. Bibliographie244
Troisième partie. Normes, évaluation, usages et applications249
Chapitre 9. Normes de description des contenus multimédias
Titus Zaharia et Françoise Prêteux251
9.1. Standardisation internationale dans le domaine du multimédia251
9.1.1. Les instances mondiales253
9.1.2. Instances à l'échelle de l'Europe254
9.1.2.1. Le triptyque européen254
9.1.2.2. EBU : moteur de la standardisation européenne255
9.2. Le standard MPEG-4257
9.2.1. Scène et objets MPEG-4257
9.2.2. Fonctionnalités et applications258
9.3. Le standard MPEG-7259
9.3.1. Objectifs et applications MPEG-7260
9.3.2. Schémas de description MPEG-7262
9.3.3. Descriptions MPEG-7 structurales265
9.3.4. De MPEG-7 à MPEG-21268
9.4. Le standard TV-Anytime270
9.4.1. Objectifs et applications de TV-Anytime270
9.4.2. Métadonnées TV-Anytime271
9.4.3. TV-Anytime et MPEG-7276
9.5. Conclusion277
9.6. Bibliographie277
Chapitre 10. Evaluation des technologies
Edouard Geoffrois279
10.1. Introduction279
10.2. Instruments de mesure280
10.2.1. Corpus de test281
10.2.2. Métriques283
10.3. Protocoles expérimentaux284
10.3.1. Gestion des données284
10.3.2. Implication d'un tiers285
10.4. Campagnes d'évaluation285
10.4.1. Déroulement d'une campagne286
10.4.2. Principales campagnes287
10.5. Apports de la méthodologie d'évaluation288
10.5.1. Explicitation des problèmes289
10.5.2. Dialogue entre applications et recherche289
10.5.3. Production et validation de corpus289
10.5.4. Incitation à innover290
10.6. Conclusion et perspectives290
10.7. Bibliographie292
Chapitre 11. Analyse des usages
Izabela Grasland, Camille Roux, Caroline Golanski et Evelyne Millien293
1re partie : les usages de la photo personnelle293
11.1. Introduction293
11.2. Que savait-on de l'usage des photos personnelles en 2001 ?294
11.2.1. Fin 2001 : recherche et revue d'articles traitant des collections personnelles295
11.2.2. 2002 : études d'usage interne à Thomson298
11.2.2.1. Etude menée à Rennes298
11.2.2.2. Etude menée aux Etats-Unis299
11.3. Synthèse301
2e partie : enquêtes auprès d'utilisateurs effectuées dans le cadre du projet Annapurna302
11.4. Introduction302
11.5. Objectifs du projet et questions de recherche303
11.6. Méthodologie303
11.6.1. Conception participative303
11.6.2. Les participants304
11.6.3. Le processus305
11.6.3.1. Première séance305
11.6.3.2. Deuxième séance : interviews305
11.6.3.3. Troisième séance306
11.7. Principaux résultats306
11.7.1. Organisation306
11.7.2. Indexation307
11.7.3. Méthodes de recherche308
11.7.4. Méthodes automatiques308
11.7.5. Formats de présentation309
11.7.6. Interaction télévision/télécommande309
11.8. Discussion309
11.9. Bibliographie311
Chapitre 12. Nouvelles tendances applicatives : de l'indexation à l'éditorialisation
Bruno Bachimont313
12.1. Le document audiovisuel et multimédia315
12.1.1. L'éclatement des ressources316
12.1.2. La pluralité des formes316
12.1.3. La recherche de l'interactivité317
12.2. Entre indexation et reconfiguration317
12.2.1. De l'indexation documentaire à l'indexation fine du contenu318
12.2.2. De l'indexation fine à l'éditorialisation319
12.3. Différentes postures pour l'éditorialisation319
12.4. Assister l'éditorialisation320
12.4.1. Gérer les ressources320
12.5. Penser la publication322
12.6. Conclusion : entre recherche et industrie325
12.7. Bibliographie325
Table des abréviations et acronymes327