Le traité de la réalité virtuelle
Volume 5 : Les humains virtuels
I Introduction à l'ouvrage
1
1 La modélisation de l'humain virtuel et son exploitation
3
1.1 La modélisation de l'humain virtuel3
1.1.1 Le besoin d'humains virtuels en réalité virtuelle3
1.1.2 Objectif du volume4
1.1.3 Schémas hiérarchiques des différentes activités de contrôle5
1.1.4 La problématique de la crédibilité des humains virtuels6
1.2 Recherches actuelles : l'exemple de la
plate-forme PERF-RV27
1.2.1 Organisation de la plate-forme7
1.2.2 Objectifs du sous-projet 1 : niveau physique8
1.2.3 Objectifs du sous-projet 2 : niveau comportemental9
1.2.4 Objectifs du sous-projet 39
1.2.5 Objectifs du sous-projet 410
1.3 Plan du volume10
1.4 Conclusion11
1.5 Annexes11
1.5.1 Modèle 3I2 pour l'interfaçage "comportemental"11
1.5.2 Structuration du traité de la réalité virtuelle12
1.5.3 Le volume «l'Homme et l'environnement virtuel»14
1.5.4 Le volume «L'interfaçage, l'immersion et l'interaction»14
1.5.5 Le volume «Les outils et les modèles informatiques
des environnements virtuels»15
1.5.6 Le volume «Les applications de la réalité virtuelle»15
1.6 Références bibliographiques16
II L'humain virtuel physique
17
2 Avatar et humain virtuel interactif
19
2.1 Introduction19
2.2 Avatar19
2.2.1 Capture de mouvements temps réel19
2.2.2 Application à un humanoïde de synthèse22
2.3 Modèles de mouvement25
2.3.1 Modèle cinématique de contrôle postural25
2.3.2 Modèles basés-données27
2.3.3 Le cas particulier de la locomotion29
2.3.4 Contrôle dynamique30
2.4 Conclusion34
2.5 Références bibliographiques35
3 Contrôle de l'équilibre
41
3.1 Introduction41
3.2 Équilibre et stabilité de mannequins numériques42
3.3 Modèles pour la simulation et la commande43
3.3.1 Modèle mécanique du mannequin virtuel43
3.3.2 Modèles de contact46
3.3.3 Modèle du mannequin en contact50
3.4 Une formulation de l'équilibre du mannequin51
3.5 Résistance au basculement51
3.5.1 Centre de pression52
3.5.2 Zero Moment Point53
3.5.3 Foot Rotation Indicator Point54
3.5.4 Limitations54
3.6 Une méthode générale d'analyse et de quantification de l'équilibre55
3.6.1 Fermeture géométrique55
3.6.2 Fermeture en effort56
3.6.3 Géométrie locale et glissement56
3.6.4 Stabilité vis-à-vis d'un sous-ensemble de perturbations56
3.6.5 Généralisation au cas d'un mannequin virtuel58
3.7 Génération de mouvement59
3.8 Conclusion61
3.9 Notations et mécanique du solide62
3.10 Références bibliographiques63
4 Préhension Interactive en environnement virtuel
65
4.1 Introduction65
4.2 Modélisation de la main65
4.2.1 Modèles biomécaniques réalistes66
4.2.2 Modèles de muscles67
4.2.3 Problème de la préhension70
4.2.4 Redondance - Optimisation71
4.2.5 Critères d'optimisation72
4.2.6 Introduction des contraintes physiques73
4.3 Contrôle de la préhension et stratégies associées74
4.3.1 Approche basée sur la capture du mouvement74
4.3.2 Approche neurophysiologique74
4.4 Application en réalité virtuelle78
4.5 Références bibliographiques79
5 La gestuelle
83
5.1 Introduction83
5.1.1 La gestualité coverbale84
5.1.2 Autres types de classifications85
5.1.3 La communication gestuelle en interaction humain machine85
5.2 Description des gestes87
5.3 Le geste en entrée89
5.3.1 Introduction89
5.3.2 Acquisition de gestes90
5.3.3 Représentation des gestes92
5.3.4 Classification93
5.3.5 Interprétation95
5.4 Le geste en sortie96
5.4.1 Introduction96
5.4.2 Analyse des gestes : annotation et segmentation98
5.4.3 Spécification des gestes99
5.4.4 Passage de la spécification à l'animation des gestes100
5.4.5 Expressivité des gestes103
5.4.6 Evaluation de la synthèse des gestes105
5.5 Conclusion106
5.6 Références bibliographiques108
6 Ce que nous apprennent les sciences du mouvement
113
6.1 Introduction113
6.2 Apports de la biomécanique113
6.2.1 Concepts de base de la biomécanique du mouvement113
6.2.2 Energie et mouvement naturel117
6.3 Apports des neurosciences118
6.3.1 Motricité squelettique : base du mouvement naturel119
6.3.2 Modèle courant de contrôle moteur120
6.3.3 Les mouvements oculaires : un cas à part122
6.4 Un exemple : la locomotion humaine128
6.4.1 La marche : une activité vitale128
6.4.2 Le cycle de marche129
6.4.3 Bases neurales de la locomotion131
6.4.4 La régulation de la locomotion133
6.5 Conclusion133
6.6 Références bibliographiques135
7 Planification de la navigation et du mouvement de l'humain virtuel
137
7.1 Introduction137
7.2 Principes généraux de la planification du mouvement138
7.2.1 Définition et concept d'espace des configurations138
7.2.2 Méthodes principales de résolution139
7.3 Navigation autonome de l'humain virtuel143
7.3.1 Décomposition fonctionnelle et méthode locale144
7.3.2 Planification de la trajectoire145
7.3.3 Animation de marche le long d'une trajectoire146
7.3.4 Résolution des collisions résiduelles147
7.3.5 Discussion148
7.3.6 Solutions alternatives149
7.4 Le transport et la manipulation d'objets
par l'humain virtuel151
7.4.1 Extension de la navigation autonome au transport d'objets en coopération152
7.4.2 Planification de mouvements de saisie
et manipulation d'objets153
7.5 Conclusion155
7.6 Références bibliographiques156
8 Les techniques d'habillage : peau, vêtements et chevelures
161
8.1 Introduction161
8.2 Chair et peau162
8.2.1 Skinning162
8.2.2 Modèles anatomiques165
8.2.3 Tissus dynamiques167
8.2.4 Plis de la peau168
8.3 Vêtements170
8.3.1 Généralités sur la simulation des vêtements170
8.3.2 Collisions des tissus174
8.4 Chevelures virtuelles175
8.4.1 Méthodologie : du cheveu individuel à une chevelure175
8.4.2 Initialisation d'une chevelure176
8.4.3 Dynamique d'un cheveu unique178
8.4.4 Chevelure complète : Traitement des interactions178
8.4.5 Vers le temps-réel : Chevelures multi-résolution180
8.5 Conclusion : vers l'habillage réaliste d'un humanoïde181
8.6 Références bibliographiques182
9 Parole et expression des émotions sur le visage d'humanoïdes virtuels
187
9.1 Résumé187
9.2 Introduction187
9.3 Modèles de forme et d'apparence de visage188
9.3.1 Modèles de forme188
9.3.2 Modèles d'apparence190
9.4 Contrôle des gestes orofaciaux en parole192
9.4.1 Depuis l'acoustique192
9.4.2 Depuis la chaine phonétique192
9.4.3 Evaluation193
9.5 Les modèles d'expressions faciales
communicationnelles et émotionnelles194
9.5.1 Expressions communicationnelles194
9.5.2 Expressions d'émotions194
9.6 Contrôle des expressions faciales
communicationnelles et émotionnelles197
9.6.1 Têtes parlantes émotionnelles198
9.6.2 Agents autonomes199
9.7 Conclusions et perspectives203
9.8 Remerciements203
9.9 Références bibliographiques203
III L'humain virtuel comportemental
211
10 La modélisation de l'activité humaine finalisée
213
10.1 Introduction213
10.1.1 Enjeux pour la conception d'environnements virtuels213
10.1.2 La modélisation de l'activité humaine : au carrefour
de disciplines empiriques et artéfactuelles213
10.1.3 Objectifs et organisation du chapitre214
10.2 Architecture et modèles cognitifs pour le
comportement d'humanoïdes autonomes215
10.2.1 Définitions215
10.2.2 Architectures cognitives218
10.2.3 Principales architectures intégrant le niveau des
connaissances, la délibération et la prise de décision pour l'action219
10.2.4 Contrôle de la situation et mécanismes liés à l'erreur223
10.3 Modèles ergonomiques des tâches et description de
l'activité humaine finalisée224
10.3.1 Introduction224
10.3.2 Principaux concepts des langages ergonomiques de
description des activités humaines finalisées224
10.3.3 Conclusion229
10.4 Exemples d'applications229
10.4.1 STEVE - Soar Training Expert for Virtual Environments229
10.4.2 METISSE - Modèle de description de Tâches orienté assistance et Suivi
de l'apprenant229
10.4.3 MASCARET - Multi-agent System for Collaborative
And Realistic Environment for Training230
10.4.4 PERF RV2 : vers une chaîne de modélisation de l'activité
finalisée à partir d'analyse de l'activité des opérateurs230
10.5 Conclusion239
10.6 Références bibliographiques241
11 La perception de l'humanoïde
245
11.1 Généralités sur la perception et sa modélisation245
11.1.1 Les enjeux de la modélisation de la perception de l'humanoïde de synthèse245
11.1.2 Définition246
11.1.3 La complexité de la modélisation de la perception247
11.2 La perception visuelle d'un humanoïde de synthèse249
11.2.1 La perception visuelle humaine249
11.2.2 Modélisation de la perception visuelle en animation
comportementale251
11.2.3 Limitations actuelles et perspectives256
11.3 Références bibliographiques257
12 La sélection d'action
259
12.1 Introduction259
12.2 Systèmes réactifs259
12.2.1 Les systèmes stimuli-réponses260
12.2.2 Les systèmes à base de règles261
12.2.3 Les automates262
12.2.4 Synthèse264
12.3 Systèmes cognitifs et orientés buts265
12.3.1 Le calcul situationnel265
12.3.2 STRIPS : une vision simplifiée du calcul situationnel266
12.3.3 HTN : les réseaux de tâches hiérarchiques268
12.3.4 Les mécanismes de sélection d'actions270
12.3.5 Les systèmes BDI271
12.3.6 Synthèse272
12.4 Comment choisir un modèle décisionnel ?273
12.5 Quels sont les liens avec les modèles proposés
en sciences cognitives ?275
12.5.1 La nature hiérarchique des niveaux de comportement275
12.5.2 Mécanismes attentionnels pour la sélection des actions276
12.5.3 Mécanismes d'activation et d'inhibition276
12.5.4 Théorie de l'activité277
12.5.5 Cognition incarnée située279
12.5.6 Bilan279
12.6 Conclusion280
12.7 Références bibliographiques280
13 Navigation et cognition spatiale : de l'étude de l'humain réel à la simulation
de l'humain virtuel
285
13.1 Introduction285
13.2 L'utilisation de la réalité virtuelle pour
l'étude de la cognition spatiale285
13.3 Les études de validation287
13.3.1 Approche comparative287
13.3.2 Mécanismes neurobiologiques288
13.3.3 Transfert d'apprentissage289
13.3.4 Approche interindividuelle290
13.4 Quelques exemples d'apports notables de la réalité virtuelle à l'étude de
la cognition spatiale291
13.5 La réalité virtuelle comme outil spécifique pour l'étude des mécanismes
cognitifs liés à la représentation de l'espace292
13.6 La modélisation des comportements spatiaux
par la réalité virtuelle295
13.7 Conclusion297
13.8 Références bibliographiques298
14 Les comportements collectifs et sociaux
303
14.1 Introduction303
14.2 Les modèles d'interaction entre individus304
14.2.1 Introduction au comportement de navigation piétonnier
au sein d'une foule304
14.2.2 Approches statistiques305
14.2.3 Approches macroscopiques (fluides, gaz)306
14.2.4 Approches microscopiques307
14.2.5 Les modèles multicouches310
14.3 Contrôle du comportement des foules311
14.3.1 Contrôle par groupes311
14.3.2 Contrôle dans les systèmes multi-agents313
14.4 Rendu de foule316
14.5 Conclusion319
14.6 Références bibliographiques320
IV Usages de l'humain virtuel
325
15 L'humain virtuel dans l'usine numérique
327
15.1 Introduction327
15.2 Mannequins numériques : apports et limites pour
la prévention des risques professionnels328
15.2.1 Les mannequins numériques328
15.2.2 Sollicitations musculaires ou couples articulaires ?330
15.2.3 Tâche prescrite et activité réelle331
15.2.4 Discussion - Conclusion332
15.3 L'humain au poste de travail virtuel333
15.3.1 La place de l'humain en conception automobile333
15.3.2 La réalité virtuelle pour la conception du process333
15.4 Outils et méthodologies pour la prise en compte
de l'humain335
15.4.1 Principe335
15.4.2 Équipement de l'utilisateur337
15.4.3 Implémentation logicielle338
15.4.4 Méthodologie d'utilisation339
15.4.5 Cas d'usage341
15.4.6 Conclusion et perspectives345
15.5 L'humain virtuel pour l'industrie aéronautique346
15.5.1 Contexte346
15.5.2 Classification des usages en aéronautique348
15.5.3 Conclusion352
15.6 Conclusion du chapitre352
15.7 Références bibliographiques353
16 L'humain virtuel à l'oeuvre en architecture et en urbanisme
355
16.1 Introduction355
16.2 Deux applications au service du projet355
16.2.1 Simulem, simuler les mobilités piétonnes en gares355
16.2.2 Une modélisation 3D pour l'aménagement du site
du Mont St-Michel358
16.2.3 Quelle est la nature de l'humain à l'oeuvre
dans ces deux exemples ?360
16.3 Conclusion360
16.4 Annexe : l'épreuve du virtuel361
16.4.1 Quels fondements pour les disciplines de l'espace ?361
16.4.2 Une transformation en marche : le BIM362
16.4.3 Vers une convergence numérique structurante363
17 Usages de l'humain virtuel pour la formation
365
17.1 Introduction365
17.2 Les types d'humains virtuels365
17.2.1 Avatars et catégories d'utilisateurs spécifiques
aux applications pour la formation366
17.2.2 Les humains virtuels autonomes366
17.3 Un bref historique367
17.3.1 Vers des tuteurs intelligents367
17.3.2 Les environnements virtuels collaboratifs
pour l'apprentissage367
17.4 La place de la modélisation de l'humain368
17.5 Les modèles cognitifs et les architectures cognitives369
17.5.1 Modèles cognitifs370
17.5.2 Modèles de performances372
17.5.3 Architectures cognitives, processus de décisions et du mode de contrôle
de l'agent sur son action373
17.5.4 La modélisation des erreurs : de l'apprenant aux
personnages virtuels autonomes376
17.5.5 Architectures informatiques : organiser, traiter et
représenter les connaissances379
17.6 Pédagogie, didactique, jeu381
17.6.1 Rétroactions adaptatives et situées382
17.6.2 Traces et indicateurs383
17.6.3 Scénarisation adaptative et située385
17.6.4 Mises en scène théâtrales385
17.7 Conclusion386
17.8 Références bibliographiques387
18 Humains virtuels dans les "serious games" : rôle, fonctions, relation à l'utilisateur
391
18.1 Préambule et définition391
18.2 Les avantages de concilier allégresse et défi392
18.3 Idées directrices pour la conception394
18.3.1 Garantir l'immersion394
18.3.2 Caractériser les personnages395
18.3.3 Favoriser l'identification396
18.3.4 Exploiter toutes les fonctions des personnages397
18.4 Conclusion : théâtre et vérité398
19 L'humain virtuel en neurosciences cliniques
399
19.1 Introduction399
19.2 Représentation des avatars et des humanoïdes400
19.3 Utilisation des avatars401
19.3.1 Applications utilisant un avatar complet du participant402
19.3.2 Applications utilisant un avatar partiel du participant405
19.4 Des humanoïdes, dans quel but ?406
19.4.1 L'humanoïde pour peupler408
19.4.2 L'humanoïde pour jouer un rôle dans l'apprentissage408
19.4.3 Tester l'interaction avec l'humanoïde410
19.4.4 L'humanoïde pour provoquer une réaction émotionnelle
à visée thérapeutique412
19.5 Discussion et conclusion414
19.6 Références bibliographiques416
20 Voir son corps en action
419
20.1 Introduction419
20.2 Le corps dans la réalité virtuelle419
20.2.1 Le corps selon différentes perspectives419
20.2.2 Technologie incarnée420
20.3 Schizophrénie et trouble de l'action420
20.3.1 Le délire de contrôle et le syndrome d'influence420
20.3.2 Monitoring et conscience de l'action421
20.4 L'utilisation de la réalité virtuelle
dans la schizophrénie422
20.4.1 Etudes récentes422
20.4.2 Présence et agentivité chez les patients schizophrènes423
20.4.3 Penser son corps dans la réalité virtuelle423
20.5 Le self et l'image du corps peuvent-ils être des cibles thérapeutiques ?425
20.5.1 La réalité virtuelle : un danger pour la schizophrénie ?425
20.5.2 Réhabiliter l'agentivité425
20.5.3 Autres pathologies426
20.6 Conclusion426
20.7 Références bibliographiques426