Le traité de la réalité virtuelle
Volume 2 Interfaçage, immersion et interaction en environnement virtuel
Claude Andriot/Mohamed Benali-Koudja/Patrick Bourdot/Jean-Marie Burkhardt/Sabine Coquillart/Lionel Dominjon/Philippe Fuchs/Florian Gosselin/Jérôme Grosjean/Martin Hachet/Moustapha Hafez/Anatole Lécuyer/Hervé
Mathieu/Jean-Paul Papin/Laurence Perron/Patricia Plénacoste/Paul Richard/Damien Touraine/Nicolas Tsingos/Jean-Marc Vézien/Olivier Warusfel
I Interfaçage
1
1 Introduction à la réalité virtuelle
3
1.1 Fondement de la réalité virtuelle3
1.1.1 Introduction3
1.1.2 Définitions de la réalité virtuelle5
1.2 Modèle de référence pour l'immersion et l'interaction10
1.2.1 L'approche «instrumentale» pour l'immersion
et l'interaction10
1.2.2 Le modèle de référence en RV12
1.3 Structuration du traité de la réalité virtuelle13
1.3.1 L'Homme et l'environnement virtuel15
1.3.2 Les outils et les modèles informatiques
des environnements virtuels15
1.3.3 Les applications de la réalité virtuelle16
1.4 Présentation du contenu du volume «L'interfaçage,
l'immersion et l'interaction en environnement virtuel»16
1.4.1 L'interfaçage, l'immersion et l'interaction
en environnement virtuel16
1.5 Références bibliographiques18
2 Approche théorique et pragmatique de la réalité virtuelle
19
2.1 Comportement de l'homme dans un environnement réel19
2.2 Les interfaces comportementales20
2.2.1 Conception matérielle20
2.2.2 Transparence d'une interface23
2.2.3 Interfaces commercialisées et interfaces spécifiques23
2.3 L'approche «instrumentale» pour
l'immersion et l'interaction24
2.3.1 Les concepts fondamentaux pour
l'interfaçage comportemental24
2.3.2 Interfaces comportementales, schèmes et métaphores27
2.3.3 Cohérence et incohérence de l'environnement virtuel30
2.3.4 Interfaçage et multimodalité32
2.4 Méthode de conception et d'évaluation
d'un environnement en réalité virtuelle32
2.4.1 Le modèle de référence en RV32
2.4.2 Les Primitives Comportementales Virtuelles34
2.4.3 Les Aides Logicielles Comportementales36
2.4.4 Démarche de conception38
2.4.5 Démarche de l'évaluation41
2.5 Exemples de conception et d'évaluation
d'un environnement en réalité virtuelle42
2.5.1 Magasin virtuel d'expérimentation commerciale42
2.5.2 Formation en réalité virtuelle sur des
infrastructures ferroviaires48
2.6 Discussion sur notre approche pour
l'immersion et l'interaction du sujet51
2.7 Le réalisme en fonction des types d'application53
2.7.1 Introduction53
2.7.2 Simulation de certains aspects de la réalité54
2.7.3 Simulation d'un monde symbolique57
2.7.4 Simulation d'un monde imaginaire57
2.7.5 Conclusion sur le réalisme en fonction
des types d'application58
2.8 Perspectives et conclusions du chapitre58
2.9 Références bibliographiques58
II Dispositifs matériels des interfaces motrices
61
3 Les capteurs de localisation
63
3.1 Généralités63
3.1.1 La localisation spatiale63
3.1.2 Capteur de localisation et interface de commande64
3.2 Principes de positionnement65
3.2.1 Principe par mesures de distance entre points65
3.2.2 Principe de mesure avec source émettrice66
3.2.3 Principe de mesure sans source émettrice artificielle66
3.2.4 Principe de mesure de caractéristiques du mouvement66
3.2.5 Principe par mesures d'angles entre solides67
3.3 Traqueurs mécaniques67
3.3.1 Traqueurs mécaniques mesurant des distances67
3.3.2 Traqueurs mécaniques déterminant une orientation, une vitesse ou une
accélération68
3.4 Traqueurs électromagnétiques70
3.4.1 Traqueurs électromagnétiques à champ alternatif70
3.4.2 Traqueurs électromagnétiques à champ impulsionnel73
3.4.3 Caractéristiques des traqueurs électromagnétiques74
3.4.4 Compas75
3.5 Traqueurs acoustiques ou traqueurs à ultrasons77
3.6 Traqueurs optiques79
3.6.1 Introduction79
3.6.2 Principe79
3.6.3 Classification des traqueurs81
3.6.4 Quelques systèmes récemment commercialisés82
3.6.5 Conclusion85
3.7 Comparaison entre les différents types de traqueurs85
3.8 Annexe : Calcul des paramètres du capteur
électromagnétique Fastrak86
3.8.1 Principe86
3.8.2 Détermination des courants dans le récepteur87
3.8.3 Détermination des changements en position et orientation88
3.9 Références bibliographiques90
4 Les interfaces spécifiques de la localisation corporelle
93
4.1 Introduction93
4.2 Interfaces de localisation du corps «motion capture»94
4.2.1 Deux principes de «motion capture»94
4.2.2 Interfaces portables de localisation du corps95
4.2.3 Interfaces de localisation optique97
4.3 Interfaces de localisation des membres supérieurs
ou inférieurs101
4.4 Interfaces spécifiques de locomotion103
4.4.1 Interfaces de locomotion par patins104
4.4.2 Interfaces de locomotion par tapis105
4.4.3 Interfaces de locomotion en position assise107
4.5 Interfaces de détection de l'expression
du visage ou des lèvres109
4.5.1 Détection optique de l'expression du visage ou des lèvres109
4.5.2 Détection mecanique de l'expression du visage ou des lèvres111
4.5.3 Conclusion sur la détection du visage ou des lèvres111
4.6 Oculomètres112
4.6.1 Introduction112
4.6.2 Oculomètres électromagnétiques114
4.7 Capteurs physiologiques114
4.8 Conclusion115
4.9 Références bibliographiques115
5 Les interfaces manuelles motrices
119
5.1 Introduction119
5.1.1 Capteur de localisation et gant de données119
5.1.2 Capteur de localisation et interface de commande119
5.2 Gants de données120
5.2.1 Gants à fibres optiques120
5.2.2 Détection par caméras des mouvements de la main122
5.2.3 Gants à variation de résistances122
5.2.4 Gants à effet Hall123
5.2.5 Cas particulier : gant de commandes binaires124
5.2.6 Conclusion124
5.3 Interfaces de commande126
5.3.1 Souris 3D127
5.3.2 Souris 3D avec retour d'effort128
5.3.3 Interface de commande à six degrés de liberté pour grand écran130
5.3.4 Interfaces non-manuelles de commande131
5.4 Références bibliographiques131
III Dispositifs matériels des interfaces sensori-motrices
133
6 Les dispositifs matériels des interfaces à retour d'effort
135
6.1 Introduction135
6.2 Problématique et classification
des interfaces à retour d'effort136
6.3 Conception des interfaces à retour d'effort140
6.3.1 Critères de performances et cahier des charges140
6.3.2 Modélisation et dimensionnement147
6.3.3 Contraintes techniques156
6.4 Les différentes interfaces à retour d'effort162
6.4.1 Les interfaces à retour d'effort à réaction externe163
6.4.2 Les interfaces à retour d'effort à réaction interne183
6.5 Bilan194
6.6 Références bibliographiques194
7 Commande d'une interface à retour d'effort
203
7.1 Introduction203
7.2 Description intuitive du couplage haptique205
7.3 Modélisation de la commande haptique par
un formalisme réseau208
7.3.1 Passivité209
7.3.2 Stabilité210
7.3.3 Application au problème à un degré de liberté211
7.4 Conclusion213
7.5 Annexe : éléments de théorie des réseaux213
7.6 Références bibliographiques215
IV Dispositifs matériels des interfaces sensorielles
217
8 Les interfaces tactiles
219
8.1 Introduction219
8.2 L'intérêt des interfaces à retour tactile
en réalité virtuelle220
8.3 L'essentiel pour la conception d'une interface tactile221
8.4 Etat de l'art des interfaces tactiles222
8.4.1 Technologies d'excitation tactile223
8.4.2 Classification des interfaces tactiles suivant
le domaine d'application224
8.5 Synthèse de l'état de l'art232
8.6 Conclusion234
8.7 Références bibliographiques235
9 Les interfaces visuelles
241
9.1 Introduction aux interfaces visuelles241
9.2 Interfaces visuelles à support fixe242
9.2.1 Écrans d'ordinateur monoscopiques242
9.2.2 Écrans d'ordinateur stéréoscopiques243
9.2.3 Fenêtre immersive248
9.2.4 Systèmes à projection sur grands écrans248
9.2.5 Exemples de systèmes à projection sur grands écrans261
9.3 Interfaces visuelles portables269
9.3.1 Architecture d'un visiocasque270
9.3.2 Visiocasques avec écrans à tube cathodique271
9.3.3 Visiocasques avec écrans à cristaux liquides273
9.3.4 Modèle optique d'un visiocasque et problèmes connexes274
9.3.5 Vidéolunettes276
9.3.6 Visiocasque et dispositif semi transparents279
9.4 Critères de choix d'une interface visuelle279
9.5 Tests visuels sur les interfaces283
9.5.1 Tests visuels sur les écrans stéréoscopiques283
9.5.2 Tests visuels sur les visiocasques283
9.5.3 Comparaison des solutions à un écran285
9.5.4 Comparaison entre les écrans des visiocasques285
9.6 Conclusion286
9.7 Annexes287
9.7.1 Restitution par images volumiques287
9.7.2 Dispositifs pour la polarisation de lumière287
9.7.3 Modélisation d'un visiocasque289
9.8 Références bibliographiques293
10 Les interfaces à simulation de mouvement et l'interface à simulation de
climat
297
10.1 Généralités297
10.2 Sièges de simulation pour mono-utilisateur299
10.2.1 Généralités299
10.2.2 Les différents produits de simulation mono-utilisateur300
10.3 Cabines de simulation pour multi-utilisateurs304
10.3.1 Évolution des simulateurs304
10.3.2 Plates-formes mobiles306
10.3.3 Les différentes cabines de simulation309
10.4 Conclusion sur les interfaces
à simulation de mouvement313
10.5 Interface à simulation de climat313
10.6 Références bibliographiques314
11 Les interfaces olfactives
317
11.1 Introduction317
11.2 Les interfaces olfactives commercialisées318
11.2.1 L'interface olfactive de Olfacom318
11.2.2 L'interface olfactive de Ruetz318
11.2.3 L'interface olfactive de AromaJet319
11.2.4 L'interface olfactive de Aerome319
11.2.5 L'interface olfactive de Osmooze321
11.2.6 L'interface olfactive de MDS-System322
11.3 Applications exploitant la diffusion d'odeurs322
11.3.1 Introduction322
11.3.2 Applications de France Télécom (Exhalia)322
11.3.3 Applications développées dans les
laboratoires académiques325
11.4 Conclusion327
11.5 Références bibliographiques327
V Les techniques d'interaction
329
12 Les techniques d'interaction pour les primitives comportementales virtuelles
331
12.1 Introduction331
12.1.1 Rappel sur notre démarche en réalité virtuelle331
12.1.2 Interaction332
12.2 Primitives Comportementales Virtuelles
d'observation333
12.2.1 Classification333
12.2.2 Observation visuelle333
12.2.3 Observation acoustique337
12.2.4 Observation tactile337
12.3 La recherche d'itinéraire337
12.3.1 Introduction337
12.3.2 Fondements théoriques338
12.3.3 La recherche d'itinéraire en environnement virtuel341
12.3.4 Conclusion348
12.4 Déplacement349
12.4.1 Introduction349
12.4.2 Contrôle continu351
12.4.3 Contrôle discret356
12.4.4 Contrôle planifié357
12.4.5 Evaluations357
12.4.6 Conclusion358
12.5 Sélection et Manipulation358
12.5.1 Introduction358
12.5.2 Techniques d'interaction359
12.5.3 Précision365
12.6 Contrôle d'application et entrée de symboles366
12.6.1 Contrôle d'application366
12.6.2 Entrée de symboles373
12.6.3 Conclusion376
12.7 Références bibliographiques377
13 Les techniques d'intégration multimodale en environnement virtuel
381
13.1 Introduction381
13.2 Fusion multimodale382
13.2.1 Description exhaustive de l'interaction382
13.2.2 Intégration à base de règles382
13.2.3 Fusion multimodale en RV&A383
13.3 Multimodalité en sortie384
13.3.1 Modèles issus des IHM385
13.3.2 Fission multimodale en RV&A385
13.4 Conclusion386
13.5 Références bibliographiques386
VI Aspects particuliers de l'interaction en réalité virtuelle
389
14 La restitution visuelle stéréoscopique
391
14.1 Création d'images stéréoscopiques391
14.1.1 Principe391
14.1.2 Choix des paramètres stéréoscopiques398
14.1.3 Création d'images en relief pour la téléopération399
14.1.4 Limitation de la fatigue oculaire en vision stéréoscopique403
14.1.5 Création d'images en vision orthostéréoscopique
pour une revue de projet406
14.2 Évaluation des techniques stéréoscopiques407
14.2.1 Intérêts de la vision en relief407
14.2.2 Choix des paramètres de la vision en relief408
14.3 Conclusion409
14.4 Annexes410
14.4.1 Perception du relief sur une feuille410
14.4.2 Formules de la vision stéréoscopique410
14.5 Références bibliographiques418
15 Dispositifs et interfaces de restitution sonore spatiale
421
15.1 Introduction421
15.2 Approches perceptives, illusion des
«sources fantômes»422
15.2.1 Stéréophonie422
15.2.2 Généralisation aux systèmes multi-canaux423
15.3 Reconstruction du champ sonore physique424
15.3.1 Techniques binaurales424
15.3.2 Holophonie et Décomposition en harmoniques429
15.4 Comparatifs des différents dispositifs et intégration en réalité virtuelle435
15.4.1 Validité spatiale de la reproduction sonore436
15.4.2 Influence du lieu de restitution et
compensation de contexte438
15.4.3 Latence et synchronisme avec d'autres modalités443
15.5 Librairies logicielles pour le rendu sonore spatial443
15.6 Références bibliographiques444
16 Le Retour Pseudo-Haptique
451
16.1 Introduction451
16.2 Concept du retour pseudo-haptique451
16.2.1 Objectifs451
16.2.2 Intégration vision-toucher452
16.2.3 Illusions visuelles et haptiques453
16.2.4 Propositions et définition455
16.3 Possibilités offertes par le retour pseudo-haptique456
16.3.1 Simulation pseudo-haptique du frottement456
16.3.2 Simulation pseudo-haptique de la raideur457
16.3.3 Simulation pseudo-haptique de la masse459
16.3.4 Simulation pseudo-haptique de la texture461
16.4 Généricité et application du retour pseudo-haptique462
16.4.1 Propriétés du retour pseudo-haptique463
16.4.2 Les applications actuelles du retour pseudo-haptique466
16.5 Conclusion468
16.6 Références bibliographiques469
VII Ergonomie de l'interfaçage
471
17 Concevoir et évaluer l'interaction utilisateur-environnement virtuel
473
17.1 Introduction473
17.1.1 L'utilisabilité : un critère parmi bien d'autres en ergonomie473
17.1.2 D'une approche centrée sur la perception et la copie du «réel» vers une
approche centrée sur l'utilisateur474
17.1.3 Organisation du chapitre475
17.2 Du 2D au 3D : trois aspects essentiels pour
l'ergonomie des interfaces475
17.2.1 Dispositifs génériques ou interfaces personnalisées475
17.2.2 Interface 3D et interaction 3D476
17.2.3 Rôle et prise en compte du geste dans l'interaction478
17.3 Ergonomie pour la conception des interfaces
et de l'interaction480
17.3.1 Quel paradigme pour l'interaction : exploitation
du geste «naturel», de la métaphore ou les deux ?480
17.3.2 Dimensions pour la conception de l'interaction485
17.3.3 Quelques aspects relatifs aux choix et limites actuelles489
17.3.4 Rétroactions et représentations de l'utilisateur
dans les mondes virtuels493
17.4 Evaluer l'interface et l'interaction :
les études avec des utilisateurs506
17.4.1 Les objectifs et les modalités de l'évaluation avec des
utilisateurs : la forêt cachée derrière le «test utilisateur»506
17.4.2 La démarche expérimentale : clef de voûte
des études avec les utilisateurs509
17.4.3 Dimensions et types de mesures recueillies et analysées dans les études
empiriques avec des utilisateurs511
17.4.4 La construction des études513
17.5 Conclusion516
17.6 Références bibliographiques517