Multimodalité(s) dans les interactions humaines

dans Laboratoire Parole et Langage

Auteur(s) :

Amoyal, Mary ; Cappellini, Marco ; Combe, Christelle ; Pallaud, Berthille ; Priego-Valverde, Béatrice ; Tellier, Marion

Éditeur(s)
- TIPA. Travaux interdisciplinaires sur la parole et le langage
Date
- 2023-01-27T01:00:00Z
Notes
- Dans notre contribution, nous allons aborder la notion de multimodalité dans les interactions humaines. Dans un premier temps, nous mettrons au jour les différentes définitions du concept de multimodalité actuellement utilisées dans les recherches en sciences du langage. Dans un deuxième temps, nous détaillerons certaines recherches actuelles sur la multimodalité menées au LPL en montrant la variété des cadres théoriques et méthodologiques mobilisés ainsi que des situations d’interaction considérées, allant du face-à-face présentiel aux interactions en ligne, de la conversation entre locuteurs d’une même langue à la communication exolingue. Enfin, dans une dernière partie, nous montrerons que cette variété n’empêche pas la complémentarité, ni des ressources langagières mobilisées par les participants, ni des cadres théoriques et méthodologiques qui en rendent compte. Nous conclurons ce chapitre en proposant quelques pistes de recherche future notamment à partir du phénomène de défaillance interactionnelle. 1. Le concept de multimodalitéLa communication interpersonnelle (Goffman, 1974) est « multimodale » dans son acception la plus large, c’est-à-dire en prenant en compte aussi bien les travaux de recherche menés en sciences du langage sur l’oral (Colletta, 2004), sur la gestuelle (Cosnier et al. 1982, McNeill, 1992), en analyse conversationnelle (Mondada, 2005) que ceux de la sémiotique sociale (Kress & Van Leeuwen, 2001) ou encore de la communication médiée par ordinateur (Develotte et al, 2011) et de l’analyse du discours numérique (Paveau, 2017). Dans cette première partie, nous définissons nos différents ancrages théoriques principaux, l’un n’excluant pas l’autre.1.1. Eclairages linguistiquesLorsque l’on analyse la parole en interaction en tant que phénomène multimodal, on considère en général trois grandes modalités : le verbal, le vocal (dont la prosodie [Voir l’article “La prosodie au Laboratoire Parole et Langage : histoire, recherches actuelles et perspectives” dans ce numéro]) et les éléments posturo-mimo-gestuels (Colletta, 2004). Une linguistique multimodale prend donc en compte les différentes modalités et les analyses en les mettant en relation. Étudier la prosodie ou analyser le geste (ou d’autres aspects kinésiques tels que les postures, les regards et les mimiques faciales) sans le verbal isolerait les modalités et ne permettrait pas de montrer leur articulation (Ferré, 2011).1.2. Éclairage de la sémiotique socialeUne conception de la multimodalité par l’entrée des modalités sensorielles peut être complexifiée si l’on pense qu’une même modalité peut être le canal de plusieurs modes sémiotiques. Ainsi, à travers la modalité visuelle, parfois appelée canal de la vue, il est possible de percevoir plusieurs modes sémiotiques : expressions faciales, gestes et proxémique entre autres. Ainsi, la multimodalité peut être définie comme une caractérisation de l’interaction non seulement en termes de modalités à l’œuvre, mais aussi de modes sémiotiques.Le développement des technologies de l’audio-visuel et du numérique a fait émerger dans les années 1990, une autre vision du concept de multimodalité, ancrée dans le champ de la sémiotique sociale. Les travaux de Kress et van Leeuwen (2001) ont permis de définir de nouveaux contours de cette notion en intégrant les différentes modalités de la communication permise par les différents artefacts utilisés. Ainsi la multimodalité est définie comme le recours massif et conjoint à divers modes d’expression (verbal, visuel, audio, tactile, etc.) dans la communication. 1.3. Eclairages émergents dans la « multimodalité numérique »Le concept de « multimodalité numérique » (Wachs & Weber, 2021) s’ancre dans plusieurs champs de recherches, proches les uns des autres mais présentant chacun des particularités. Le premier, fondateur et précurseur est le champ de la Communication Médiée par Ordinateur (CMO) qui s’est intéressé, dès le début d’Internet (et même du minitel en France) aux échanges en ligne, principalement sous leur forme textuelle (Herring, 1996 ; Anis, 1998). Viennent ensuite deux champs émergents de la linguistique dans la lignée de la CMO : le champ des Interactions Multimodales Par Ecran qui s’est développé notamment autour des interactions par visioconférence (Develotte, Kern & Lamy, 2011, Develotte & Paveau, 2017 ; Guichon & Tellier, 2017) et celui de l’Analyse du Discours Numérique (Paveau, 2017). Enfin, dans le domaine de la didactique des langues, on soulignera le champ de l’Apprentissage des Langues médiatisé par la Technologie (Guichon, 2012) qui étudie l’intégration des technologies dans les situations de communication spécifiquement liées à l’enseignement-apprentissage des langues. 2. Les recherches sur la multimodalité au LPLLes recherches sur la multimodalité au LPL se répartissent dans trois grands cadrages théoriques (celui de la parole multimodale -verbo-vocal et posturo-mimo-gestuel, celui de la sémiotique sociale et enfin celui de la multimodalité numérique) voire parfois dans un rapprochement des trois. Les chercheur.e.s du LPL qui s’intéressent à la question de la multimodalité étudient chacun des contextes différents comme les interactions en face-à-face, les interactions en ligne et les interactions hybrides.2.1. Les interactions en face-à-faceLes interactions en face-à- face peuvent être de différentes nature (e.g. conversation, interaction médecin-patient, réunion de travail…). Dans cette section, nous présenterons certaines recherches qui portent sur la conversation en face-à-face. Nos travaux portent principalement sur la prosodie lors de disfluences (Pallaud et al., 2019) et sur le sourire dans deux phases de la conversation : les transitions thématiques et les phases d’humour (Amoyal et al., 2020). Dans l’étude des interactions en face-à-face, un intérêt est également porté à la communication exolingue (entre participants n’ayant pas la même langue première) (Porquier, 1994). Elles sont particulièrement intéressantes à étudier d’un point de vue multimodal, notamment du point de vue de l’adaptation des modalités pour faciliter l’accès au sens (Tellier et al., 2021). 2.2. Les interactions en ligneAvec la diffusion des ordinateurs et de connexions internet de plus en plus performantes, plusieurs outils de communication médiatisée par ordinateur (CMO) se sont développés et diffusés au fil des années, à partir des premiers échanges de courriel jusqu’à la banalisation récente de la visioconférence et des appels vidéophoniques. Ces nouveaux outils ont, d’une part, fait l’objet d’une projection de la part des interactions de procédés interactionnels provenant des interactions en face-à-face présentiel, tout en faisant émerger des nouveaux phénomènes communicatifs liés à la multimodalité de différentes formes de CMO (que l’on pense par exemple aux émoticônes dans les clavardages). Certaines recherches au LPL se sont ainsi tournées vers l’émergence de techno-genres discursifs et leur caractérisation par exemple en termes d’ethos. D’autres se sont intéressées au potentiel pédagogique pour la didactique des langues, tant sur le versant de l’acquisition de langues secondes que sur celui de la formation de formateurs.2.3. Les interactions hybridesLes interactions hybrides mêlent face-à-face et distanciel et peuvent avoir lieu selon différentes configurations. Une recherche interdisciplinaire et collective à plusieurs laboratoires, dont le LPL (voir fiche corpus Présences numériques), a étudié un séminaire doctoral poly-artefacté (Develotte et al., 2021), c’est-à-dire un séminaire dont une partie des participants est physiquement en présence et l’autre en présence via différents artefacts (une tablette articulée sur un socle, un robot à taille humaine mobile sur roulettes et une plateforme multimodale interactive) et qui présentait, entre autres modules, un espace de visioconférence, un espace de clavardage, une prise de notes collective et un partage de documents. Chaque artefact étant lui-même actionné au travers d’écrans multiples (d’ordinateurs, de tablettes, de smartphones, etc.). Un tel contexte de communication multimodale poly-artéfacté s’avère donc éminemment complexe tant à expérimenter pour les participants, qu’à étudier et retranscrire pour les chercheurs. 3. PerspectivesAu terme de ce chapitre qui met en évidence les grandes directions de recherche effectuée au LPL sur la multimodalité, plusieurs perspectives ont été identifiées. A titre d’exemple, étudier le phénomène de « défaillance interactionnelle » semble particulièrement intéressant notamment pour montrer comment les locuteurs puisent dans leurs ressources multimodales pour surmonter ces défaillances. Des phénomènes différents les uns des autres sont à observer : disfluences, recherches lexicales, incompréhensions et réparations, explications et enfin anticipation de la défaillance à travers un discours didactique multimodal.Une première piste de recherche qui pourrait être explorée est la nature multimodale des disfluences en interaction : observe-t-on seulement une synchronisation de la suspension du geste et de la parole ou existe-t-il des gestes spécifiques liés à la recherche lexicale ? Une perspective de recherche au LPL pourrait être de comparer l’apparition des disfluences dans les discours en L1 vs en langue étrangère pour voir si la maîtrise de la langue affecte la façon dont ce phénomène s’exprime multimodalement. Parmi les perspectives à explorer dans les recherches sur la multimodalité, on peut compter l’étude des alignements conversationnels. Dans le modèle proposé par Pickering et Garrod (2004, 2021), l’alignement est un phénomène psychologique concernant les représentations mentales d’interlocuteurs, phénomène qui se reflète dans l’articulation et souvent dans la reprise de comportements communicatifs. Si l’alignement a initialement été étudié par le phénomène du priming à différents niveaux langagiers (lexique, morphosyntaxe…), récemment on a pu constater un intérêt pour la communication dans sa multimodalité, incluant entre autres les gestes et les mimiques faciales (Cappellini, Holt et Hsu, 2022). En incluant l’étude des mimiques faciales, une étude du sourire des interlocuteurs en phase de réparation orale, pourrait permettre de mettre en exergue l’importance de cette expression faciale dans ce procédé interactionnel. Une piste de recherche serait également d’interroger la place du sourire dans la recherche lexicale. Enfin, il semble que l’on pourrait aussi dans les recherches sur la multimodalité numérique étudier à partir de la complexité du schéma interactionnel de la plateforme YouTube (un discours vidéo auquel répondent des commentaires écrits en asynchronie) comment les vlogueurs anticipent la possible défaillance interactionnelle en recourant à un discours didactique (Moirand, 1993) qui sollicite différents éléments multimodaux.
Langues
- Français
Sujet(s)
- humour
- conversationnelle
- en face-à-face
- en ligne
- exolingue
- hybride
- sourire
- web 2.0
Droits
- info:eu-repo/semantics/openAccess .
- https://creativecommons.org/licenses/by-nc-nd/4.0/
Résultat de :
- OpenEdition : Journals - Nouvelle fenêtre