Projects
Activités de recherche depuis 1992
1. Génération d’images mentales à partir de descriptions verbales
1.1. Mise en évidence des propriétés structurales des images mentales construites à partir de descriptions verbales
1.2. Variations sur le paradigme d’exploration mentale
1.3. Modélisation des processus d’exploration mentale
1.4. Modélisation basée sur des expériences d’amorçage spatial
1.5. Analyse chronométrique des processus de génération et de maintien des images visuelles
1.6. Etude des processus de représentation de l’information spatiale chez les personnes aveugles
1.7. Etude de la cognition spatiale dans un environnement virtuel audio 3D
1.8. Analyse des propriétés des images visuelles construites à partir d’une expérience visuelle ou d’une description verbale
1.9. Synthèse théorique sur les processus d’exploration mentale
2. Processus cognitifs et stratégies linguistiques dans la production de descriptions spatiales
2.1. Processus de linéarisation dans la description de configurations géographiques
2.2. Processus descriptifs dans des situations comportant des contraintes
2.3. Les descriptions spatiales: Prise en compte des aspects cognitifs dans des contextes de communication homme-machine
2.4. La description d’itinéraires: Développement d’une méthode d’analyse
2.5. Recherche de corrélats cognitifs et comportementaux
2.6. Mise au point d’un générateur de descriptions d’itinéraires en langage naturel
2.7. Projets développés en collaboration avec des organismes publics et des industriels
2.8. Etude des dysfonctionnements de la cognition spatiale (patients Alzheimer)
2.9. Etude des dysfonctionnements de la cognition spatiale (patients schizophrènes)
2.10. Descriptions verbales et descriptions graphiques d’itinéraires: Analyse des processus cognitifs et modélisation informatique
3. Processus cognitifs mis en œuvre dans la mémorisation et l’utilisation de descriptions spatiales
3.1. Traitement et mémorisation de descriptions d’itinéraires
3.2. Repères et voies dans la mémorisation et l’utilisation d’instructions de déplacements
3.3. Le rôle de la mémoire de travail visuo-spatiale dans le traitement d’instructions directionnelles
3.4. Composantes visuelles des représentations mentales d’itinéraires
3.5. Processus d’activation mis en œuvre pendant la lecture de textes décrivant un environnement spatial complexe
3.6. Analyse de dialogues d’aide à la navigation automobile
3.7. Analyse de l’efficacité des instructions directionnelles en conduite automobile
3.8. Planification de parcours urbains
3.9. Spécifications pour un système d’aide verbale au déplacement pour des piétons aveugles
3.10. Etudes sur la navigation et la représentation de l’espace en l’absence de vision
3.11. Développement d’un système de guidage utilisant la réalité augmentée à destination de personnes aveugles et mal voyantes
3.12. Approche développementale des processus cognitifs mis en œuvre dans la construction de représentations spatiales
3.13. Mise à jour de représentations spatiales construites à partir de descriptions verbales
3.14. Manipulation d’objets tridimensionnels au sein d’environnements virtuels
4. Structures cérébrales impliquées dans la génération de représentations visuo-spatiales
4.1. Débit sanguin cérébral et différences individuelles en imagerie visuo-spatiale
4.2. Etude en TEP des structures cérébrales mises en jeu dans la construction et dans l’exploration mentale d’images visuo-spatiales
4.3. Etude en TEP des structures cérébrales mises en jeu dans la mémorisation d’environnements spatiaux et dans la simulation mentale de déplacements
4.4. Etude en TEP des structures cérébrales mises en jeu dans la mémorisation d’environnements spatiaux décrits à l’aide de textes
4.5. Etude en IRM fonctionnelle du rôle du cortex visuel primaire dans la génération d’images visuelles
4.6. Etude en IRM fonctionnelle des structures cérébrales mises en jeu dans l’exploration mentale
4.7. Etude de patients présentant un syndrome d’héminégligence spatiale
La question à laquelle je consacre mes activités de chercheur est celle du rôle de l’image et du langage dans la construction des représentations mentales de configurations spatiales. L’image et le langage constituent deux modes de représentation pourvus de propriétés fortement différenciées, mais dont la coopération est attestée dans de nombreuses formes du fonctionnement cognitif. L’étude de leurs interactions est particulièrement importante pour rendre compte des processus de communication entre agents cognitifs (naturels ou artificiels) appelés à échanger des connaissances sur leur environnement spatial.
1. Génération d’images mentales à partir de descriptions verbales
1.1. Mise en évidence des propriétés structurales des images mentales construites à partir de descriptions verbales
Les travaux que j’ai menés avec M. Cocude pendant une dizaine d’années mettent en évidence la capacité des individus à construire la représentation interne de configurations spatiales à partir des descriptions verbales de ces configurations, sans contact perceptif avec les configurations elles-mêmes. Les analyses chronométriques basées sur le paradigme d’exploration mentale de S. M. Kosslyn et sur un paradigme de comparaison mentale de distances attestent de la similarité structurale des représentations imagées construites à partir de descriptions et des représentations dérivées de la perception. Ces résultats confirment que l’image construite à partir d’une description verbale contient une information structurée de manière comparable à l’information d’origine perceptive. Nos analyses se sont étendues à des situations expérimentales dans lesquelles est mise en évidence la compositionalité des durées d’exploration mentale de plusieurs distances.
Denis, M., & Zimmer, H. D. (1992). Analog properties of cognitive maps constructed from verbal descriptions. Psychological Research, 54, 286-298.
Denis, M. (1996). Imagery and the description of spatial configurations. In M. de Vega, M. J. Intons-Peterson, P. N. Johnson-Laird, M. Denis, & M. Marschark, Models of visuospatial cognition (pp. 128-197). New York: Oxford University Press.
Denis, M. (2008). Assessing the symbolic distance effect in mental images constructed from verbal descriptions: A study of individual differences in the mental comparison of distances. Acta Psychologica, 127, 197-210.
1.2. Variations sur le paradigme d’exploration mentale
Les effets recueillis dans le paradigme d’exploration mentale se sont révélés suffisamment robustes pour ne pas être affectés par les variations expérimentales apportées à la saillance cognitive des composants de la configuration. En revanche, une thèse conduite sous ma direction par D. Esquivié (chercheur au CRSSA, à Grenoble) et soutenue en 2002 a examiné la manière dont l’exploration mentale est affectée par la représentation de l’altitude dans la configuration mémorisée. Les résultats font apparaître que les courbes de niveau inscrites sur une carte préalablement mémorisée modifient les indicateurs chronométriques de l’exploration mentale. Par ailleurs, la thèse menée sous ma direction par G. Borst, soutenue en 2004, a permis de tester l’hypothèse de deux mécanismes distincts d’exploration mentale, à savoir un mécanisme de simulation mentale du déplacement entre les différentes parties de la représentation activée et un mécanisme de focalisation sur la localisation de la cible à atteindre. Dans le premier cas, l’exploration mentale s’appuie sur des processus transformationnels, tandis que dans le second, elle implique essentiellement des processus attentionnels. Les deux sortes de processus produisent le même type de résultat, à savoir l’augmentation des temps de réponse en fonction de la distance parcourue mentalement, mais pour des raisons distinctes. Cette recherche, conduite avec la participation de S. M. Kosslyn, a permis de définir de nouveaux protocoles expérimentaux pour l’étude de l’exploration mentale. Une synthèse sur les variations expérimentales inspirées par le paradigme d’exploration mentale a été rédigée au terme de ce travail.
Denis, M., & Cocude, M. (1997). On the metric properties of visual images generated from verbal descriptions: Evidence for the robustness of the mental scanning effect. European Journal of Cognitive Psychology, 9, 353-379.
Borst, G., Kosslyn, S. M., & Denis, M. (2006). Different cognitive processes in two image-scanning paradigms. Memory and Cognition, 34, 475-490.
Denis, M., & Borst, G. (2006). Variations on the image scanning paradigm: What do they contribute to our knowledge of mental imagery? In T. Vecchi & G. Bottini (Eds.), Imagery and spatial cognition: Methods, models and cognitive assessment (pp. 49-68). Amsterdam: John Benjamins.
1.3. Modélisation des processus d’exploration mentale
D’autres travaux menés avec M. Cocude nous ont conduits à évaluer la sensibilité de l’image mentale d’une configuration à l’égard de la structure du texte qui décrit la configuration. Ainsi, l’exploration mentale d’une image construite à partir d’une description présentée dans un ordre aléatoire fait apparaître d’importantes irrégularités par comparaison avec celle d’une image construite à partir d’un texte bien structuré. Nous mettons également en évidence, par un examen des essais successifs de l’apprentissage, le caractère graduel de la construction de l’image. Il s’avère que la validité référentielle d’une image, c’est-à-dire la capacité qu’a cette image de refléter la métrique de l’objet auquel elle se réfère, n’est pas une propriété par tout ou rien, mais résulte d’une construction graduelle. Dans une coopération avec le Groupe Langage et Cognition (D. Memmi), nous avons proposé un modèle quantitatif de la réduction de l’incertitude de l’image en fonction de l’apprentissage. Ce travail a été complété par une modélisation connexionniste de l’exploration mentale, qui permet de reproduire le processus de construction d’une image à partir d’une description verbale.
Denis, M., & Cocude, M. (1992). Structural properties of visual images constructed from poorly or well-structured verbal descriptions. Memory and Cognition, 20, 497-506.
Denis, M., Gonçalves, M.-R., & Memmi, D. (1995). Mental scanning of visual images generated from verbal descriptions: Towards a model of image accuracy. Neuropsychologia, 33, 1511-1530.
1.4. Modélisation basée sur des expériences d’amorçage spatial
Nous avons également mis en évidence, par un examen des essais successifs de l’apprentissage, le caractère graduel de la construction de l’image. Un travail de modélisation impliquant la comparaison d’images générées à partir d’entrées perceptives ou d’entrées linguistiques a été mené à bien, avec la thèse de M. Bollaert (AMN, puis ATER), dont la soutenance a eu lieu en 1998. Dans une expérimentation reprenant le paradigme d’amorçage spatial de K. F. Wender, des participants mémorisent des configurations d’objets à partir de présentations visuelles ou à partir de descriptions verbales. Ces dernières peuvent elles-mêmes adopter différentes séquences. Les réponses recueillies dans la tâche d’amorçage font apparaître la dépendance des réponses à l’égard de la séquence suivie par la description verbale pendant l’apprentissage. Cet effet, toutefois, se modifie à mesure que progresse l’apprentissage, la représentation mentale de la configuration perdant les traits dépendants de la structure initiale de la description verbale.
Bollaert, M. (2000). A connectionist model of the processes involved in generating and exploring visual mental images. In S. O Nuallain (Ed.), Spatial cognition: Foundations and applications (pp. 329-346). Amsterdam: John Benjamins.
1.5. Analyse chronométrique des processus de génération et de maintien des images visuelles
Les processus de génération des images mentales ont fait l’objet d’analyses chronométriques fines distinguant les durées de construction et les durées de maintien des images. Des participants ont été soumis à la présentation auditive de mots concrets ou abstraits, leur tâche étant d’indiquer le moment d’apparition et le moment de disparition de l’image générée. L’expérience a été conduite en collaboration avec M. Cocude et avec V. Charlot (Service de Psychiatrie, Hôpital Louis-Mourier, Colombes) chez des participants normaux et chez des patients présentant un syndrome dépressif. Nos résultats confirment l’hypothèse d’une séparation fonctionnelle entre les processus responsables de la génération des images et les processus qui assurent leur maintien dans le « buffer visuel ».
Cocude, M., Charlot, V., & Denis, M. (1997). Latency and duration of visual mental images in normal and depressed subjects. Journal of Mental Imagery, 21 (1-2), 127-142.
1.6. Etude des processus de représentation de l’information spatiale chez les personnes aveugles
Dans le cadre d’un projet soutenu par le Programme Cognitique, projet auquel ont été associés C. Thinus-Blanc (Marseille) et R. Casati (Paris), responsable du projet, j’ai repris avec F. Gaunet le paradigme de comparaison mentale de distances que j’avais développé initialement avec M. Cocude et H. D. Zimmer pour l’appliquer cette fois-ci à des personnes aveugles. Des aveugles de naissance, des aveugles tardifs et des personnes voyantes dont les yeux étaient bandés ont effectué des comparaisons mentales de distances au sein d’une configuration spatiale apprise à partir d’une description verbale. Les performances des personnes aveugles et celles des voyants s’avèrent de niveau équivalent. Cependant, pour atteindre cette même performance, les durées de traitement sont plus longues pour les aveugles que pour les voyants, sans que les aveugles de naissance et les aveugles tardifs diffèrent les uns des autres. L’existence d’un « effet de distance symbolique » dans tous les groupes suggère que dans les différentes formes de privation sensorielle considérées, la représentation de l’information spatiale adopte le même format analogique.
Afonso, A., Gaunet, F., & Denis, M. (2003-2004). The mental comparison of distances in a verbally described spatial layout: Effects of visual deprivation. Imagination, Cognition and Personality, 23, 173-182.
1.7. Etude de la cognition spatiale dans un environnement virtuel audio 3D
En collaboration avec le Groupe Perception Située (B. Katz, A. Afonso) et le Groupe Architectures et Modèles pour l’Interaction (C. Jacquemin), un environnement virtuel incorporant une interface audio 3D et peuplé d’objets sonores (un tic-tac d’horloge, une sonnerie de téléphone, etc.) a été développé. Nous avons comparé deux conditions d’apprentissage de cet environnement, à savoir par exploration active de la part des participants ou bien à partir du traitement d’une description verbale. En outre, afin de mieux comprendre le rôle de la vision dans cet apprentissage, trois groupes de participants ont été comparés: aveugles de naissance, aveugles tardifs et voyants ayant les yeux bandés. Après l’apprentissage, les participants reconstruisaient l’environnement à l’aide d’un pointeur permettant de localiser les objets sonores mémorisés. Des mesures de similarité entre la configuration initiale et la configuration reconstruite font apparaître que l’apprentissage par déplacements actifs permet de meilleures estimations des distances absolues entre objets sonores, mais que l’erreur angulaire et l’erreur radiale sont peu différenciées en fonction du type d’apprentissage. Les trois groupes de participants commettent des erreurs peu différentes, mais les aveugles de naissance sont particulièrement défavorisés en ce qui concerne l’erreur angulaire. Enfin, dans une épreuve d’exploration mentale, la corrélation entre les temps et les distances – signature classique du caractère analogique de la représentation construite – est effectivement obtenue dans les deux conditions d’apprentissage chez les personnes aveugles. En revanche, les personnes voyantes avec les yeux bandés produisent des réponses manifestant leurs difficultés particulières après l’apprentissage par déplacements.
Afonso, A., Katz, B. F. G., Blum, A., Jacquemin, C., & Denis, M. (2005). A study of spatial cognition in an immersive virtual audio environment: Comparing blind and blindfolded individuals. Proceedings of the Eleventh Meeting of the International Conference on Auditory Display (CD-ROM), Limerick, Irlande, 6-9 juillet 2005.
Afonso, A., Blum, A., Katz, B. F. G., Tarroux, P., Borst, G., & Denis, M. (2010). Structural properties of spatial representations in blind people: Scanning images constructed from haptic exploration or from locomotion in a 3-D audio virtual environment. Memory and Cognition, 38, 591-604.
1.8. Analyse des propriétés des images visuelles construites à partir d’une expérience visuelle ou d’une description verbale
Dans une collaboration de recherche avec C. Thinus-Blanc et P. Péruch (Marseille), nous avons cherché à identifier les similitudes et les différences susceptibles d’apparaître dans les images d’un environnement spatial construites à partir d’une expérience visuelle ou bien d’une description verbale. Dans les deux cas, nous introduisons un contraste supplémentaire tenant à la perspective selon laquelle l’environnement est mémorisé. Ainsi, l’expérience visuelle apporte soit une information en survol (apprentissage d’une carte), soit une information en trajet (présentation vidéo – en images de synthèse – d’un itinéraire traversant l’environnement à apprendre). La description verbale, quant à elle, peut adopter un point de vue en survol ou en trajet. Lorsque les participants sont testés dans une tâche d’exploration mentale, la nature visuelle ou verbale de l’apprentissage n’affecte pas les temps de réponse. En revanche, l’exploration est systématiquement plus rapide lorsque l’apprentissage a permis aux participants de se créer une vue en survol de l’environnement. Lorsque les participants sont invités à effectuer des comparaisons de distances, les performances sont meilleures et les temps de réponse sont plus courts lorsque l’image dérive d’une expérience visuelle que lorsqu’elle a été construite à partir d’une description verbale. La même relation se dessine en faveur des apprentissages effectués en survol. Il s’avère donc, dans ce contexte expérimental, que les images mentales possèdent des caractéristiques dont certaines sont tributaires des conditions dans lesquelles s’est déroulé l’apprentissage.
Chabanne, V., Péruch, P., Denis, M., & Thinus-Blanc, C. (2003-2004). Mental scanning of images constructed from route or survey perspectives. Imagination, Cognition and Personality, 23, 163-171.
Péruch, P., Chabanne, V., Nesa, M.-P., Thinus-Blanc, C., & Denis, M. (2006). Comparing distances in mental images constructed from visual experience or verbal descriptions: The impact of survey versus route perspective. Quarterly Journal of Experimental Psychology, 59, 1950-1967.
1.9. Synthèse théorique sur les processus d’exploration mentale
La présence régulière de S. M. Kosslyn en France au long des dernières années m’a permis de mettre en chantier, avec « l’inventeur » du paradigme de l’exploration mentale, une large revue théorique sur les résultats collectés pendant plus de 20 ans à l’aide de ce paradigme, sur leurs interprétations, sur les connaissances qu’ils ont permis d’établir sur les mécanismes de l’imagerie mentale. Ce travail a été publié sous la forme d’un article-cible qui a permis d’engager un débat scientifique approfondi avec les experts internationaux du domaine de l’imagerie mentale et, plus généralement, de la cognition visuelle (en psychologie, neuropsychologie et neurosciences computationnelles).
Denis, M., & Kosslyn, S. M. (1999). Scanning visual mental images: A window on the mind. Current Psychology of Cognition, 18, 409-465.
Denis, M., & Kosslyn, S. M. (1999). Does the window really need to be washed? More on the mental scanning paradigm. Current Psychology of Cognition, 18, 593-616.
2. Processus cognitifs et stratégies linguistiques dans la production de descriptions spatiales
2.1. Processus de linéarisation dans la description de configurations géographiques
Le problème majeur du locuteur invité à décrire une scène visuelle est celui de la linéarisation. Partant d’une entité d’extension multidimensionnelle, l’individu met en œuvre un codage linguistique qui produit une sortie par essence linéaire. Le discours descriptif impose donc des choix quant à l’ordre dans lequel les parties de la scène ou de la configuration à décrire sont introduites dans la description. Avec M.-P. Daniel et L. Carité, nous avons analysé les stratégies descriptives mises en œuvre dans la description de la carte d’une île sur laquelle sont distribués plusieurs détails géographiques. Nous avons analysé les prises de décision successives intervenant au cours de la description et les différents modes de séquentialisation adoptés par les descripteurs. Le caractère systématique des modes de séquentialisation a été mis en relation avec d’autres caractéristiques du discours descriptif (comme la prise de perspective en survol ou en trajet ou la production de descriptions macrostructurales avant la description des détails de la configuration). Nous avons également mis en évidence que les individus présentant de bonnes capacités de visualisation spatiale sont ceux dont les descriptions reçoivent les meilleures évaluations de la part de juges invités à apprécier la clarté de ces descriptions dans un contexte de communication.
Daniel, M.-P., Carité, L., & Denis, M. (1996). Modes of linearization in the description of spatial configurations. In J. Portugali (Ed.), The construction of cognitive maps (pp. 297-318). Dordrecht, The Netherlands: Kluwer.
2.2. Processus descriptifs dans des situations comportant des contraintes
La thèse de F. Robin (soutenue en 1992) a consisté à étudier les stratégies discursives mises en œuvre dans la description de réseaux de cercles colorés avec contrainte sur le point d’initialisation. Les expériences reprenaient un paradigme mis au point par W. J. M. Levelt. Elles ont montré qu’en général, les locuteurs préfèrent les stratégies qui minimisent le nombre d’éléments à maintenir en mémoire pendant la description (ou la durée de ce maintien en mémoire). Ces choix sont explicables par une réduction de la charge cognitive au cours de la description. La même recherche a révélé la similitude des stratégies discursives mises en œuvre dans la description de configurations perçues et de configurations mémorisées (évoquées sous forme d’images visuelles). L’extension ultérieure de ces recherches à des scènes spatiales plus réalistes (scènes urbaines) a mis en évidence que le contenu sémantique des éléments à décrire ne modifie pas les stratégies descriptives des individus. Les expériences attestent de la robustesse des stratégies descriptives dans différents contextes de communication et révèlent l’existence d’un savoir métacognitif à propos de l’efficacité de ces stratégies. La variabilité des productions verbales dans la description de scènes a également été étudiée dans une recherche menée avec le Groupe Communication Parlée (M. Eskénazi).
Robin, F., & Denis, M. (1991). Description of perceived or imagined spatial networks. In R. H. Logie & M. Denis (Eds.), Mental images in human cognition (pp. 141-152). Amsterdam: North-Holland.
2.3. Les descriptions spatiales: Prise en compte des aspects cognitifs dans des contextes de communication homme-machine
Reprenant les situations inspirées du paradigme de W. J. M. Levelt, dans une recherche menée avec le Groupe Langage et Cognition (M. Zock), nous avons travaillé à la construction d’un système rendant possible la simulation de stratégies descriptives par un générateur de textes. Partant d’une configuration visuelle et d’une contrainte spécifiée par l’utilisateur, le système produit différents types de textes descriptifs, en appliquant les principes identifiés dans l’analyse des stratégies descriptives naturelles. Le générateur opère à deux niveaux: construction d’une représentation du message à produire sous forme de graphe conceptuel; expression du message en langage naturel. Deux autres recherches comportant une dimension ergonomique ont été menées en réponse à des demandes du Département Communication Homme-Machine du LIMSI. Une recherche menée avec le Groupe Communication Parlée (F. Néel) a consisté à analyser la description verbale de paysages en présence de contraintes temporelles. D’autre part, une recherche menée avec le Groupe Communication Non Verbale (D. Teil) nous a permis de comparer la mémorabilité de différentes séquences descriptives pour des opérateurs utilisant une station de travail multimodale (associant clavier, écran tactile et parole).
Denis, M., Robin, F., Zock, M., & Laroui, A. (1994). Identifying and simulating cognitive strategies for the description of spatial networks. In W. Schnotz & R. W. Kulhavy (Eds.), Comprehension of graphics (pp. 77-94). Amsterdam: North-Holland.
2.4. La description d’itinéraires: Développement d’une méthode d’analyse
L’analyse des processus cognitifs mis en œuvre dans la description d’itinéraires et dans l’aide à la navigation occupe une place majeure dans notre programme expérimental. Si le problème de la linéarisation ne se pose pas de manière aiguë en matière de descriptions d’itinéraires, il n’en reste pas moins que les choix descriptifs effectués par les locuteurs reflètent des opérations cognitives impliquant l’interfaçage entre des représentations internes de l’environnement à décrire et un système assurant des sorties linguistiques pertinentes. Nous avons recueilli plusieurs corpus de descriptions dans des environnements variés (campus, environnements urbains) et nous avons entrepris la classification des propositions issues de leur analyse. Nous avons mis en évidence, en collaboration avec M.-P. Daniel, la robustesse de la structure des descriptions produites dans des situations contraintes (par exemple, lorsque la personne doit produire une description concise). Nous avons également mené une étude sur la production de descriptions en situation collective. Cette situation induit une plus grande sélectivité de l’information introduite dans les descriptions, avec un effet significatif sur leur concision et leur valeur informative. Enfin, une collaboration mise en place avec B. Tversky, complétée par un séjour d’un an de M.-P. Daniel au Département de Psychologie de Stanford (2000-2001), a été consacrée à l’analyse des descriptions d’itinéraires, comme formes de discours procédural, que M.-P. Daniel compare aux autres formes de discours ou de texte procédural (comme les instructions de montage). Une nouvelle extension a été développée dans le cadre du STREP « Wayfinding » sur la comparaison des descriptions écrites et des descriptions orales (M.-P. Daniel et E. Przytula-Machrouh).
Denis, M. (1997). The description of routes: A cognitive approach to the production of spatial discourse. Current Psychology of Cognition, 16, 409-458.
Daniel, M.-P., & Denis, M. (1998). Spatial descriptions as navigational aids: A cognitive analysis of route directions. Kognitionswissenschaft, 7, 45-52.
Daniel, M.-P., & Denis, M. (2004). The production of route directions: Investigating conditions that favour conciseness in spatial discourse. Applied Cognitive Psychology, 18, 57-75.
Daniel, M.-P., Przytula, E., & Denis, M. (2009). Spoken versus written route directions. Fourth International Conference on Spatial Cognition, Rome, 14-18 September 2009. Cognitive Processing, 10, Supplement 2, S201-S203.
2.5. Recherche de corrélats cognitifs et comportementaux
Un trait remarquable des descriptions recueillies en situation naturelle est la variété interindividuelle des productions pour un même itinéraire (longueur des messages, degré de spécification, richesse en repères, etc.). Au delà de cette variété, nous isolons des invariants et nous établissons, à partir des protocoles individuels, une description de référence pour chaque trajet considéré. Pour chaque description individuelle, nous disposons de deux classes d’indicateurs: d’une part, des évaluations sur échelle, fournies par des juges, de la qualité communicative de la description; d’autre part, des mesures objectives de la similitude de la description à l’égard de la description de référence. Ces deux types d’indicateurs s’avèrent en fait étroitement corrélés. Une recherche menée en collaboration avec C. Cornoldi et F. Pazzaglia (Padoue) nous a permis de mesurer l’incidence des descriptions verbales sur la performance de navigation dans un environnement urbain complexe (la ville de Venise). Il s’avère que les descriptions les plus proches de la description de référence sont celles qui entraînent le moins d’erreurs d’orientation. Une autre étude menée avec M.-P. Daniel sur le campus d’Orsay révèle que les descriptions qui font l’objet des plus mauvaises évaluations de la part de juges donnent lieu à l’exécution de parcours qui prennent davantage de temps et engendrent des distorsions dans la représentation mentale des distances parcourues. Ces études apportent une validation comportementale à nos analyses de la qualité structurale des descriptions.
Denis, M., Pazzaglia, F., Cornoldi, C., & Bertolo, L. (1999). Spatial discourse and navigation: An analysis of route directions in the city of Venice. Applied Cognitive Psychology, 13, 145-174.
Daniel, M.-P., Tom, A., Manghi, E., & Denis, M. (2003). Testing the value of route directions through navigational performance. Spatial Cognition and Computation, 3, 269-289.
2.6. Mise au point d’un générateur de descriptions d’itinéraires en langage naturel
La thèse d’A. Gryl, menée en collaboration avec le Groupe Langage et Cognition (en co-direction avec G. Ligozat) et soutenue en 1995, a consisté à rendre compte des processus de planification du discours descriptif et à formaliser ce type de discours à l’aide d’outils logiques appropriés. Le travail, mené dans une perspective de simulation par un système automatique de génération de textes, a requis une catégorisation fine des indicateurs de progression, d’orientation et de localisation. La thèse issue de ce travail a abouti à un ensemble de spécifications pour un générateur de descriptions d’itinéraires en langage naturel. Le générateur envisagé opère en trois étapes. La première étape consiste à déterminer la région de l’espace dans laquelle se trouvent les points de départ et d’arrivée de l’itinéraire, puis à établir une représentation du parcours entre ces points selon une stratégie de choix de chemin. La seconde étape augmente la représentation créée à l’étape précédente en y ajoutant des repères à partir de contraintes imposées par l’environnement et le mode de déplacement considéré. La dernière étape consiste à construire une structure prélinguistique du parcours en s’appuyant sur des mécanismes de raisonnement spatial qualitatif et sur les contraintes d’usage des items lexicaux.
Gryl, A., Denis, M., & Ligozat, G. (1996). Descriptions d’itinéraires: Eléments pour un générateur en langage naturel. XXVIème Congrès International de Psychologie, Montréal, Canada, 16-21 août 1996. International Journal of Psychology, 31 (3-4), 302. (Résumé.)
2.7. Projets développés en collaboration avec des organismes publics et des industriels
Plusieurs recherches sur la production de descriptions spatiales ont été menées en environnement réel dans le cadre de contrats avec des organismes publics ou des industriels. Tout d’abord, dans une collaboration avec le Département Projets de la RATP, une thèse menée sous ma direction par S. Fontaine (allocataire CIFRE) sur la description d’itinéraires au sein du métro parisien a été soutenue en 2000. Ce travail a permis d’identifier les caractéristiques spécifiques des instructions directionnelles dans l’enceinte du métro parisien. Il a également permis de mesurer l’impact de différentes formes de signalétique pour guider les utilisateurs vers la sortie. Une autre recherche, menée avec la Direction R&D de Bouygues Telecom, a été consacrée à l’analyse des descriptions d’itinéraires en environnement urbain. Ce financement d’origine industrielle a couvert en particulier le travail de thèse de P.-E. Michon, thèse soutenue en 2003. L’analyse des descriptions d’itinéraires a permis de dégager le rôle privilégié des repères dans l’orientation en milieu urbain non familier. La mention des repères dans les descriptions d’itinéraires permet à l’utilisateur de construire par anticipation un modèle visuel dynamique de l’environnement qu’il va traverser et de se préparer cognitivement aux actions qu’il devra accomplir aux points critiques de son trajet. Enfin, une collaboration s’est développée avec le Réseau GEOIDE, au Canada, sur la perception et la conception d’espaces naturels de navigation (les parcs naturels). Ce travail a été mené dans le cadre d’un stage post-doctoral effectué par S. Fontaine en 2001 (prolongé jusqu’en 2004) au Centre de Géomatique de l’Université Laval à Québec, en collaboration avec G. Edwards (Laval) et B. Tversky (Stanford). P.-E. Michon a été engagé en 2003 sur un projet post-doctoral consistant à étudier et à modéliser les déplacements des visiteurs dans les centres commerciaux. Enfin, j’ai participé à un projet piloté par l’Université Laval sur l’imagerie mentale du mouvement (le projet MIME, pour « Movement in the Mind’s Eye », soutenu par les Canadian Institutes for Health Research).
Fontaine, S., & Denis, M. (1999). The production of route instructions in underground and urban environments. In C. Freksa & D. M. Mark (Eds.), Spatial information theory: Cognitive and computational foundations of geographic information science (Proceedings of COSIT 1999) (pp. 83-94). Berlin: Springer.
Michon, P.-E., & Denis, M. (2001). When and why are visual landmarks used in giving directions? In D. R. Montello (Ed.), Spatial information theory: Foundations of geographic information science (Proceedings of COSIT 2001) (pp. 292-305). Berlin: Springer.
Fontaine, S., Edwards, G., Tversky, B., & Denis, M. (2005). Expert and non-expert knowledge of loosely structured environments. In A. G. Cohn & D. M. Mark (Eds.), Spatial information theory (Proceedings of COSIT 2005) (pp. 363-378). Berlin: Springer.
2.8. Etude des dysfonctionnements de la cognition spatiale (patients Alzheimer)
Dans une collaboration avec J.-L. Nespoulous (Toulouse), la description d’itinéraires a été utilisée comme indicateur des dysfonctionnements de la cognition spatiale dans différents tableaux neuropsychologiques et neurologiques, en commençant par la démence de type Alzheimer. Un travail précédent nous avait permis de révéler l’appauvrissement spécifique du discours spatial chez les patients Alzheimer souffrant de désorientation spatiale. Cette nouvelle recherche a été soutenue par un contrat du GIS Sciences de la Cognition et par une allocation du Programme Cognitique (K. Ricalens). Les analyses font apparaître, chez les patients Alzheimer comparés à des participants contrôle, une fréquence importante des énoncés « modalisateurs » par rapport aux énoncés « référentiels » dans la description de scènes urbaines. Il existe également chez ces patients un appauvrissement considérable de la référence aux positions des repères par rapport à la personne qui traverse l’environnement. Cependant, il est intéressant de relever, chez les patients Alzheimer, la relative préservation de leurs capacités descriptives à partir de cartes, alors que leurs descriptions de mémoire sont fortement dégradées. Enfin, la distribution du nombre d’énoncés descriptifs sur le début, le milieu et la fin des segments à décrire s’avère très similaire chez les patients et chez les participants contrôle.
Denis, M., Ricalens, K., Baudouin, V., & Nespoulous, J.-L. (2006). Deficits in the spatial discourse of Alzheimer patients. In M. Hickmann & S. Robert (Eds.), Space in languages: Linguistic systems and cognitive categories (pp. 303-317). Amsterdam: John Benjamins.
2.9. Etude des dysfonctionnements de la cognition spatiale (patients schizophrènes)
Dans une collaboration avec P. Boyer, à l’Hôpital de la Salpêtrière, nous avons testé, dans une population de patients schizophrènes, différentes manifestations des perturbations de la cognition spatiale. Les patients, ainsi que les participants témoins, étaient invités à se déplacer le long d’un trajet dans l’enceinte de l’hôpital. Ils devaient ensuite exécuter quatre tâches: rappel verbal, rappel dessiné, reconnaissance de scènes rencontrées pendant le trajet, identification de l’ordre dans lequel ces scènes avaient été rencontrées. Les résultats font apparaître la faible présence des repères visuels dans les descriptions verbales des patients. En matière de reconnaissance de scènes visuelles, le taux de reconnaissance n’est pas différent chez les patients par comparaison avec les témoins, mais la reconnaissance de l’ordre temporel des scènes est spécialement affectée chez eux. Ces résultats sont mis en relation avec les hypothèses actuelles relatives aux déficits hippocampiques dont souffrent les patients schizophrènes. Ce travail a fait l’objet de la thèse de C. Morès (thèse soutenue en 2006), avec la participation de M.-P. Daniel et L. Carité et le soutien partiel du STREP « Wayfinding ».
Daniel, M.-P., Mores Dibo-Cohen, C., Carité, L., Boyer, P., & Denis, M. (2007). Dysfunctions of spatial cognition in schizophrenic patients. Spatial Cognition and Computation, 7, 287-309.
2.10. Descriptions verbales et descriptions graphiques d’itinéraires: Analyse des processus cognitifs et modélisation informatique
La thèse d’E. Przytula-Machrouh, menée grâce à une allocation du Programme Cognitique et en co-encadrement avec G. Ligozat (Groupe Langage et Cognition, puis Langues, Information et Représentations), a été soutenue en 2004. La recherche était centrée sur la question des relations entre le langage et la cognition spatiale, abordées dans une perspective pluridisciplinaire associant la psychologie cognitive et l’IA. Les expérimentations en psychologie cognitive ont consisté à collecter des descriptions d’itinéraires, à évaluer la qualité de ces descriptions en tant qu’aides au déplacement, à faire exécuter des croquis par de nouveaux participants à partir de ces descriptions et à en effectuer l’analyse. L’approche en IA a consisté à définir un langage formel pour la description des croquis, avec la perspective d’aboutir à une maquette de génération de croquis à partir de descriptions en langage naturel. L’analyse des primitives graphiques constitutives des croquis se prolonge par la recherche de leur corrélation avec les marqueurs linguistiques des descriptions spatiales. Ce travail doit contribuer à la définition d’outils informatiques permettant de modéliser la connaissance spatiale acquise à partir de messages linguistiques. Il a été soutenu par le Programme Interdisciplinaire du CNRS « Société de l’Information ».
Przytula-Machrouh, E., Ligozat, G., & Denis, M. (2004). Vers des ontologies transmodales pour la description d’itinéraires: Le concept de « scène élémentaire ». Revue Internationale de Géomatique, 14, 285-302.
3. Processus cognitifs mis en œuvre dans la mémorisation et l’utilisation de descriptions spatiales
3.1. Traitement et mémorisation de descriptions d’itinéraires
Un travail approfondi a été consacré à l’étude des mécanismes mis en œuvre dans le traitement et la mémorisation de descriptions d’itinéraires. Une thèse, conduite par G. Fernandez (allocataire DGA), a été soutenue en 2000 sur ce thème. Ce travail a consisté à demander à des participants de lire, puis de rappeler des descriptions d’itinéraires. Nous avons cherché à mettre en évidence si les différentes parties de ces descriptions suscitent des traitements différenciés. Il s’avère que les parties décrivant les repères font l’objet d’un traitement plus important (attesté par des durées de lecture plus longues) que les parties prescrivant les actions. D’autre part, alors que la description des détails visuels des repères est relativement négligée, elle favorise cependant le rappel ultérieur des repères. Enfin, les individus présentant des capacités d’imagerie visuo-spatiale élevées traitent les descriptions plus rapidement que les autres, ce qui suggère qu’ils traduisent plus facilement l’information verbale sous forme visuo-spatiale. Les étapes ultérieures de cette recherche ont consisté à comparer les effets d’une activité d’imagerie impliquant une prise de perspective en survol ou en trajet.
Denis, M., Daniel, M.-P., Fontaine, S., & Pazzaglia, F. (2001). Language, spatial cognition, and navigation. In M. Denis et al. (Eds.), Imagery, language, and visuo-spatial thinking (pp. 137-160). Hove, UK: Psychology Press.
Denis, M., & Fernandez, G. (2013). The processing of landmarks in route directions. In T. Tenbrink, J. Wiener, & C. Claramunt (Eds.), Representing space in cognition: Interrelations of behaviour, language, and formal models (pp. 42-55). Oxford, UK: Oxford University Press.
3.2. Repères et voies dans la mémorisation et l’utilisation d’instructions de déplacements
Une autre thèse DGA, soutenue en 2003 par A. Tom, dans la suite d’un travail de DEA, a porté sur la contribution respective des repères et des voies dans la représentation des environnements de déplacement. Il s’agissait de comparer l’efficacité de différents modes de description d’itinéraires, à savoir le guidage par des amers (guidage exclusivement basé sur la référence à des repères visibles de l’environnement) ou bien le guidage par spécification des chemins à suivre dans cet environnement. Des tâches saisissant deux aspects du traitement cognitif ont été proposées aux participants: extériorisation graphique de la représentation construite et exécution du trajet. L’étude a fait apparaître que l’exécution d’un trajet urbain à partir d’instructions écrites donnait lieu à moins d’erreurs et à moins d’hésitations lorsque les instructions se référaient aux repères visuels que lorsqu’elles se référaient aux voies à suivre. Cette différence n’est pas uniquement explicable par des facteurs locaux (comme la faible familiarité des noms de rues dans l’environnement exploré). Des études de mémorisation ont fait apparaître qu’un même terme (par exemple, « hôpital ») était mieux retenu lorsqu’il avait été traité comme désignant un bâtiment (l’hôpital) que lorsqu’il désignait une voie (la rue de l’Hôpital).
Tom, A., & Denis, M. (2003). Referring to landmark or street information in route directions: What difference does it make? In W. Kuhn, M. F. Worboys, & S. Timpf (Eds.), Spatial information theory: Foundations of geographic information science (Proceedings of COSIT 2003) (pp. 384-397). Berlin: Springer.
Tom, A., & Denis, M. (2004). Language and spatial cognition: Comparing the roles of landmarks and street names in route instructions. Applied Cognitive Psychology, 18, 1213-1230.
Denis, M., Michon, P.-E., & Tom, A. (2006). Assisting pedestrian wayfinding in urban settings: Why references to landmarks are crucial in direction-giving. In G. L. Allen (Ed.), Applied spatial cognition: From research to cognitive technology (pp. 25-51). Mahwah, NJ: Erlbaum.
3.3. Le rôle de la mémoire de travail visuo-spatiale dans le traitement d’instructions directionnelles
Après avoir consacré plusieurs études aux conditions cognitives du traitement d’informations signalétiques combinant des éléments verbaux et iconiques (dans le cadre des DEA de S. Fontaine et d’E. Deyzac), nous avons mis en place un programme expérimental destiné à évaluer le rôle des différentes composantes de la mémoire de travail dans le traitement d’instructions directionnelles. Ce travail a fait l’objet de la thèse d’E. Deyzac (allocataire MENRT), thèse soutenue en 2003. Il a bénéficié de la collaboration de R. H. Logie (Aberdeen), dans le cadre d’un projet Royal Society-CNRS. Dans cette recherche, nous avons mesuré l’effet de tâches secondaires faisant appel à différentes composantes de la mémoire de travail sur le traitement de descriptions spatiales. Les participants écoutaient la description d’un itinéraire combinant des noms de repères et des directions. Les résultats ont montré qu’une tâche secondaire impliquant une interférence verbale avait des effets modérés sur la mémoire des repères et des directions. En revanche, des effets différentiels ont été mis en évidence à partir de tâches secondaires faisant appel soit à la composante visuelle, soit à la composante spatiale de la mémoire de travail visuo-spatiale. Tandis que les repères et les directions subissent un effet important de l’interférence visuelle, seule la mémoire des directions subit les effets de l’interférence spatiale. Ce résultat reflète l’importance de la composante spatiale dans la mémorisation des réorientations.
Deyzac, E., Logie, R. H., & Denis, M. (2006). Visuospatial working memory and the processing of spatial descriptions. British Journal of Psychology, 97, 217-243.
3.4. Composantes visuelles des représentations mentales d’itinéraires
La représentation mentale d’un itinéraire peut être formalisée de manière abstraite comme une succession de nœuds connectés par des arcs. De nombreuses observations font apparaître l’importance prise, dans les descriptions naturelles, par la description de l’apparence visuelle de l’environnement traversé, notamment aux nœuds de réorientation. Une thèse, soutenue en 2003 par E. Manghi (allocataire du Ministère de la Recherche), a examiné le rôle des « vues locales » dans la construction et dans l’expression des représentations spatiales. A partir d’enregistrements vidéo pris le long d’un trajet, des participants étaient invités à repérer les vues qui assuraient la meilleure description de l’ensemble du trajet. De même que l’analyse des descriptions verbales permet de dégager une « description squelette » qui résume les instructions de déplacement, nous avons pu isoler les « vues » qui résument un trajet familier. La sélection de ces vues ne semble pas affectée par la verbalisation implicite accompagnant l’exécution de la tâche, car une tâche verbale concurrente ne modifie pas le résultat de la sélection.
3.5. Processus d’activation mis en œuvre pendant la lecture de textes décrivant un environnement spatial complexe
Un programme de recherche a été engagé en vue d’analyser la représentation mentale des déplacements au sein de configurations mémorisées soit à partir d’une carte, soit à partir d’une description verbale. Le paradigme de D. G. Morrow et G. H. Bower offre la possibilité d’étudier les processus d’activation différentielle (comparables aux processus de focalisation en perception visuelle) qui accompagnent la lecture de textes décrivant les déplacements d’un personnage dans un environnement spatial complexe. Les résultats confirment la plus grande accessibilité des objets situés dans les régions de l’environnement traversées par le personnage. La mise en évidence d’un gradient spatial d’accessibilité (proportionnel à la distance entre la position du personnage et les objets) reste cependant difficile. Sur ce thème, des collaborations se sont développées avec M. de Vega (La Laguna) dans le cadre d’un projet Picasso et avec M. Rinck (Dresde) dans le cadre d’un projet Procope sur les processus mis en œuvre dans l’élaboration de « modèles spatiaux de situation ». Deux expérimentations menées avec M. Rinck ont fait apparaître que si les distances euclidiennes sont bien représentées dans les images mentales, les modèles de situation semblent ne coder que des distances catégorielles (correspondant au nombre de pièces que traverse le protagoniste d’une narration, indépendamment de leur taille).
Rinck, M., & Denis, M. (2004). The metrics of spatial distance traversed during mental imagery. Journal of Experimental Psychology: Learning, Memory, and Cognition, 30, 1211-1218.
3.6. Analyse de dialogues d’aide à la navigation automobile
Une extension de nos travaux sur l’aide à l’orientation spatiale a été développée avec le Groupe Langage et Cognition (X. Briffault) et la Régie Renault (J.-F. Forzy) sur la description de trajets automobiles, dans la perspective de la mise au point de systèmes embarqués d’aide à la navigation automobile (copilotage électronique). Nous avons recueilli un corpus de dialogues de navigation entre un pilote et un copilote dans différentes conditions expérimentales (connaissance préalable ou non de l’itinéraire par le copilote; possibilité ou non d’utiliser des gestes pour compléter les verbalisations). Le travail a abouti à une typologie fine des interventions verbales des pilotes et des copilotes. Il inclut également une analyse des verbalisations pour différents niveaux d’approche des carrefours complexes.
Denis, M., & Briffault, X. (2000). Analyse des dialogues de navigation à bord d’un véhicule automobile. Le Travail Humain, 63, 59-88.
3.7. Analyse de l’efficacité des instructions directionnelles en conduite automobile
Nos travaux sur les descriptions d’itinéraires fournissent un ensemble de spécifications utilisables par les concepteurs de systèmes informatisés d’aide à la navigation. A la suite du travail sur les dialogues de navigation entre pilote et copilote, nous avons conduit une recherche sur les verbalisations survenant à l’approche des carrefours. Cette recherche, menée en coopération avec PSA Peugeot Citroën (F. Nathan), a été effectuée à bord d’un simulateur de conduite. Elle a été menée en collaboration avec X. Briffault (du Groupe Langage et Cognition), dans le cadre d’un contrat du GIS Sciences de la Cognition. Nous avons testé différentes conditions temporelles de délivrance d’annonces verbales des manœuvres à exécuter à l’approche d’une intersection complexe à double réorientation. Les mesures ont porté sur la vitesse, la pression sur le frein et sur l’embrayage, l’accélération du volant et le placement des mains sur le volant. Elles ont permis d’identifier les conditions permettant aux conducteurs d’anticiper correctement l’exécution de leurs actions.
Chalmé, S., Denis, M., Briffault, X., Gaunet, F., & Nathan, F. (2000). Aides verbales à la navigation automobile: L’impact des instructions directionnelles sur le comportement d’un pilote à l’approche de carrefours. Le Travail Humain, 63, 353-376.
3.8. Planification de parcours urbains
L’étude précédente s’est étendue sous la forme d’une thèse conduite par S. Chalmé (allocataire MENRT) sur la planification des trajets automobiles, en collaboration avec une équipe d’ergonomes et d’ingénieurs de l’INRIA (W. Visser et M. Parent), thèse soutenue en 2002. Ce travail, soutenu par un contrat du Programme Cognitique, a permis de rendre compte des activités cognitives mises en œuvre par des conducteurs lors de la planification de tâches à effectuer dans un contexte urbain. L’expérimentation s’est déroulée sur le site de la ville nouvelle de Saint-Quentin-en-Yvelines. Elle a consisté à recueillir des plans de séquentialisation d’actions tenant compte de différentes contraintes, en distinguant les réponses de conducteurs familiers ou non familiers de l’environnement étudié. Une expérience complémentaire a permis d’apprécier l’incidence de contraintes temporelles sur l’exécution de la tâche. L’analyse des données a permis de formuler des spécifications ergonomiques pour un système d’assistance à la planification de trajets.
Chalmé, S., Visser, W., & Denis, M. (2004). Cognitive effects of environmental knowledge on urban route planning strategies. In T. Rothengatter & R. D. Huguenin (Eds.), Traffic and transport psychology: Theory and application (pp. 61-71). Amsterdam: Elsevier.
3.9. Spécifications pour un système d’aide verbale au déplacement pour des piétons aveugles
Une recherche soutenue par le Programme Ville du MENRT a été consacrée à l’analyse des échanges verbaux des personnes aveugles ou mal-voyantes en matière d’itinéraires, avec pour objectif de fournir des spécifications pour un système d’aide verbale au déplacement pour des piétons aveugles dans des environnements urbains complexes. Cette recherche, à laquelle a été associée F. Gaunet, a consisté tout d’abord à recueillir et à analyser les descriptions verbales d’itinéraires produites par des personnes aveugles. Elle s’est poursuivie sous la forme d’une étude des conduites de déplacement des aveugles en ville lorsque leur sont fournis différents types de descriptions. Les données recueillies sont exploitables en vue de la création d’une maquette informatique d’aide aux déplacements en ville pour les aveugles, développée dans le cadre d’un autre projet du Département CHM du LIMSI. L’aide au déplacement de personnes aveugles a constitué également le thème d’une coopération avec l’Université de Padoue, au titre d’un projet Galilée.
3.10. Etudes sur la navigation et la représentation de l’espace en l’absence de vision
L’étude mentionnée ci-dessus (sous 1.7) a donné lieu à deux extensions dans le cadre du STREP « Wayfinding » (Union Européenne). La première étude a été menée en collaboration avec B. Katz et A. Blum. Un environnement audio virtuel a été créé, dans lequel des personnes voyantes ayant les yeux bandés se déplaçaient en utilisant un joystick. La tâche consistait à atteindre des cibles sonores distribuées dans l’espace et qui étaient activées les unes après les autres. La moitié des participants étaient équipés d’un « head tracker », qui enregistrait les mouvements de la tête accompagnant la recherche d’informations acoustiques pertinentes (en offrant des indices susceptibles de résoudre les ambiguïtés de localisation des cibles). Les parcours des participants dans l’environnement virtuel ont été reconstruits. L’analyse du nombre de cibles atteintes et de leur temps d’atteinte a révélé de grandes différences individuelles (avec, en général, de meilleures performances chez les personnes jeunes et familières des jeux vidéo). Les participants qui bénéficiaient d’indices acoustiques supplémentaires grâce à l’utilisation du « head tracker » n’ont pas eu en fait de performances sensiblement différentes des autres participants. La seconde étude, menée en collaboration avec B. Katz, A. Afonso et L. Picinali, consiste à déterminer quels sont les indices acoustiques utilisés par les personnes non voyantes pour comprendre la configuration d’un espace clos (l’intérieur d’un bâtiment). Nous avons fait explorer un tel environnement (les couloirs du LIMSI) par des personnes non voyantes munies de micros-oreilles permettant d’enregistrer en temps réel toutes les informations auditives que ces personnes recevaient en parcourant l’environnement. D’autres enregistrements ont été effectués le long du même trajet à l’aide de micros 3D. De nouveaux participants entendent ces enregistrements et doivent reconstruire l’environnement auditif virtuel à l’aide de pièces de Lego. Leurs reconstructions sont comparées à celle d’autres participants qui ont appris le même environnement au cours d’un déplacement locomoteur.
Picinali, L., Katz, B. F. G., Afonso, A., & Denis, M. (2011). Acquisition of spatial knowledge of architectural spaces via active and passive aural explorations by the blind. In Forum Acusticum 2011 (pp. 1311-1316), Aalborg, Denmark, 27 June – 1 July 2011.
Picinali, L., Afonso, A., Denis, M., & Katz, B. F. G. (2014). Exploration of architectural spaces by blind people using auditory virtual reality for the construction of spatial knowledge. International Journal of Human-Computer Studies, 72, 393-407.
3.11. Développement d’un système de guidage utilisant la réalité augmentée à destination de personnes aveugles et mal voyantes
Le LIMSI a participé au projet NAVIG, soutenu par l’ANR et la Région Midi-Pyrénées, au sein d’un consortium coordonné par l’IRIT (resp.: C. Jouffrais), impliquant également une troisième unité CNRS (le CERCO), deux compagnies industrielles (Spikenet Technology et Navocap) et l’Institut des Jeunes Aveugles de Toulouse. Le but du projet était de développer un dispositif de suppléance pour personnes aveugles ou mal voyantes dans des activités de déplacement autonome en environnement urbain. Il est attendu du système de fournir à la fois des informations proximales (permettant l’identification et la localisation d’objets rencontrés le long du trajet) et des informations sur l’itinéraire global qui doit être suivi par l’utilisateur. Un système bio-inspiré de vision artificielle (permettant de détecter des objets visuels) est couplé avec un système délivrant des informations acoustiques 3D (créant ainsi un environnement de réalité augmentée audio). Pour le LIMSI, B. Katz a apporté les compétences nécessaires en matière de génération d’événements acoustiques en présentation binaurale, tandis que M. Auvray et M. Denis ont visé à déterminer les meilleures formes d’aide verbale au déplacement des personnes aveugles, en intégrant à cette démarche les connaissances sur les mécanismes de représentation spatiale spécifiques aux personnes aveugles. Ils ont également contribué à l’évaluation ergonomique du prototype élaboré dans le cadre du projet, prototype incluant un récepteur GPS, une caméra stéréoscopique et un dispositif d’enregistrement des mouvements de la tête, ainsi qu’un microphone et des écouteurs permettant la transmission de l’information verbale et acoustique.
Katz, B. F. G., Kammoun, S., Parseihian, G., Gutierrez, O., Brilhault, A., Auvray, M., Truillet, P., Denis, M., Thorpe, S., & Jouffrais, C. (2012). NAVIG: Augmented reality guidance system for the visually impaired. Virtual Reality, 16, 253-269.
3.12. Approche développementale des processus cognitifs mis en œuvre dans la construction de représentations spatiales
Le projet SpaLife, soutenu par l’ANR et dirigé par V. Gyselinck, a associé le LIMSI à deux autres unités CNRS, l’une de Paris Descartes et l’autre de Paris VIII, avec pour objectif d’appliquer une perspective développementale à la compréhension des processus cognitifs mis en œuvre dans la construction des représentations spatiales. L’ensemble des expérimentations a sollicité la participation de jeunes enfants, de jeunes adultes et d’adultes âgés. Une question complémentaire a été celle des effets différentiels des conditions d’apprentissage (navigation, vidéo, réalité virtuelle) sur les représentations mentales d’un environnement. L’équipe du LIMSI, sous la responsabilité de M.-P. Daniel, a été en charge de deux ensembles expérimentaux. Le premier a visé à examiner si la mémoire d’un itinéraire était affectée par la densité de celui-ci en repères visuels. Nous avons recueilli des descriptions verbales et des plans effectués par des personnes qui avaient appris des trajets au sein d’environnements urbains plus ou moins riches. Il s’avère qu’un environnement plus riche donne lieu à des descriptions verbales et à des plans eux-mêmes plus riches. En outre, si la reconnaissance de scènes visuelles photographiées le long de l’itinéraire traversé est similaire pour les deux types d’environnement, l’accès à l’information temporelle attachée à ces scènes est nettement favorisé dans le cas de l’environnement visuellement le plus riche. Le second ensemble expérimental a porté sur la mémorisation de trajets explorés par navigation ou bien visualisés à partir d’une séquence vidéo. Les scores de reconnaissance sont similaires dans les deux cas, mais la reconnaissance demande plus de temps dans le cas de la séquence vidéo. Ces phénomènes sont encore accentués chez les participants les plus âgés. La mémorisation d’un environnement à partir d’une séquence vidéo s’avère bien requérir des ressources cognitives particulièrement importantes.
Denis, M., Mores, C., Gras, D., Gyselinck, V., & Daniel, M.-P. (2014). Is memory for routes enhanced by an environment’s richness in visual landmarks? Spatial Cognition and Computation, 14, 284-305.
3.13. Mise à jour de représentations spatiales construites à partir de descriptions verbales
Dans une recherche menée en collaboration avec M. Avraamides (Nicosie) et F. Pazzaglia (Padoue), soutenue par la Research Promotion Foundation de Chypre, nous avons abordé la question de la mise à jour des représentations spatiales. L’étude de ce processus requiert de demander à une personne qui a appris un environnement sous une certaine perspective d’adopter une perspective différente sur cet environnement et de porter des jugements sur les relations spatiales entre les objets de l’environnement. L’adoption de cette nouvelle perspective peut résulter soit de la rotation physique de la personne, soit d’une simulation mentale de cette rotation, ajustée ou non à la perspective d’un protagoniste présent dans la scène. Dans une série de quatre expériences, nous avons recueilli des indications du fait que la mise à jour de relations spatiales qui ont été décrites à l’aide d’une narration verbale n’est pas équivalente à celle survenant lorsque l’environnement a été expérimenté de manière perceptive. Les participants, en général, préfèrent s’appuyer sur leur représentation initiale lorsqu’ils exécutent une tâche de pointage. Lorsqu’ils consultent une représentation construite à partir d’une description verbale, ils semblent accéder essentiellement à une représentation allocentrique persistante de l’environnement mémorisé.
Avraamides, M. N., Galati, A., Pazzaglia, F., Meneghetti, C., & Denis, M. (2013). Encoding and updating spatial information presented in narratives. Quarterly Journal of Experimental Psychology, 66, 642-670.
3.14. Manipulation d’objets tridimensionnels au sein d’environnements virtuels
La recherche en interaction homme-machine met au point des dispositifs interactifs destinés à assister les opérateurs qui doivent manipuler des objets tridimensionnels dans les environnements virtuels utilisés dans l’industrie. Une limitation de ces systèmes est de se focaliser sur des manipulations de caractère générique et d’utiliser des tâches très élémentaires sans vraiment considérer les situations d’exécution dans leur complexité. Nous avons entrepris d’analyser les processus cognitifs impliqués dans des tâches d’assemblage, puis d’appliquer les résultats obtenus à la conception d’environnements virtuels tridimensionnels. L’objectif était d’identifier les stratégies cognitives mises en œuvre lorsque les objets manipulés passent de deux à trois dimensions. Le protocole expérimental a également été repris dans une version virtuelle de la même tâche, dans une étude comparant l’efficacité de plusieurs types de commande (clavier, voix, geste, voix + geste). Cette recherche a été menée par S. Abbasi (doctorant titulaire d’une bourse franco-pakistanaise), sous la forme d’une thèse soutenue en 2010, en co-encadrement avec J.-M. Burkhardt (Unité Ergonomie, Comportement et Interactions, Université René-Descartes).
Abbasi, S., Burkhardt, J.-M., & Denis, M. (2009). Spatial problem solving: Assembling three-dimensional puzzles in real and virtual environments. Fourth International Conference on Spatial Cognition, Rome, 14-18 September 2009. Cognitive Processing, 10, Supplement 2, S179-S181.
4. Structures cérébrales impliquées dans la génération de représentations visuo-spatiales
4.1. Débit sanguin cérébral et différences individuelles en imagerie visuo-spatiale
Une première recherche, menée avec V. Charlot et B. Mazoyer, à l’Hôpital d’Orsay, a consisté à identifier les variations du débit sanguin cérébral en fonction des caractéristiques individuelles d’imagerie, par l’utilisation de la tomographie par émission de simples photons (SPECT) (technique rapidement supplantée par la tomographie par émission de positons, TEP). A partir d’épreuves visuo-spatiales étalonnées, deux groupes contrastés de participants ont été constitués, l’un ayant des aptitudes très élevées, l’autre des aptitudes très faibles en imagerie visuo-spatiale. Les participants ont été soumis à une tâche de conjugaison mentale de verbes abstraits et à une tâche d’exploration mentale d’une configuration spatiale précédemment mémorisée. Les individus les plus imageants présentent une élévation sélective de l’activité du cortex sensori-moteur gauche dans la tâche verbale et du cortex temporo-occipital gauche dans la tâche d’imagerie visuelle (sans activation du cortex visuel primaire). En revanche, les individus les moins imageants présentent une augmentation globale beaucoup moins différenciée de leur activité cérébrale.
Charlot, V., Tzourio, N., Zilbovicius, M., Mazoyer, B., & Denis, M. (1992). Different mental imagery abilities result in different regional cerebral blood flow activation patterns during cognitive tasks. Neuropsychologia, 30, 565-580.
4.2. Etude en TEP des structures cérébrales mises en jeu dans la construction et dans l’exploration mentale d’images visuo-spatiales
Notre collaboration avec le Groupe d’Imagerie Neurofonctionnelle de B. Mazoyer (installé entre-temps au GIP Cyceron, à Caen) nous a permis de recueillir, à l’aide de la TEP, des données originales sur les régions cérébrales impliquées dans la représentation mentale de scènes visuelles. Les données recueillies par E. Mellet dans la cadre de sa thèse (co-dirigée avec B. Mazoyer et soutenue en 1996) attestent la mise en activité d’un réseau occipito-pariéto-frontal dans des activités d’imagerie générées à partir d’entrées uniquement verbales. La question de l’implication des aires visuelles primaires (dont l’activation n’est pas retrouvée dans nos expériences alors que d’autres auteurs en recueillent les traces) ont placé nos travaux au centre d’un débat scientifique très animé. Le séjour sabbatique de S. M. Kosslyn dans nos laboratoires a permis la mise en œuvre d’une expérimentation conjointe destinée à élucider le rôle du cortex visuel dans la génération et l’inspection d’images impliquant un degré élevé de résolution. Une tâche originale portant sur des scènes tridimensionnelles impliquant un haut degré de résolution visuelle n’a pas permis de retrouver l’activation des aires visuelles primaires prédite par le modèle de S. M. Kosslyn.
Mellet, E., Tzourio, N., Denis, M., & Mazoyer, B. (1995). A positron emission tomography study of visual and mental spatial exploration. Journal of Cognitive Neuroscience, 7, 433-445.
Mellet, E., Tzourio, N., Crivello, F., Joliot, M., Denis, M., & Mazoyer, B. (1996). Functional anatomy of spatial mental imagery generated from verbal instructions. Journal of Neuroscience, 16, 6504-6512.
Mellet, E., Tzourio, N., Denis, M., & Mazoyer, B. (1998). Cortical anatomy of mental imagery of concrete nouns based on their dictionary definition. NeuroReport, 9, 803-809.
Mellet, E., Tzourio-Mazoyer, N., Bricogne, S., Mazoyer, B., Kosslyn, S. M., & Denis, M. (2000). Functional anatomy of high-resolution visual mental imagery. Journal of Cognitive Neuroscience, 12, 98-109.
4.3. Etude en TEP des structures cérébrales mises en jeu dans la mémorisation d’environnements spatiaux et dans la simulation mentale de déplacements
Un programme d’expérimentations utilisant également la TEP a visé à identifier les mécanismes cérébraux impliqués dans la simulation mentale de déplacements dans un environnement appris par navigation ou bien à partir d’une carte. Ce programme a été soutenu par un contrat du GIS Sciences de la Cognition. Une partie des expérimentations a été menée en collaboration avec A. Berthoz (LPPA, Collège de France). La première expérience, menée par O. Ghaëm (étudiant co-encadré avec B. Mazoyer), a consisté à faire apprendre par des individus un environnement nouveau (un quartier de la ville d’Orsay) à partir d’une expérience ambulatoire. Les participants ont ensuite effectué des simulations mentales des parcours mémorisés, impliquant à la fois les composantes visuelles et kinesthésiques de l’apprentissage. L’analyse des résultats a révélé l’implication de la formation hippocampique dans la simulation mentale des déplacements. Des activations similaires ont été recueillies pendant l’exploration mentale d’une carte préalablement mémorisée du même environnement.
Ghaëm, O., Mellet, E., Crivello, F., Tzourio, N., Mazoyer, B., Berthoz, A., & Denis, M. (1997). Mental navigation along memorized routes activates the hippocampus, precuneus, and insula. NeuroReport, 8, 739-744.
Mellet, E., Bricogne, S., Tzourio-Mazoyer, N., Ghaëm, O., Petit, L., Zago, L., Etard, O., Berthoz, A., Mazoyer, B., & Denis, M. (2000). Neural correlates of topographic mental exploration: The impact of route versus survey perspective learning. NeuroImage, 12, 588-600.
4.4. Etude en TEP des structures cérébrales mises en jeu dans la mémorisation d’environnements spatiaux décrits à l’aide de textes
Une recherche a examiné l’activité cérébrale accompagnant la visualisation mentale d’environnements décrits à l’aide de textes, soit en perspective trajet, soit en perspective survol, selon la distinction introduite par B. Tversky. Ce travail a été mené dans le cadre de la thèse de S. Bricogne (allocataire Cyceron-Région, co-encadré avec N. Tzourio), soutenue en 2001. Une tâche de parcours mental entre repères d’un environnement décrit selon une perspective en survol révèle des régularités chronométriques qui attestent la présence d’une métrique dans la représentation mentale de l’environnement, en dépit du fait que la description n’incluait aucune référence métrique. Quant aux enregistrements TEP, ils font apparaître l’activité d’un réseau pariéto-frontal similaire à celui déjà mis en évidence dans les études précédentes, mais pas d’activation hippocampique. Enfin, une activation bilatérale du gyrus angulaire, dont l’activité est généralement associée à l’activité de lecture, semble refléter la nature linguistique du matériel à partir duquel l’apprentissage de l’environnement a été effectué.
Mellet, E., Bricogne, S., Crivello, F., Mazoyer, B., Denis, M., & Tzourio-Mazoyer, N. (2002). Neural basis of mental scanning of a topographic representation built from a text. Cerebral Cortex, 12, 1322-1330.
4.5. Etude en IRM fonctionnelle du rôle du cortex visuel primaire dans la génération d’images visuelles
Un programme de recherche a été développé avec D. Le Bihan (SHFJ-CEA, Hôpital d’Orsay) et S. M. Kosslyn (Harvard) sur le rôle des aires visuelles primaires dans la génération et dans l’exploration mentale d’images visuelles. Ce travail a utilisé les techniques d’imagerie par résonance magnétique (IRM) fonctionnelle. Il a été soutenu par une allocation de thèse du CEA. I. Klein, bénéficiaire de cette allocation, a été co-dirigée par D. Le Bihan. Sa thèse a été soutenue en 2003. La mise en œuvre d’un paradigme événementiel en IRM fonctionnelle a révélé une activité des aires visuelles primaires lors de la formation d’images mentales de résolution spatiale élevée. Une étude sur l’organisation rétinotopique des images visuelles a été menée, avec la participation de S. M. Kosslyn. Elle a fait apparaître l’étroite similarité des patterns d’activation engendrés par la perception et l’imagination de segments horizontaux ou verticaux dans le cortex visuel primaire.
Klein, I., Dubois, J., Mangin, J.-F., Kherif, F., Flandin, G., Poline, J.-B., Denis, M., Kosslyn, S. M., & Le Bihan, D. (2004). Retinotopic organization of visual mental images as revealed by functional magnetic resonance imaging. Cognitive Brain Research, 22, 26-31.
4.6. Etude en IRM fonctionnelle des structures cérébrales mises en jeu dans l’exploration mentale
Dans une collaboration de recherche avec C. Thinus-Blanc et P. Péruch (Marseille), nous avons examiné l’activité cérébrale accompagnant l’exploration mentale d’environnements appris à partir d’une perspective en survol ou en trajet. Les enregistrements en IRM fonctionnelle font apparaître l’activité d’un réseau pariéto-frontal pour les deux conditions d’apprentissage, confirmant les résultats obtenus dans les travaux menés avec E. Mellet, mais avec une activité du gyrus occipital supérieur, qui était absente dans les études antérieures. En revanche, les régions temporales et pariétales font apparaître des différences entre les deux conditions. Ainsi, après un apprentissage en survol, l’exploration mentale est accompagnée d’une activité du gyrus parahippocampique, tandis qu’après un apprentissage en trajet, c’est le lobule pariétal inférieur qui est activé. Ce dernier résultat suggère que l’apprentissage à partir d’une perspective en trajet engendre des représentations qui sont traitées ensuite dans un cadre de référence centré sur le corps propre.
4.7. Etude de patients présentant un syndrome d’héminégligence spatiale
Un programme expérimental mené avec S. Della Sala et R. H. Logie (Aberdeen) a porté sur des patients présentant une héminégligence dite représentationnelle (éventuellement associée à une héminégligence en situation perceptive). Ces patients ont manifesté, pendant leur description de mémoire d’une configuration précédemment perçue, un déficit dans leur rappel des objets situés à gauche. L’originalité de l’étude a consisté à tester la mémoire des mêmes patients pour des configurations qui leur avaient été présentées sous forme uniquement verbale. Les résultats font apparaître un déficit tout à fait similaire dans le rappel des objets décrits comme se trouvant à gauche. Ce résultat suggère fortement la similarité des traitements cérébraux appliqués à des images dérivant d’une perception ou d’une description verbale. Dans une extension de cette expérience, les participants devaient effectuer le même type de rappel, mais en imaginant qu’ils voyaient les objets depuis la perspective opposée, après une rotation mentale de 180 degrés. Il s’avère que les patients héminégligents ont un rappel plus faible des objets qu’ils ont vus à gauche, mais aussi des objets qui se retrouvent à gauche après l’inversion de perspective. Ces résultats ne sont pas facilement explicables par l’hypothèse d’un déficit attentionnel chez les patients héminégligents. En revanche, ils sont compatibles avec l’hypothèse d’une perturbation des fonctions assurées par la mémoire de travail visuo-spatiale.
Denis, M., Beschin, N., Logie, R. H., & Della Sala, S. (2002). Visual perception and verbal descriptions as sources for generating mental representations: Evidence from representational neglect. Cognitive Neuropsychology, 19, 97-112.
Della Sala, S., Logie, R. H., Beschin, N., & Denis, M. (2004). Preserved visuo-spatial transformations in representational neglect. Neuropsychologia, 42, 1358-1364.
Logie, R. H., Della Sala, S., Beschin, N., & Denis, M. (2005). Dissociating mental transformations and visuo-spatial storage in working memory: Evidence from representational neglect. Memory, 13, 430-434.
