Cross-modal Pattern Analysis multivariée

L'objectif de l'expérience suivante est d'utiliser une analyse multivariée de motifs de données d'IRM fonctionnelle afin d'étudier le traitement multimodal dans le cerveau humain. Cela est réalisé en créant d'abord un type spécifique de stimuli sensoriels, qui sont présentés aux sujets par une seule modalité sensorielle. Par exemple, le visuel, mais impliquant de fortes associations dans une modalité différente.

Par exemple, l'activité neuronale dans les parties du cerveau liées à la modalité de l'association est enregistrée par IRMf pendant que les sujets perçoivent de tels stimuli auditifs. L'activité enregistrée est analysée à l'aide d'une analyse multivariée de motifs dans le but de prédire lequel parmi plusieurs stimuli le sujet a perçu dans la modalité d'origine.

Les résultats montrent que des stimuli unimodaux contenant des informations pertinentes pour plus d'une modalité peuvent induire une activité neuronale spécifique au contenu dans les corticaux sensoriels précoces de modalités autres que celle par laquelle ils sont présentés. La technique que nous présentons aujourd'hui, que nous appelons analyse multivariée de motifs croisés, constitue une extension naturelle de l'analyse multivariée de motifs classique, la différence étant que les STEMI sensoriels sont classifiés entre plutôt qu'au sein des modalités sensorielles. Nous avons eu l'idée de cette méthode en tentant de produire des preuves empiriques en faveur d'un cadre neuroarchitectural introduit par Demio il y a plus de deux décennies.

Dans cette vidéo, nous allons vous présenter non seulement les aspects techniques de l'analyse multivariée de motifs, ou MVPA pour faire court, mais aussi ce cadre théorique. Nous indiquerons d'abord quelques différences clés entre la MVPA et l'analyse FMRI univariée classique. Envisagez ce qui suit.

Par exemple, si un sujet est exposé à deux stimuli visuels différents, comme une pomme et une orange, alors que les deux stimuli sont moyennés sur un certain nombre d'essais, ils induisent un motif spécifique d'activité neuronale. Dans le cortex visuel primaire symbolisé ici par les niveaux d'activation de six voxels hypothétiques. Dans l'analyse classique de l'IRMf, il existe essentiellement deux méthodes pour analyser ces motifs.

La première consiste à comparer le niveau moyen d'activité induit par les stimuli dans toute la région d'intérêt. La différence entre les moyennes peut toutefois ne pas être significative. La deuxième méthode consiste à établir un contraste de soustraction pour chaque voxel.

Le niveau d'activation durant la condition « pomme » est soustrait du niveau d'activation durant la condition « orange », et la différence obtenue pour chaque voxel peut être visualisée sur une image de contraste cérébral complet. Là encore, toutefois, ces différences peuvent être faibles et ne satisfaire le critère statistique requis que pour quelques voxels seulement. Contrairement aux méthodes d'analyse univariées, l'analyse multivariée de patrons d'activité (MVPA) est capable de détecter des motifs au sein des voxels en prenant en compte simultanément les niveaux d'activation de l'ensemble des voxels.

Bien qu'un petit nombre seulement des différences d'activation puissent être significatives isolément, les deux patrons pris dans leur ensemble peuvent effectivement être statistiquement différents. Une autre différence majeure entre l'analyse classique de l'IRMf et l'analyse multivariée de patrons (MVPA) est que cette dernière méthode utilise ce qu'on appelle l'inférence inverse. Dans l'analyse classique de l'IRMf, le chercheur pose généralement une question du type « deux stimuli visuels différents ».

Par exemple, l'image d'un visage et l'image d'une maison entraînent des niveaux d'activité différents dans une région d'intérêt spécifique, comme la zone fusiforme des visages. En revanche, l'analyse multivariée de patrons d'activité (MVPA) s'exprime généralement en termes d'inférence inverse ou de décodage, et cherche à déterminer, à partir du patron d'activité neuronale dans une région cérébrale spécifique, si nous serons capables de prédire lequel de deux stimuli visuels un sujet a perçu. Il est toutefois important de noter que, d'un point de vue statistique, il est équivalent d'affirmer que deux stimuli conduisent à des patrons d'activité distincts dans une région cérébrale donnée et d'affirmer que le patron d'activité dans cette région cérébrale permet de prédire le stimulus induisant.

En d'autres termes, la sensibilité de l'analyse multivariée par voxel (MVPA) est supérieure à celle des analyses univariées parce qu'elle prend en compte plusieurs voxels simultanément, et non parce qu'elle procède dans une direction inverse. Pour revenir à l'exemple précédent, considérons un paradigme typique de MVPA qui évalue si la vision d'une pomme induit un motif différent d'activité neuronale dans le cortex visuel primaire par rapport à la vision d'une orange. Dans une première étape, des données IRMf sont enregistrées pendant qu'un sujet observe un grand nombre de stimuli à discriminer.

Les données acquises sont ensuite divisées en un ensemble de données d'apprentissage et un ensemble de données de test. Les données de l'ensemble d'apprentissage sont entrées dans un classificateur de motifs, qui tente de détecter des caractéristiques dans les schémas neuronaux permettant de distinguer les deux types d'essais. Ensuite, le classificateur reçoit des données non étiquetées provenant de l'ensemble de test et attribue, en se basant sur les motifs détectés dans l'ensemble de données d'apprentissage, l'étiquette la plus probable à chacun des essais de test pour chaque stimulus.

La prédiction du classificateur est ensuite comparée à l'étiquette correcte du stimulus, et la performance du classificateur est calculée comme le pourcentage de prédictions correctes. Comme nous l'avons vu, le classificateur de l'exemple a correctement identifié les étiquettes de stimulus dans neuf cas sur douze, soit 75 %, contre 50 % pour une performance au hasard dans une telle discrimination à deux choix. Cela suggère qu'il existe effectivement des différences cohérentes entre les patrons neuronaux induits dans la zone V1 par les stimuli représentant une orange et une pomme.

Bien sûr, la signification de ce résultat devrait être démontrée statistiquement. Une question importante à garder à l'esprit dans une telle expérience de classification est que les ensembles de données d'apprentissage et de test soient entièrement indépendants l'un de l'autre, car ce n'est que dans ce cas que des conclusions peuvent être tirées quant à la généralisabilité des motifs appris durant la phase d'apprentissage. Pour cette raison, les paradigmes d'analyse multivariée (MVPA) utilisent souvent un paradigme dit de validation croisée.

Bien que cette procédure permette de maximiser le nombre d'essais d'entraînement et de test pouvant être obtenus à partir d'un jeu de données donné, elle garantit également que les ensembles d'entraînement et de test ne se chevauchent pas au cours des étapes individuelles de classification. Considérons l'expérience d'analyse multivariée suivante comportant huit séries fonctionnelles. Dans une première étape de validation croisée, le classificateur est entraîné sur les données des séries une à sept et testé sur les données de la huitième série.

Dans la deuxième étape, le classificateur est ensuite entraîné sur les exécutions de un à six ainsi que sur l'exécution huit, puis testé sur l'exécution sept. Selon ce schéma, huit étapes de validation croisée sont réalisées, chaque exécution servant exactement une fois comme exécution de test. Une fois que les performances du classificateur sont obtenues pour chaque étape de validation croisée, la moyenne de ces résultats fournit la performance globale.

Des logiciels libres sont disponibles sur Internet pour effectuer une analyse multivariée des données de population (MVPA), comme pi MVPA et la boîte à outils proposée par l'Institut de neurosciences de Princeton. Des paradigmes expérimentaux tels que celui qui vient d'être décrit ont été utilisés avec succès pour prédire des stimuli perceptifs à partir de l'activité neuronale dans les régions correspondantes du cortex cérébral ; par exemple, prédire des stimuli visuels à partir de l'activité dans les cortices visuels ou des stimuli auditifs. À partir de l'activité dans les cortices auditifs, nous souhaitons maintenant présenter une extension de cette idée de base, dans laquelle les stimuli perceptifs sont prédits non seulement à l'intérieur, mais aussi entre différentes modalités.

Notre idée s'appuie sur le fait que la perception est étroitement liée au rappel des souvenirs. Par exemple, un stimulus visuel ayant une forte implication auditive, comme la vue d'une base en verre qui se brise au sol. Cela déclenche automatiquement dans notre oreille mentale une image auditive qui présente des similitudes avec les images auditives que nous avons perçues lors d'expériences antérieures de verre brisé.

Selon un cadre introduit par Theo à la fin des années 1980, l'association mnésique entre le site de la base brisée et le son correspondant est stockée dans des zones de convergence-divergence, ou CD pour convergence. Les zones de divergence sont conceptualisées comme des ensembles de neurones situés aux différents niveaux hiérarchiques des systèmes sensoriels. Comme leur nom l'indique.

Les CD à chaque niveau reçoivent des projections ascendantes convergentes provenant de corticaux de plus bas ordre et à leur tour envoient des projections descendantes divergentes vers ces mêmes corticaux de plus bas ordre. En raison des projections ascendantes convergentes, les CD peuvent être activés par des représentations perceptuelles appartenant à plusieurs modalités, par exemple à la fois par l'image et le son d'un verre qui se brise, en raison des projections descendantes divergentes.

Ils peuvent ensuite favoriser la reconstruction des images associées en envoyant des signaux de rétroaction vers les corticaux sensoriels primaires des modalités supplémentaires. Considérons la séquence d'activation qu'un stimulus purement visuel, mais suggérant un son, induira selon ce cadre théorique. Le stimulus induit d'abord un motif spécifique d'activité neuronale dans les corticaux visuels primaires par le biais de projections ascendantes convergentes.

Les corticaux visuels précoces activent le premier niveau des CD, ceux des CDZ. Selon le motif précis d'activité dans le secteur cortical correspondant, un CDZ peut être activé ou rester inactif. Les CDZ projettent vers le haut vers les cdz deux, tout comme les cdz un ont détecté.

Les schémas d'activité dans les corticaux visuels précoces, les cdz deux détectent les schémas d'activité parmi les cdz un, plusieurs cdz deux peuvent être activés, mais par souci de simplicité, un seul est représenté ici par le biais de projections descendantes. Les cdz un peuvent en même temps compléter le schéma d'activité dans les corticaux visuels précoces via plusieurs niveaux supplémentaires de c DZs CDZ deux. Les deux projettent en avant vers les extrémités CDZ dans l'association multimodale. Corticaux.

À nouveau, plusieurs extrémités CDZ peuvent être activées, mais une seule est représentée par souci de simplicité. De plus, les CDZ deux envoient également des signaux en arrière vers les CDZ un, qui peuvent à leur tour modifier davantage le motif initialement induit dans les cortics visuels précoces. Les extrémités CDZ envoient des signaux de retour vers les CZ deux de toutes les modalités.

Dans les cortèges auditifs, un modèle neuronal sera construit, ce qui permet au sujet d'expérimenter mentalement une image auditive associée au stimulus présenté visuellement. La signalisation descendante illustrée vers la modalité somesthésique reflète le fait que presque tout stimulus visuel implique également certaines associations tactiles. Ainsi, le cadre théorique prévoit qu'un son impliquant un stimulus visuel entraînerait un modèle spécifique de contenu d'activité neuronale.

Dans les cortèges auditifs précoces. En analysant ce modèle neuronal à l’aide de l’analyse multivariée de patrons (MVPA), il devrait donc être possible de prédire lequel parmi plusieurs stimuli visuels impliquant un son un sujet a vu. Dans la première expérience, l’activité neuronale a été enregistrée à partir des cortèges auditifs précoces pendant que des sujets regardaient neuf courtes vidéos différentes d’objets et d’événements suggérant un son.

La région d'intérêt dans cette expérience était une zone restreinte du plan de Semal, qui comprenait le cortex auditif primaire et les premiers cortex d'association auditive. Dans une seconde expérience, l'activité neuronale a été enregistrée à partir du cortex somesthésique primaire pendant que les sujets visionnaient cinq courtes vidéos suggérant le toucher. Dans cette expérience, la région d'intérêt comprenait le cortex somesthésique primaire situé dans le gyrus postcentral.

Les deux études comprenaient huit sujets dans l'étude auditive. Un classificateur MVPA a obtenu un résultat supérieur au niveau de chance de 50 % pour toutes les discriminations binaires possibles entre paires de stimuli. Dans 26 des 36 discriminations, la performance du classificateur différait significativement du niveau de chance de 0,5.

De même, dans l'étude somesthésique, le classificateur a obtenu des performances supérieures au hasard dans toutes les discriminations binaires, et huit des dix discriminations ont atteint une signification statistique. Comme vous pouvez le constater, en utilisant une analyse multivariée de motifs crossmodaux, nous avons pu démontrer que la perception de stimuli visuels impliquant un son ou un toucher conduit à des représentations neuronales spécifiques au contenu dans les cortèxes auditif et somesthésique précoces, conformément au cadre théorique introduit précédemment. Il est clair que le paradigme expérimental que nous avons présenté ne doit pas rester limité aux modalités impliquées dans nos propres expériences, mais peut être étendu à d'autres modalités sensorielles également.

Nous espérons donc que d'autres équipes se joindront à nous pour étendre ce type de recherche afin d'élargir nos connaissances sur la manière dont les processus intègrent des stimuli multimodaux provenant de l'environnement.