Cross-Modale Multivariate Pattern Analysis

Het doel van het volgende experiment is om multivariante patroonanalyse van functionele MRI-gegevens te gebruiken om multimodale verwerking in het menselijk brein te onderzoeken. Dit wordt bereikt door eerst een specifiek type sensorische stimuli te creëren, die aan de proefpersonen via één enkele sensorische modaliteit worden gepresenteerd. Bijvoorbeeld de visuele modaliteit, die echter sterke associaties in een andere modaliteit oproept.

Bijvoorbeeld, wanneer de proefpersonen dergelijke stimuli waarnemen, wordt de neurale activiteit in de hersendelen gemeten die betrekking hebben op de modaliteit van de associatie. De auditieve cortex wordt in dit voorbeeld geregistreerd met behulp van fMRI. De geregistreerde activiteit wordt geanalyseerd met multivariate patroonanalyse met als doel te voorspellen welke van de verschillende stimuli de proefpersoon in de oorspronkelijke modaliteit heeft waargenomen.

De resultaten tonen aan dat unimodale stimuli die informatie bevatten die relevant is voor meer dan één modaliteit, contentspecifieke neurale activiteit kunnen opwekken in de vroege sensorische cortices van modaliteiten andere dan degene waardoor ze worden gepresenteerd. De techniek die we vandaag introduceren, die we Crossmodale multivariate patroonanalyse noemen, vormt een natuurlijke uitbreiding van de conventionele multivariate patroonanalyse, met als verschil dat sensorische STEMI's over verschillende sensorische modaliteiten heen worden geclassificeerd in plaats van binnen één modaliteit. We kregen voor het eerst het idee voor deze methode bij de poging om empirisch bewijs te leveren voor een neuroarchitecturaal raamwerk dat meer dan twee decennia geleden door Demio werd geïntroduceerd.

In deze video introduceren we u niet alleen in de technische aspecten van multivariate patroonanalyse, afgekort als MVPA, maar ook in het theoretische kader hiervan. We zullen eerst enkele belangrijke verschillen aanstippen tussen MVPA en conventionele univariaate fMRI-analyse. Neem het volgende in overweging.

Bijvoorbeeld, wanneer een proefpersoon wordt blootgesteld aan twee verschillende visuele stimuli, zoals een appel en een sinaasappel, dan wekken beide stimuli, gemiddeld over een aantal trials, een specifiek patroon van neurale activiteit op. In de primaire visuele cortex wordt dit hier gesymboliseerd door de activatieniveaus van zes hypothetische voxels. In conventionele fMRI-analyse zijn er in essentie twee methoden om deze patronen te analyseren.

De eerste methode is om het gemiddelde activiteitsniveau dat door de stimuli werd opgewekt in de gehele regio van interesse te vergelijken. Het verschil tussen de gemiddelden is echter mogelijk niet significant. De tweede methode is om een subtractiecontrast vast te stellen voor elke voxel.

Het activatieniveau tijdens de appelconditie wordt afgetrokken van het activatieniveau tijdens de sinaasappelconditie, en het resulterende verschil voor elke voxel kan worden gevisualiseerd op een contrastbeeld van de gehele hersenen. Deze verschillen kunnen echter wederom gering zijn en mogelijk slechts voor een klein aantal voxels aan het vereiste statistische criterium voldoen. In tegenstelling tot univariaate analysemethoden is MVPA echter in staat om patronen binnen voxels te detecteren door de activatieniveaus van alle voxels gelijktijdig te beschouwen.

Hoewel slechts enkele van de verschillen in activatie op zichzelf significant kunnen zijn, kunnen de twee patronen, wanneer ze in hun geheel worden beschouwd, inderdaad statistisch verschillend zijn. Een ander belangrijk verschil tussen conventionele fMRI-analyse en MVPA is dat de laatste methode gebruikmaakt van wat omgekeerde inferentie wordt genoemd. Bij conventionele fMRI-analyse stelt de onderzoeker doorgaans een vraag van het type of twee verschillende visuele stimuli.

Zo leiden bijvoorbeeld de afbeelding van een gezicht en de afbeelding van een huis tot verschillende activiteitsniveaus in een specifiek interessegebied, zoals het fusiform face area. In tegenstelling hiermee wordt MVPA doorgaans uitgedrukt in termen van reverse inference of decoding, waarbij de vraag is of we, op basis van het patroon van neurale activiteit in een specifiek hersengebied, kunnen voorspellen welke van de twee visuele stimuli een proefpersoon heeft waargenomen. Het is echter belangrijk op te merken dat het vanuit statistisch oogpunt equivalent is om te stellen dat twee stimuli leiden tot verschillende activiteitspatronen in een bepaald hersengebied, en te stellen dat het activiteitspatroon in dat hersengebied voorspelling van de inducerende stimulus mogelijk maakt.

Met andere woorden is de sensitiviteit van MVPA superieur aan die van univariaate analyses omdat het meerdere voxels gelijktijdig beschouwt, en niet omdat het in een tegengestelde richting procedeert. Om terug te keren naar het eerdere voorbeeld, beschouwen we een typisch MVPA-paradigma dat beoordeelt of het zien van een appel een ander patroon van neurale activiteit in de primaire visuele cortex induceert dan het zien van een sinaasappel. In een eerste stap worden fMRI-gegevens geregistreerd terwijl een proefpersoon een groot aantal van de te onderscheiden stimuli ziet.

De verkregen gegevens worden vervolgens verdeeld in een trainingsdataset en een testdataset. De gegevens uit de trainingsset worden ingevoerd in een patroonclassificator, die probeert kenmerken in de neurale patronen te detecteren die de twee typen trials van elkaar onderscheiden. Vervolgens krijgt de classificator niet-gelabelde gegevens uit de testset gepresenteerd en kent deze, op basis van de patronen die in de trainingsdataset zijn gedetecteerd, het meest waarschijnlijke label toe aan elke testtrial voor elke stimulus.

De schatting van de classifier wordt vervolgens vergeleken met het juiste stimuluslabel en de prestatie van de classifier wordt berekend als het percentage correcte schattingen. Zoals we hebben gezien, heeft de classifier in het voorbeeld de juiste stimuluslabels in negen van de 12 gevallen correct geïdentificeerd, oftewel 75%. Bij een dergelijke tweewegdiscriminatie zou de kansprestatie 50% zijn. Dit suggereert dat er inderdaad consistente verschillen zijn tussen de neurale patronen die in V1 worden opgewekt door de stimuli van de sinaasappel en de appel.

Natuurlijk zou de significantie van dit resultaat statistisch moeten worden bewezen. Een belangrijk aandachtspunt bij een dergelijk classificatie-experiment is dat de trainings- en testdatasets volledig onafhankelijk van elkaar moeten zijn, omdat alleen dan conclusies kunnen worden getrokken over de generaliseerbaarheid van de patronen die tijdens de trainingssessie zijn aangeleerd. Om deze reden maken MVPA-paradigma's vaak gebruik van een zogenaamd cross-validatieparadigma.

Hoewel deze procedure dient om het aantal trainings- en testruns dat uit een gegeven dataset kan worden gehaald te maximaliseren, zorgt het er tegelijkertijd voor dat de trainings- en testsets niet overlappen tijdens de individuele classificatiestappen. Beschouw het volgende MVPA-experiment met acht functionele runs. In een eerste cross-validatiestap wordt de classifier getraind op de gegevens van run één tot en met zeven en getest op de gegevens van run acht.

In de tweede stap wordt de classificeerder vervolgens getraind op runs één tot en met zes en op run acht, en daarna getest op run zeven. Volgens dit schema worden er acht stappen van kruisvalidatie uitgevoerd, waarbij elke run precies één keer als testrun dient. Zodra de prestaties van de classificeerder voor elke kruisvalidatiestap zijn verkregen, levert het middelen van deze resultaten de algehele prestatie op.

Er zijn gratis beschikbare softwarepakketten op het internet om MVPA uit te voeren, zoals pi MVPA en de toolbox die wordt aangeboden door het Princeton Neuroscience Institute. Experimentele paradigma's zoals het zojuist beschreven, zijn succesvol gebruikt om perceptuele stimuli te voorspellen vanuit neurale activiteit in de overeenkomstige delen van de cerebrale cortex, bijvoorbeeld om visuele stimuli te voorspellen op basis van de activiteit in de visuele cortices of auditieve stimuli op basis van de activiteit in de auditieve cortices. Op basis hiervan willen we nu een uitbreiding van dit basisidee introduceren waarbij perceptuele stimuli niet alleen binnen, maar ook over modaliteiten heen worden voorspeld.

Ons idee is gebaseerd op het feit dat perceptie nauw verbonden is met het ophalen van herinneringen. Neem bijvoorbeeld een visuele stimulus met een sterke auditieve implicatie, zoals het zicht van de bodem van een glas dat op de grond versplintert. Dit zal in ons geestelijk gehoor automatisch een auditief beeld oproepen dat overeenkomsten vertoont met de auditieve beelden die we hebben ervaren bij eerdere ontmoetingen met brekend glas.

Volgens een raamwerk dat eind jaren 80 door Theo werd geïntroduceerd, wordt de geheugenassociatie tussen de plek van de slaande basis en het overeenkomstige geluid opgeslagen in zogenaamde convergentie-divergentiezones, afgekort als CD-zones. Convergentie-divergentiezones worden geconceptualiseerd als ensembles van neuronen die zich bevinden op de verschillende hiërarchische niveaus van de sensorische systemen. Zoals hun naam al suggereert.

CD's op elk niveau ontvangen convergente bottom-up projecties van lagere-orde cortices en sturen vervolgens divergente top-down projecties terug naar dezezelfde lagere-orde cortices. Dankzij de convergente bottom-up projecties kunnen CD's worden geactiveerd door perceptuele representaties in meerdere modaliteiten, bijvoorbeeld zowel door het zicht als het geluid van een brekende vaas, dankzij de divergente top-down projecties.

Zij kunnen vervolgens de reconstructie van geassocieerde beelden bevorderen door signalen terug te sturen naar de vroege sensorische cortices van aanvullende modaliteiten. Beschouw de sequentie van activatie die een puur visuele, maar geluidsimplicerende stimulus volgens dit raamwerk zal induceren. De stimulus induceert eerst een specifiek patroon van neurale activiteit in de vroege visuele cortices via convergente bottom-up projecties.

De vroege visuele cortices activeren het eerste niveau van CD's, de CDZ-eenheden. Afhankelijk van het exacte activiteitspatroon in de overeenkomstige vroege corticale sector, kan een CDZ geactiveerd worden of inactief blijven. CDZ-eenheden projecteren naar boven naar CDZ-tweeën, net zoals CDZ-eenheden dat detecteerden.

Activiteitspatronen in de vroege visuele cortexen; CDZ twos detecteren patronen van activiteit tussen CDZ ones; meerdere CDZ twos kunnen worden geactiveerd, maar voor de eenvoud is hier slechts één afgebeeld via top-down projecties. CDZ ones kunnen tegelijkertijd het activiteitspatroon in de vroege visuele cortexen completeren via verschillende aanvullende niveaus van CDZ twos. Twos projecteren voorwaarts naar CDZ ends in multimodale associatiecortexen.

Opnieuw kunnen meerdere CDZ-einden worden geactiveerd, maar omwille van de eenvoud is er slechts één afgebeeld. Eveneens signaleren CD Z twos ook terug naar CDZ ones, die op hun beurt het patroon dat oorspronkelijk in de vroege visuele cortex was geïnduceerd, verder kunnen aanpassen. De CDZ-einden signaleren terug naar de CZ twos van alle modaliteiten.

In de auditieve cortices zal een neuraal patroon worden gevormd, waardoor het subject in het geestesoor een auditief beeld kan ervaren dat geassocieerd is met de visueel gepresenteerde stimulus. De weergegeven top-down signalering naar de somatosensorische modaliteit weerspiegelt het feit dat vrijwel elke visuele stimulus ook tactiele associaties oproept. Het theoretische kader voorspelt dus dat een geluid dat een visuele stimulus suggereert, zou leiden tot een contentspecifiek patroon van neurale activiteit.

In de vroege auditieve cortices. Door dit neurale patroon te analyseren met behulp van MVPA, zou het daarom mogelijk moeten zijn om te voorspellen welke van verschillende geluidsimplicerende visuele stimuli een proefpersoon heeft gezien. In het eerste experiment werd de neurale activiteit in de vroege auditieve cortices geregistreerd terwijl proefpersonen negen verschillende videoclips bekeken van objecten en gebeurtenissen die geluid impliceerden.

Het interessegebied in dit experiment was een beperkt gebied op het Semal-vlak, dat bestond uit de primaire auditieve cortex en zeer vroege auditieve associatiecortices. In een tweede experiment werd de neurale activiteit geregistreerd vanuit de primaire somatosensorische cortex terwijl proefpersonen vijf verschillende videoclips bekeken die aanraking suggereerden. In dit experiment bestond het interessegebied uit de primaire somatosensorische cortex gelegen in de gyrus postcentralis.

Beide studies omvatten acht proefpersonen in de auditieve studie. Een MVPA-classifier presteerde boven het kansniveau van 50% voor alle mogelijke tweeweg-discriminaties tussen paren stimuli. In 26 van de 36 discriminaties was de prestatie van de classifier significant verschillend van het kansniveau van 0,5.

Hetzelfde gold voor de somatosensorische studie: de classifier presteerde boven het toevalsniveau bij alle tweeweg-discriminaties, en acht van de 10 discriminaties waren statistisch significant. Zoals u kunt zien, zijn we via crossmodale multivariate patroonanalyse in staat geweest aan te tonen dat de perceptie van visuele stimuli die geluid of aanraking impliceren, leidt tot contentspecifieke neurale representaties in de vroege auditieve en somatosensorische cortices, in overeenstemming met het eerder geïntroduceerde theoretische kader. Het is duidelijk dat het door ons gepresenteerde experimentele paradigma niet beperkt hoeft te blijven tot de modaliteiten die in onze eigen experimenten betrokken waren, maar ook kan worden uitgebreid naar andere sensorische modaliteiten.

We hopen daarom dat andere groepen zich bij ons zullen aansluiten om dit soort onderzoek uit te breiden, in een poging onze kennis te verbreden over hoe processen multimodale stimuli uit de omgeving integreren.