Cross-Modal Multivariate Pattern Analysis

Das Ziel des folgenden Experiments besteht darin, mit Hilfe der multivariaten Musterauswertung funktioneller MRT-Daten multimodale Verarbeitungsvorgänge im menschlichen Gehirn zu untersuchen. Dies wird erreicht, indem zunächst eine bestimmte Art sensorischer Reize erzeugt wird, die den Probanden über eine einzelne Sinnesmodalität präsentiert werden. Beispielsweise visuelle Reize, die jedoch starke Assoziationen in einer anderen Modalität hervorrufen.

Beispielsweise wird die auditorische neuronale Aktivität in den Bereichen des Gehirns, die der Modalität der Assoziation zugeordnet sind, erfasst, während die Probanden solche Reize wahrnehmen. Die auditorischen Kortices werden in diesem Beispiel mittels fMRT aufgezeichnet. Die aufgezeichnete Aktivität wird mithilfe der multivariaten Musterauswertung analysiert, um vorherzusagen, welchen der mehreren Reize der Proband in der ursprünglichen Modalität wahrgenommen hat.

Die Ergebnisse zeigen, dass unimodale Reize, die Informationen enthalten, die für mehr als eine Modalität relevant sind, modalitätsspezifische neuronale Aktivität in den frühen sensorischen Kortizes von Modalitäten auslösen können, die nicht diejenige sind, über die sie präsentiert werden. Die heute vorgestellte Technik, die wir als „Crossmodale multivariate Musteranalyse“ bezeichnen, stellt eine natürliche Erweiterung der herkömmlichen multivariaten Musteranalyse dar, wobei der Unterschied darin besteht, dass sensorische STEMI über statt innerhalb sensorischer Modalitäten klassifiziert werden. Die Idee zu dieser Methode entstand ursprünglich, als wir versuchten, empirische Belege für einen neuroarchitektonischen Rahmen zu erbringen, den Demio vor mehr als zwei Jahrzehnten vorgestellt hatte.

In diesem Video stellen wir Ihnen nicht nur die technischen Aspekte der multivariaten Musterauswertung – kurz MVPA – vor, sondern auch ihren theoretischen Rahmen. Zunächst werden wir einige zentrale Unterschiede zwischen der MVPA und der herkömmlichen univariaten fMRT-Analyse herausstellen. Berücksichtigen Sie Folgendes.

Beispiel: Wenn ein Proband zwei verschiedenen visuellen Reizen wie einem Apfel und einer Orange ausgesetzt wird, dann führen beide Reize, gemittelt über eine Reihe von Durchläufen, zu einem spezifischen Muster neuronaler Aktivität. In der primären visuellen Rinde, hier dargestellt durch die Aktivierungslevel von sechs hypothetischen Voxel. Bei der konventionellen fMRT-Analyse gibt es im Wesentlichen zwei Methoden, um diese Muster zu analysieren.

Die erste Methode besteht darin, das durchschnittliche Aktivitätsniveau zu vergleichen, das die Reize in der gesamten interessierenden Region hervorgerufen haben. Der Unterschied zwischen den Durchschnittswerten ist jedoch möglicherweise nicht signifikant. Die zweite Methode besteht darin, für jeden Voxel einen Subtraktionskontrast zu erstellen.

Der Aktivierungsgrad während der Apfelbedingung wird vom Aktivierungsgrad während der Orangebedingung subtrahiert, und die sich ergebende Differenz für jeden Voxel kann auf einem Ganzhirn-Kontrastbild visualisiert werden. Diese Unterschiede können jedoch erneut gering sein und möglicherweise nur für wenige Voxel das erforderliche statistische Kriterium erreichen. Im Gegensatz zu univariaten Analysemethoden kann MVPA jedoch Muster innerhalb der Voxel erkennen, indem die Aktivierungsgrade aller Voxel gleichzeitig berücksichtigt werden.

Während nur einige der Aktivierungsunterschiede einzeln möglicherweise signifikant sind, können sich die beiden Muster in ihrer Gesamtheit tatsächlich statistisch unterscheiden. Ein weiterer wesentlicher Unterschied zwischen der herkömmlichen fMRT-Analyse und der MVPA besteht darin, dass letztere Methode auf sogenannter inverser Inferenz basiert. Bei der herkömmlichen fMRT-Analyse stellt der Forscher typischerweise eine Frage der Art, ob zwei verschiedene visuelle Reize.

Beispielsweise führen das Bild eines Gesichts und das Bild eines Hauses zu unterschiedlichen Aktivitätsniveaus in einer bestimmten interessierenden Region, wie dem fusiformen Gesichtsbereich. Im Gegensatz dazu wird MVPA typischerweise im Sinne einer inversen Schlussfolgerung oder Decodierung ausgedrückt und fragt, ausgehend vom Muster der neuronalen Aktivität in einer bestimmten Hirnregion, ob wir vorhersagen können, welches von zwei visuellen Reizen ein Proband wahrgenommen hat. Es ist jedoch wichtig anzumerken, dass es aus statistischer Sicht äquivalent ist zu sagen, dass zwei Reize zu unterschiedlichen Aktivitätsmustern in einer gegebenen Hirnregion führen, und zu sagen, dass das Aktivitätsmuster in dieser Hirnregion die Vorhersage des auslösenden Reizes ermöglicht.

Anders ausgedrückt ist die Empfindlichkeit der MVPA derjenigen univariater Analysen überlegen, weil sie mehrere Voxel gleichzeitig berücksichtigt und nicht deshalb, weil sie in umgekehrter Richtung vorgeht. Zurück zu dem früheren Beispiel: Betrachten wir ein typisches MVPA-Paradigma, das untersucht, ob das Sehen eines Apfels ein anderes Muster neuronaler Aktivität im primären visuellen Kortex hervorruft als das Sehen einer Orange. Im ersten Schritt werden fMRT-Daten aufgezeichnet, während ein Proband eine große Anzahl der zu unterscheidenden Reize wahrnimmt.

Die erfassten Daten werden anschließend in einen Trainingsdatensatz und einen Testdatensatz unterteilt. Die Daten aus dem Trainingssatz werden in einen Musterklassifikator eingegeben, der versucht, Merkmale in den neuronalen Mustern zu erkennen, die die beiden Versuchsarten voneinander unterscheiden. Anschließend erhält der Klassifikator unmarkierte Daten aus dem Testsatz und weist anhand der im Trainingsdatensatz erkannten Muster jeder einzelnen Testdurchführung für jeden Reiz die wahrscheinlichste Kennung zu.

Die Klassifikator-Vorhersage wird anschließend mit der korrekten Stimulusbezeichnung verglichen, und die Leistung des Klassifikators wird als Prozentsatz der korrekten Vorhersagen berechnet. Wie wir gesehen haben, lag die Übereinstimmung des Klassifikators im Beispiel bei neun von zwölf Fällen, also 75 %, verglichen mit einer Zufallsleistung von 50 % bei einer solchen Zweier-Diskriminierung. Dies deutet darauf hin, dass tatsächlich konsistente Unterschiede zwischen den durch die Orangen- und Apfelreize in V1 hervorgerufenen neuronalen Mustern bestehen.

Natürlich müsste die Bedeutung dieses Ergebnisses statistisch nachgewiesen werden. Ein wichtiges Anliegen, das bei einem solchen Klassifikationsexperiment zu beachten ist, besteht darin, dass die Trainings- und Testdatensätze vollständig voneinander unabhängig sein müssen, da nur in diesem Fall Rückschlüsse auf die Generalisierbarkeit der während der Trainingssitzung erlernten Muster gezogen werden können. Aus diesem Grund verwenden MVPA-Paradigmen häufig ein sogenanntes Kreuzvalidierungsparadigma.

Während dieses Verfahren dazu dient, die Anzahl der Trainings- und Testdurchläufe, die aus einem gegebenen Datensatz gewonnen werden können, zu maximieren, stellt es gleichzeitig sicher, dass sich die Trainings- und Testdatensätze während der einzelnen Klassifizierungsschritte nicht überlappen. Betrachten Sie das folgende MVPA-Experiment mit acht funktionellen Durchläufen. In einem ersten Schritt der Kreuzvalidierung wird der Klassifikator anhand der Daten aus den Durchläufen eins bis sieben trainiert und an den Daten des achten Durchlaufs getestet.

Im zweiten Schritt wird der Klassifikator anschließend an den Durchläufen eins bis sechs sowie an Durchlauf acht trainiert und danach an Durchlauf sieben getestet. Gemäß diesem Schema werden acht Kreuzvalidierungsschritte durchgeführt, wobei jeder Durchlauf genau einmal als Testdurchlauf dient. Sobald die Leistung des Klassifikators für jeden Kreuzvalidierungsschritt ermittelt ist, ergibt die Durchschnittsbildung dieser Ergebnisse die Gesamtleistung.

Im Internet sind kostenlos verfügbare Softwarepakete zur Durchführung von MVPA erhältlich, wie beispielsweise pi MVPA und die Toolbox des Princeton Neuroscience Institute. Experimentelle Paradigmen wie das eben beschriebene wurden erfolgreich eingesetzt, um Wahrnehmungsreize anhand der neuronalen Aktivität in den entsprechenden Bereichen der Großhirnrinde vorherzusagen, zum Beispiel visuelle Reize anhand der Aktivität in den visuellen Kortexarealen oder auditive Reize. Basierend auf der Aktivität in den auditiven Kortexarealen möchten wir nun eine Erweiterung dieser grundlegenden Idee vorstellen, bei der Wahrnehmungsreize nicht nur innerhalb, sondern auch über Modalitäten hinweg vorhergesagt werden.

Unsere Idee basiert auf der Tatsache, dass Wahrnehmung eng mit dem Abruf von Erinnerungen verknüpft ist. Ein Beispiel hierfür ist ein visueller Reiz mit starker auditiver Implikation, wie der Anblick eines Glasbodens, der auf dem Boden zerspringt. Dies löst automatisch in unserem inneren Ohr ein auditives Bild aus, das Ähnlichkeiten mit den auditiven Bildern aufweist, die wir bei früheren Begegnungen mit zerspringendem Glas erlebt haben.

Nach einem Rahmenkonzept, das Theo in den späten 1980er Jahren eingeführt hat, wird die Gedächtnisverbindung zwischen dem Ort der zerbrechenden Basis und dem entsprechenden Klang in sogenannten Konvergenz-Divergenz-Zonen oder kurz CD-Zonen gespeichert. Divergenz-Zonen werden als Ensembles von Neuronen verstanden, die sich auf den verschiedenen hierarchischen Ebenen der Sinnessysteme befinden. Wie der Name andeutet.

CDs auf jeder Ebene erhalten konvergente, aufsteigende Projektionen von tiefer gelegenen Cortexarealen und leiten ihrerseits divergente, absteigende Projektionen an dieselben tieferen Cortexareale zurück. Aufgrund der konvergenten aufsteigenden Projektionen können CDs durch wahrnehmungsbezogene Repräsentationen in mehreren Modalitäten aktiviert werden, beispielsweise sowohl durch das Sehen als auch durch das Hören eines zerspringenden Glases. Aufgrund der divergenten absteigenden Projektionen erfolgt die Rückkopplung an die untergeordneten Areale.

Anschließend können sie die Rekonstruktion assoziierter Bilder fördern, indem sie Rücksignale an die frühen sensorischen Kortizes zusätzlicher Modalitäten senden. Betrachten Sie die Aktivierungsabfolge, die ein rein visueller, aber klangimplizierender Reiz gemäß diesem Modell hervorruft. Der Reiz induziert zunächst über konvergente bottom-up-Projektionen ein spezifisches Muster neuronaler Aktivität in den frühen visuellen Kortizes.

Die frühen visuellen Kortizes aktivieren die erste Ebene der CDs, die CDZ-Einheiten. Abhängig vom genauen Aktivitätsmuster im entsprechenden frühen kortikalen Bereich kann eine CDZ aktiviert werden oder inaktiv bleiben. Die CDZ-Einheiten projizieren nach oben zu den CDZ-Zweien, so wie die CDZ-Einheiten erfasst haben.

Aktivitätsmuster in den frühen visuellen Kortizes, die von CDZ-Zweien erfassen Muster der Aktivität unter den CDZ-Einsen, können mehrere CDZ-Zweien aktivieren, wobei der Einfachheit halber hier nur einer über top-down-Projektionen dargestellt ist. Gleichzeitig können die CDZ-Einsen das Aktivitätsmuster in den frühen visuellen Kortizes über mehrere zusätzliche Ebenen von CDZs (CDZ-Zweien) vervollständigen. Die Zweien projizieren vorwärts zu den CDZ-Enden in multimodalen Assoziationskortizes.

Auch hier können mehrere CDZ-Enden aktiviert werden, aber der Einfachheit halber ist nur eines dargestellt. Auch CD Z zwei senden wiederum Signale rückwärts zu den CDZ eins, die daraufhin das ursprünglich in den frühen visuellen Kortizes induzierte Muster weiter modifizieren können. Die CDZ-Enden senden Signale zurück zu den CZ zwei aller Modalitäten.

In den auditorischen Kortizes wird ein neuronales Muster aufgebaut, das es dem Probanden ermöglicht, in seinem geistigen Ohr ein auditives Bild wahrzunehmen, das mit dem visuell präsentierten Reiz assoziiert ist. Die dargestellte top-down-Signalübertragung an die somatosensorische Modalität spiegelt die Tatsache wider, dass nahezu jeder visuelle Reiz auch einige taktile Assoziationen beinhaltet. Daher sagt das Modell voraus, dass ein Klang, der einen visuellen Reiz impliziert, zu einem inhaltsbezogenen Muster neuronaler Aktivität führen würde.

In den frühen auditorischen Kortizes. Durch die Analyse dieses neuronalen Musters mittels MVPA sollte es daher möglich sein vorherzusagen, welchen von mehreren Töne andeutenden visuellen Reizen ein Proband gesehen hat. Im ersten Experiment wurde die neuronale Aktivität aus den frühen auditorischen Kortizes aufgezeichnet, während die Probanden neun verschiedene Videoclips von Objekten und Ereignissen ansahen, die Töne implizierten.

Die Region von Interesse in diesem Experiment war ein begrenzter Bereich in der Semal-Ebene, der den primären auditorischen Kortex und sehr frühe auditorische Assoziationskortizes umfasste. In einem zweiten Experiment wurde die neuronale Aktivität aus dem primären somatosensorischen Kortex aufgezeichnet, während die Probanden fünf verschiedene Videoclips betrachteten, die Berührung andeuteten. In diesem Experiment umfasste die Region von Interesse den primären somatosensorischen Kortex, der im postzentralen Gyrus lokalisiert ist.

Beide Studien umfassten acht Probanden in der auditorischen Studie. Ein MVPA-Klassifikator erreichte bei allen möglichen zweifachen Unterscheidungen zwischen Stimuluspaaren eine Leistung über dem Zufallsniveau von 50 %. Bei 26 von 36 Unterscheidungen unterschied sich die Leistung des Klassifikators signifikant vom Zufallsniveau von 0,5.

Ebenso lag die Leistung des Klassifikators in der somatosensorischen Studie bei allen paarweisen Diskriminierungen über Zufall, und acht von zehn Diskriminierungen erreichten statistische Signifikanz. Wie Sie sehen, konnten wir mithilfe der multimodalen multivariaten Musterauswertung nachweisen, dass die Wahrnehmung visueller Reize, die Klang oder Berührung implizieren, zu inhaltsbezogenen neuronalen Repräsentationen in den frühen auditorischen und somatosensorischen Kortizes führt, was mit dem zuvor eingeführten theoretischen Rahmen übereinstimmt. Offensichtlich muss das hier vorgestellte experimentelle Paradigma nicht auf die Modalitäten unserer eigenen Experimente beschränkt bleiben, sondern kann auch auf andere Sinnesmodalitäten ausgedehnt werden.

Daher hoffen wir, dass andere Gruppen sich uns anschließen werden, um diese Art der Forschung auszuweiten und unser Wissen darüber zu erweitern, wie multimodale Reize aus der Umwelt verarbeitet werden können.