Krosmodalna wielowymiarowa analiza wzorców

Celem następnego eksperymentu jest wykorzystanie wielowymiarowej analizy wzorców danych fMRI do zbadania przetwarzania multimodalnego w ludzkim mózgu. Osiąga się to poprzez stworzenie specyficznego rodzaju bodźców sensorycznych, które są prezentowane badanym za pomocą jednej modalności sensorycznej. Na przykład bodźce wzrokowe, które sugerują silne powiązania z inną modalnością.

Na przykład, gdy badani postrzegają takie bodźce, w częściach mózgu odpowiadających za daną modalność występuje aktywność neuronalna związana z tą asocjacją. W tym przykładzie aktywność kory słuchowej jest rejestrowana za pomocą fMRI. Nagrana aktywność jest analizowana przy użyciu wielowymiarowej analizy wzorców (MVPA) w celu przewidzenia, który z kilku bodźców został postrzeżony przez badanego w oryginalnej modalności.

Wyniki pokazują, że bodźce unimodalne zawierające informacje istotne dla więcej niż jednej modalności mogą indukować specyficzną dla treści aktywność neuronalną we wczesnych korach sensorycznych innych modalności niż ta, za pośrednictwem której są prezentowane. Technika, którą przedstawiamy dzisiaj, określana jako Crossmodal multivariate pattern analysis, stanowi naturalne rozszerzenie konwencjonalnej analizy wielowymiarowych wzorców (multivariate pattern analysis), z tą różnicą, że sensoryczne STEMI są klasyfikowane pomiędzy modalnościami sensorycznymi, a nie w obrębie jednej z nich. Pomysł na tę metodę pojawił się po raz pierwszy podczas próby dostarczenia dowodów empirycznych dla ram neuroarchitektonicznych wprowadzonych przez Demio ponad dwie dekady temu.

W tym filmie przedstawimy Państwu nie tylko techniczne aspekty wielowymiarowej analizy wzorców (ang. multivariate pattern analysis, w skrócie MVPA), ale także ramy teoretyczne tej metody. W pierwszej kolejności wskażemy najważniejsze różnice między MVPA a konwencjonalną jednowymiarową analizą fMRI. Proszę rozważyć następujące kwestie.

Na przykład, jeśli badanemu zaprezentowano dwa różne bodźce wzrokowe, takie jak jabłko i pomarańcza, to oba bodźce uśrednione z wielu prób indukują specyficzny wzorzec aktywności neuronalnej w pierwotnej korze wzrokowej, symbolizowanej tutaj przez poziomy aktywacji sześciu hipotetycznych wokseli. W konwencjonalnej analizie fMRI istnieją w zasadzie dwie metody analizy tych wzorców.

Pierwsza metoda polega na porównaniu średniego poziomu aktywności wywołanej przez bodźce w całym obszarze zainteresowania. Różnica między średnimi może być jednak nieistotna. Druga metoda polega na ustaleniu kontrastu odejmowania dla każdego woksela.

Poziom aktywacji podczas warunku z jabłkiem jest odejmowany od poziomu aktywacji podczas warunku z pomarańczą, a wynikająca z tego różnica dla każdego woksela może zostać zwizualizowana na obrazie kontrastowym całego mózgu. Ponownie jednak różnice te mogą być niewielkie i mogą osiągnąć wymagane kryterium statystyczne tylko dla kilku wokseli. Jednak w przeciwieństwie do jednowymiarowych metod analizy, MVPA jest w stanie wykryć wzorce w obrębie wokseli, uwzględniając poziomy aktywacji wszystkich wokseli jednocześnie.

Choć tylko niewielka część różnic w aktywacji może być istotna w izolacji, dwa wzorce rozpatrywane jako całość mogą rzeczywiście różnić się statystycznie. Kolejną istotną różnicą między konwencjonalną analizą FMRI a MVPA jest fakt, że ta druga metoda wykorzystuje tzw. wnioskowanie odwrotne. W konwencjonalnej analizie FMRI badacz zazwyczaj stawia pytanie typu: czy dwa różne bodźce wzrokowe.

Na przykład obraz twarzy oraz obraz domu prowadzą do różnych poziomów aktywności w konkretnym obszarze zainteresowania, takim jak obszar twarzy w zakręcie wrzecionowatym. Z kolei MVPA jest zazwyczaj wyrażane w kategoriach wnioskowania wstecznego lub dekodowania i stawia pytanie, czy na podstawie wzorca aktywności neuronalnej w konkretnym regionie mózgu będziemy w stanie przewidzieć, który z dwóch bodźców wzrokowych został odebrany przez badanego. Należy jednak zauważyć, że z punktu widzenia statystycznego stwierdzenie, że dwa bodźce prowadzą do odrębnych wzorców aktywności w danym regionie mózgu, jest równoznaczne z twierdzeniem, że wzorzec aktywności w tym regionie mózgu pozwala na przewidzenie bodźca indukującego.

Innymi słowy, czułość MVPA jest wyższa niż w przypadku analiz jednowymiarowych, ponieważ uwzględnia ona jednocześnie kilka wokseli, a nie dlatego, że przebiega w przeciwnym kierunku. Wracając do wcześniejszego przykładu, rozważmy typowy paradygmat MVPA, który ocenia, czy widok jabłka wywołuje w pierwotnej korze wzrokowej inny wzorzec aktywności neuronalnej niż widok pomarańczy. W pierwszym kroku rejestrowane są dane fMRI podczas gdy badany ogląda dużą liczbę bodźców, które mają zostać rozróżnione.

Pozyskane dane są następnie podzielone na zbiór treningowy i zbiór testowy. Dane ze zbioru treningowego są wprowadzane do klasyfikatora wzorców, który próbuje wykryć cechy w wzorcach neuronalnych odróżniające od siebie dwa rodzaje prób. Następnie klasyfikator otrzymuje nieoznaczone dane ze zbioru testowego i na podstawie wzorców wykrytych w zbiorze treningowym przypisuje najbardziej prawdopodobną etykietę do każdej z prób testowych dla każdego bodźca.

Następnie wynik klasyfikatora jest porównywany z poprawną etykietą bodźca, a wydajność klasyfikatora jest obliczana jako procent poprawnych prób. Jak widzieliśmy, klasyfikator w przykładzie poprawnie zidentyfikował etykiety bodźców w dziewięciu z 12 przypadków, co daje 75%. W przypadku dyskryminacji dwukierunkowej wynik losowy wynosiłby 50%. Sugeruje to, że w obszarze V1 istnieją rzeczywiście spójne różnice między wzorcami neuronalnymi indukowanymi przez bodźce w postaci pomarańczy i jabłka.

Oczywiście znaczenie tego wyniku musiałoby zostać udowodnione statystycznie. Ważną kwestią, o której należy pamiętać w takim eksperymencie klasyfikacyjnym, jest to, aby zbiory danych treningowych i testowych były całkowicie od siebie niezależne, ponieważ tylko w takim przypadku można wyciągnąć wnioski co do uogólnialności wzorców wyuczonych podczas sesji treningowej. Z tego powodu w paradygmatach MVPA często stosuje się tak zwaną walidację krzyżową.

Choć procedura ta służy maksymalizacji liczby prób treningowych i testowych, które można uzyskać z danego zestawu danych, zapewnia ona jednocześnie, że zbiory treningowe i testowe nie pokrywają się podczas poszczególnych etapów klasyfikacji. Rozważmy następujący eksperyment MVPA z ośmioma przebiegami funkcjonalnymi. W pierwszym kroku walidacji krzyżowej klasyfikator jest trenowany na danych z przebiegów od pierwszego do siódmego, a następnie testowany na danych z ósmego przebiegu.

W drugim kroku klasyfikator jest trenowany na seriach od pierwszej do szóstej oraz na serii ósmej, a następnie testowany na serii siódmej. Zgodnie z tym schematem przeprowadza się osiem kroków walidacji krzyżowej, w których każda seria służy dokładnie raz jako seria testowa. Po uzyskaniu wyników działania klasyfikatora dla każdego kroku walidacji krzyżowej, wyciągnięcie z nich średniej pozwala określić ogólną wydajność.

W internecie dostępne są bezpłatne pakiety oprogramowania do przeprowadzania analizy MVPA, takie jak pi MVPA oraz zestaw narzędzi oferowany przez Princeton Neuroscience Institute. Paradygmaty eksperymentalne, takie jak opisany powyżej, były z sukcesem wykorzystywane do przewidywania bodźców percepcyjnych na podstawie aktywności neuronalnej w odpowiadających im obszarach kory mózgowej, na przykład w celu przewidzenia bodźców wzrokowych na podstawie aktywności w korze wzrokowej lub bodźców słuchowych na podstawie aktywności w korze słuchowej. Chcielibyśmy teraz przedstawić rozszerzenie tej podstawowej koncepcji, w której bodźce percepcyjne są przewidywane nie tylko w obrębie jednej, ale pomiędzy różnymi modalnościami.

Nasza koncepcja opiera się na fakcie, że percepcja jest ściśle powiązana z przywoływaniem wspomnień. Przykładem może być bodziec wizualny o silnej konotacji słuchowej, taki jak widok rozbijającego się o ziemię dna szklanki. Wywoła on w naszej wyobraźni słuchowej automatycznie obraz dźwiękowy, który wykazuje podobieństwo do obrazów słuchowych doświadczonych podczas poprzednich spotkań z tłuczonym szkłem.

Zgodnie z koncepcją wprowadzoną przez Theo pod koniec lat 80. XX wieku, asocjacja pamięciowa pomiędzy miejscem uderzenia w podstawę a odpowiadającym mu dźwiękiem jest przechowywana w tak zwanych strefach konwergencji i dywergencji, w skrócie CD. Strefy konwergencji i dywergencji są konceptualizowane jako zespoły neuronów zlokalizowane na różnych poziomach hierarchicznych systemów sensorycznych. Jak wynika z ich nazwy.

CD na każdym poziomie otrzymują zbieżne projekcje wznoszące (bottom-up) z kory niższych rzędów. Z kolei przesyłają one rozbieżne projekcje zstępujące (top-down) z powrotem do tych samych obszarów kory niższych rzędów. Dzięki zbieżnym projekcjom wznoszącym CD mogą być aktywowane przez reprezentacje percepcyjne w wielu modalnościach, na przykład zarówno przez widok, jak i dźwięk rozbijającej się wazy, co wynika z rozbieżnych projekcji zstępujących.

Mogą one następnie promować rekonstrukcję powiązanych obrazów poprzez przesyłanie sygnałów zwrotnych do wczesnych kory sensorycznych innych modalności. Rozważmy sekwencję aktywacji, jaką zgodnie z tym schematem wywoła bodziec czysto wizualny, lecz sugerujący dźwięk. Bodziec ten indukuje najpierw specyficzny wzorzec aktywności neuronalnej we wczesnych korach wizualnych poprzez zbieżne projekcje typu bottom-up.

Wczesne kory wzrokowe aktywują pierwszy poziom CD, czyli jednostki CDZ1. W zależności od dokładnego wzorca aktywności w odpowiadającym im wczesnym sektorze korowym, CDZ1 może zostać aktywowana lub pozostać nieaktywna. Jednostki CDZ1 rzutują w górę do jednostek CDZ2, podobnie jak wykryły to jednostki CDZ1.

Wzorce aktywności w wczesnych korach wzrokowych, cdz twos wykrywają wzorce aktywności wśród cdz ones, kilka jednostek cdz twos może zostać aktywowanych, lecz dla uproszczenia przedstawiono tutaj tylko jedną za pomocą projekcji zstępujących. Jednostki cdz ones mogą jednocześnie uzupełniać wzorzec aktywności we wczesnych korach wzrokowych poprzez kilka dodatkowych poziomów c DZs CDZ twos. Jednostki twos rzutują dalej do CDZ ends w multimodalnych korach asocjacyjnych.

Ponownie, aktywowanych może zostać wiele końcówek CDZ, jednak dla uproszczenia przedstawiono tylko jedną. Ponownie, drugorzędowe CDZ sygnalizują wstecz do pierwszorzędowych CDZ, które z kolei mogą dalej modyfikować wzorzec pierwotnie indukowany w wczesnych korach wzrokowych. Końcówki CDZ przesyłają sygnały zwrotne do drugorzędowych CZ wszystkich modalności.

W korze słuchowej zostanie zbudowany wzorzec neuronalny, który pozwoli badanemu doświadczyć w „umyśle słyszącym” obrazu słuchowego powiązanego z bodźcem przedstawionym wizualnie. Przedstawione sygnałowanie odgórne do modalności somatosensorycznej odzwierciedla fakt, że niemal każdy bodziec wizualny wiąże się również z pewnymi asocjacjami dotykowymi. Zatem przyjęte ramy teoretyczne przewidują, że dźwięk sugerujący bodziec wizualny doprowadzi do powstania specyficznego dla treści wzorca aktywności neuronalnej.

W początkowych obszarach kory słuchowej. Analiza tego wzorca neuronalnego za pomocą MVPA powinna zatem umożliwić przewidzenie, który z kilku sugerujących dźwięk bodźców wizualnych został dostrzeżony przez badanego. W pierwszym eksperymencie rejestrowano aktywność neuronalną z początkowych obszarów kory słuchowej podczas oglądania przez badanych dziewięciu różnych klipów wideo przedstawiających obiekty i zdarzenia sugerujące dźwięk.

Obszarem zainteresowania w tym eksperymencie był ograniczony obszar na płaszczyźnie Semala, obejmujący pierwotną korę słuchową oraz bardzo wczesne kory asocjacyjne słuchowe. W drugim eksperymencie aktywność neuronalną rejestrowano z pierwotnej kory somatosensorycznej podczas gdy badani oglądali pięć różnych klipów wideo sugerujących dotyk. W tym eksperymencie obszar zainteresowania obejmował pierwotną korę somatosensoryczną zlokalizowaną w zakręcie sięciemowym.

W obu badaniach w części słuchowej uczestniczyło ośmioro ochotników. Klasyfikator MVPA osiągnął wyniki powyżej poziomu przypadkowego wynoszącego 50% dla wszystkich możliwych dwukierunkowych rozróżnień między parami bodźców. W 26 z 36 rozróżnień wydajność klasyfikatora różniła się istotnie od poziomu przypadkowego wynoszącego 0,5.

Podobnie w badaniu somatosensorycznym klasyfikator uzyskał wynik powyżej poziomu przypadku we wszystkich rozróżnieniach dwukierunkowych, a osiem z 10 rozróżnień osiągnęło istotność statystyczną. Jak widać, stosując wielowymiarową analizę wzorców międzymodalnych, udało nam się wykazać, że percepcja bodźców wizualnych sugerujących dźwięk lub dotyk prowadzi do specyficznych dla treści reprezentacji neuronalnych w wczesnych korach słuchowej i somatosensorycznej, zgodnie z wcześniej przedstawionymi ramami teoretycznymi. Ewidentnie zaprezentowany przez nas paradygmat eksperymentalny nie musi ograniczać się do modalności wykorzystanych w naszych badaniach, lecz może zostać rozszerzony również o inne modalności sensoryczne.

Mamy zatem nadzieję, że inne grupy dołączą do nas w rozszerzaniu tego rodzaju badań w próbie pogłębienia naszej wiedzy na temat tego, w jaki sposób procesy te integrują multimodalne bodźce z otoczenia.