Крест-Modal Многомерный анализ Pattern

Цель следующего эксперимента — использовать многомерный анализ паттернов данных функциональной МРТ для исследования мультимодальной обработки в человеческом мозге. Это достигается путем создания специфического вида сенсорных стимулов, которые предъявляются испытуемым через одну сенсорную модальность, например, зрительную, но подразумевают сильные ассоциации в другой модальности.

Например, в то время как испытуемые воспринимают такие стимулы, фиксируется нейронная активность в областях мозга, относящихся к модальности ассоциации. В данном примере активность слуховой коры регистрируется с помощью ФМРТ. Записанная активность анализируется методом многомерного анализа паттернов с целью предсказания того, какой из нескольких стимулов испытуемый воспринял в исходной модальности.

Результаты показывают, что унимодальные стимулы, содержащие информацию, относящуюся к более чем одной модальности, могут индуцировать специфическую по содержанию нейронную активность в ранних сенсорных кортиксах модальностей, отличных от той, через которую они предъявляются. Метод, который мы представляем сегодня и называем кроссмодальным многомерным анализом паттернов, представляет собой естественное расширение традиционного многомерного анализа паттернов, с тем различием, что сенсорные STEMI классифицируются между сенсорными модальностями, а не внутри них. Идея этого метода возникла у нас при попытке получить эмпирические доказательства нейроархитектурной концепции, предложенной Demio более двух десятилетий назад.

В этом видео мы познакомим вас не только с техническими аспектами многомерного анализа паттернов (или сокращенно MVPA), но и с самой теоретической базой этого метода. Сначала мы отметим некоторые ключевые различия между MVPA и традиционным одновимерным анализом фМРТ. Рассмотрим следующее.

Например, если испытуемому предъявляются два различных визуальных стимула, таких как яблоко и апельсин, то оба стимула, усредненные по количеству проб, вызывают определенный паттерн нейронной активности. В первичной зрительной коре он представлен здесь уровнями активации шести гипотетических вокселей. В традиционном анализе ФМРТ существуют, по сути, два метода анализа таких паттернов.

Первый способ заключается в сравнении среднего уровня активности, вызванного стимулами во всей области интереса. Однако разница между средними значениями может оказаться незначимой. Второй метод предполагает создание вычитательного контраста для каждого вокселя.

Уровень активации при условии «яблоко» вычитается из уровня активации при условии «апельсин», и полученная разность для каждого вокселя может быть визуализирована на контрастном изображении всего мозга. Однако эти различия снова могут быть незначительными и достигать требуемого статистического критерия лишь для нескольких вокселей. Тем не менее, в отличие от методов одномерного анализа, MVPA позволяет обнаруживать паттерны внутри вокселей, учитывая уровни активации всех вокселей одновременно.

Хотя лишь несколько различий в активации могут быть значимыми по отдельности, две совокупности паттернов при рассмотрении в целом действительно могут статистически отличаться. Еще одним основным отличием традиционного анализа фМРТ от MVPA является то, что последний метод использует так называемый обратный вывод. В традиционном анализе фМРТ исследователь обычно задает вопрос типа «будут ли два различных визуальных стимула».

Например, изображение лица и изображение дома вызывают разные уровни активности в определенной области интереса, такой как веретенообразная извилина (fusiform face area). Напротив, MVPA обычно выражается в терминах обратного вывода или декодирования и ставит вопрос: сможем ли мы на основании паттерна нейронной активности в конкретной области мозга предсказать, какой из двух визуальных стимулов воспринимал испытуемый. Однако важно отметить, что с точки зрения статистики утверждение о том, что два стимула приводят к различным паттернам активности в данной области мозга, эквивалентно утверждению, что паттерн активности в этой области мозга позволяет предсказать вызывающий его стимул.

Другими словами, чувствительность MVPA выше, чем у одномерного анализа, поскольку она учитывает несколько вокселей одновременно, а не потому, что она осуществляется в обратном направлении. Возвращаясь к предыдущему примеру, рассмотрим типичную парадигму MVPA, которая позволяет определить, вызывает ли вид яблока иной паттерн нейронной активности в первичной зрительной коре, чем вид апельсина. На первом этапе регистрируются данные FMRI, пока субъект видит большое количество стимулов, подлежащих различению.

Затем полученные данные разделяют на обучающую и тестовую выборки. Данные из обучающей выборки вводятся в классификатор паттернов, который пытается обнаружить признаки в нейронных паттернах, отличающие два типа проб друг от друга. Затем классификатору предъявляются неразмеченные данные из тестовой выборки, и на основе паттернов, выявленных в обучающей выборке, он присваивает наиболее вероятную метку каждой тестовой пробе для каждого стимула.

Затем прогноз классификатора сравнивается с правильной меткой стимула, и эффективность классификатора рассчитывается как процент правильных ответов. Как мы видели, классификатор в данном примере правильно определил метки стимулов в девяти из 12 случаев, что составляет 75%, в то время как вероятность случайного угадывания при таком двухстороннем различении составила бы 50%. Это свидетельствует о том, что между нейронными паттернами в области V1, индуцированными стимулами «апельсин» и «яблоко», действительно существуют устойчивые различия.

Разумеется, значимость этого результата должна быть доказана статистически. Важным моментом, который следует учитывать в таком эксперименте по классификации, является полная независимость обучающего и тестового наборов данных друг от друга, поскольку только в этом случае можно делать выводы об обобщающей способности паттернов, изученных в процессе обучения. По этой причине в парадигмах MVPA часто используется так называемая парадигма перекрестной проверки.

Хотя эта процедура служит для максимизации количества тренировочных и тестовых итераций, которые можно получить из данного набора данных, она также гарантирует, что тренировочные и тестовые наборы не пересекаются во время отдельных этапов классификации. Рассмотрим следующий эксперимент MVPA с восемью функциональными сериями. На первом этапе перекрестной проверки классификатор обучается на данных с первой по седьмую серии и тестируется на данных восьмой серии.

На втором этапе классификатор обучается на данных с первого по шестой, а также восьмого запусков, после чего тестируется на седьмом запуске. Следуя этой схеме, проводится восемь этапов перекрестной проверки, при которых каждый запуск по очереди служит тестовым. После получения показателей эффективности классификатора для каждого этапа перекрестной проверки вычисляется среднее значение этих результатов, что дает общую эффективность.

В интернете доступны бесплатные пакеты программного обеспечения для проведения MVPA, такие как pi MVPA и инструментарий, предлагаемый Институтом нейронаук Принстона. Экспериментальные парадигмы, подобные описанной выше, успешно применялись для предсказания перцептивных стимулов по нейронной активности в соответствующих областях коры головного мозга — например, для предсказания зрительных стимулов на основе активности зрительной коры или слуховых стимулов на основе активности слуховой коры. Теперь мы хотели бы представить расширение этой базовой идеи, при котором перцептивные стимулы предсказываются не только внутри одной, но и между различными модальностями.

Наша идея основана на том факте, что восприятие тесно связано с воспроизведением воспоминаний. Например, визуальный стимул, имеющий сильную слуховую ассоциацию, такой как вид разбивающегося о землю основания стакана, автоматически вызовет в нашем воображении слуховой образ, схожий с теми слуховыми образами, которые мы испытывали при предыдущих случаях разбивания стекла.

Согласно концепции, представленной Тео в конце 1980-х годов, ассоциативная память между местом удара по основанию и соответствующим звуком хранится в так называемых зонах конвергенции-дивергенции (сокращенно CD). Зоны конвергенции-дивергенции концептуализируются как ансамбли нейронов, расположенные на различных иерархических уровнях сенсорных систем. Как следует из их названия.

CD на каждом уровне получают конвергентные восходящие проекции от кортексов более низкого порядка и, в свою очередь, посылают дивергентные нисходящие проекции обратно тем же кортексам низшего порядка. Благодаря конвергентным восходящим проекциям CD могут активироваться перцептивными репрезентациями в нескольких модальностях — например, как видом, так и звуком разбивающейся вазы; благодаря же дивергентным нисходящим проекциям.

Затем они могут способствовать реконструкции связанных образов, посылая обратные сигналы в ранние сенсорные коры других модальностей. Рассмотрим последовательность активации, которую в рамках данной концепции вызовет чисто визуальный стимул, подразумевающий наличие звука. Сначала стимул вызывает специфический паттерн нейронной активности в ранних зрительных корах посредством конвергентных восходящих проекций.

Ранние зрительные коры активируют первый уровень CD — CDZ1. В зависимости от точного паттерна активности в соответствующем секторе ранней коры, CDZ1 может активироваться или остаться неактивным. CDZ1 проецируются вверх на CDZ2 точно так же, как CDZ1 обнаруживали сигналы.

Паттерны активности в первичных зрительных областях коры; CDZ 2 распознают паттерны активности среди CDZ 1. Могут активироваться несколько CDZ 2, однако для упрощения здесь через нисходящие проекции показан только один. CDZ 1 могут одновременно дополнять паттерн активности в первичных зрительных областях коры через несколько дополнительных уровней CDZ 2. CDZ 2 проецируются вперед на CDZ, завершающие путь в мультимодальных ассоциативных областях коры.

Опять же, могут быть активированы несколько окончаний CDZ, но для упрощения показано только одно. Также CD Z twos передают сигнал обратно к CDZ ones, которые, в свою очередь, могут дополнительно модифицировать паттерн, первоначально индуцированный в ранних зрительных областях коры. Окончания CDZ передают сигнал обратно к CZ twos всех модальностей.

В слуховых областях коры будет сформирован нейронный паттерн, который позволит испытуемому в «умном ухе» ощутить слуховой образ, связанный с визуально представленным стимулом. Изображенная нисходящая передача сигналов в соматосенсорную модальность отражает тот факт, что практически любой визуальный стимул также предполагает определенные тактильные ассоциации. Таким образом, данная концепция предсказывает, что звук, подразумевающий визуальный стимул, приведет к специфическому для данного содержания паттерну нейронной активности.

В первичных слуховых областях коры. Таким образом, анализ этого нейронного паттерна с помощью MVPA должен позволить предсказать, какой из нескольких визуальных стимулов, подразумевающих звук, видел испытуемый. В первом эксперименте регистрировалась нейронная активность первичных слуховых областей коры, пока испытуемые смотрели девять различных видеоклипов с объектами и событиями, подразумевающими звук.

Областью интереса в данном эксперименте была ограниченная область на плоскости Semal, которая включала первичную слуховую кору и самые ранние слуховые ассоциативные коры. Во втором эксперименте нейронная активность регистрировалась в первичной соматосенсорной коре, пока испытуемые смотрели пять различных видеоклипов, подразумевающих тактильное воздействие. В этом эксперименте область интереса представляла собой первичную соматосенсорную кору, расположенную в постцентральной извилине.

В обоих исследованиях в части слухового анализа приняли участие восемь испытуемых. Классификатор MVPA показал результат выше уровня случайного угадывания (50%) для всех возможных парных различений между стимулами. В 26 из 36 случаев различения эффективность классификатора достоверно отличалась от уровня случайного угадывания 0,5.

Аналогичным образом, в соматосенсорном исследовании классификатор показал результаты выше уровня случайного угадывания во всех двусторонних дискриминациях, и восемь из 10 дискриминаций достигли статистической значимости. Как видно, используя кросс-модальный многомерный анализ паттернов, нам удалось продемонстрировать, что восприятие визуальных стимулов, подразумевающих звук или осязание, приводит к специфическим для данного содержания нейронным репрезентациям в ранних слуховых и соматосенсорных областях коры в соответствии с ранее представленной теоретической базой. Очевидно, что представленная нами экспериментальная парадигма не должна ограничиваться только модальностями, задействованными в наших собственных экспериментах, но может быть расширена и на другие сенсорные модальности.

Таким образом, мы надеемся, что другие группы присоединятся к нам в расширении данного направления исследований с целью углубления наших знаний о том, как происходят процессы обработки мультимодальных стимулов из окружающей среды.