Cross-modal de Análise de Padrões multivariada

O objetivo do experimento a seguir é utilizar a análise multivariada de padrões de dados de ressonância magnética funcional para investigar o processamento multimodal no cérebro humano. Isso é alcançado primeiramente criando um tipo específico de estímulo sensorial, que é apresentado aos sujeitos por meio de uma única modalidade sensorial. Por exemplo, o estímulo visual, mas que implica fortes associações em uma modalidade diferente.

Por exemplo, a atividade neural auditiva é registrada enquanto os sujeitos percebem tais estímulos nas partes do cérebro relacionadas à modalidade da associação. Neste exemplo, as cortesias auditivas são registradas usando fRMI. A atividade registrada é analisada por meio de análise multivariada de padrões com o objetivo de prever qual dos vários estímulos o sujeito percebeu na modalidade original.

Os resultados mostram que estímulos unimodais contendo informações pertinentes a mais de uma modalidade podem induzir atividade neural específica ao conteúdo nas cortesias sensoriais iniciais de modalidades diferentes daquela pela qual são apresentados. A técnica que apresentamos hoje, à qual nos referimos como análise multivariada de padrões cruzados, representa uma extensão natural da análise multivariada de padrões convencional, com a diferença de que os STEMI sensoriais são classificados entre, e não dentro, modalidades sensoriais. Tivemos pela primeira vez a ideia deste método ao tentar produzir evidências empíricas para uma estrutura neuroarquitetônica introduzida por Demio há mais de duas décadas.

Neste vídeo, vamos apresentar a você não apenas os aspectos técnicos da análise de padrões multivariados, ou MVPA, abreviação de multivariate pattern analysis, mas também a esta estrutura teórica. Primeiramente, destacaremos algumas diferenças fundamentais entre a MVPA e a análise convencional de fMRI univariada. Considere o seguinte.

Por exemplo, se um sujeito for apresentado a dois estímulos visuais diferentes, como uma maçã e uma laranja, então ambos os estímulos, médias de um número de ensaios, induzem um padrão específico de atividade neural. Na córtex visual primário simbolizado aqui pelos níveis de ativação de seis voxels hipotéticos. Em análises convencionais de FMRI, existem basicamente dois métodos para analisar esses padrões.

O primeiro é comparar o nível médio de atividade que os estímulos induziram em toda a região de interesse. A diferença entre as médias, no entanto, pode não ser significativa. O segundo método é estabelecer um contraste de subtração para cada voxel.

O nível de ativação durante a condição com maçã é subtraído do nível de ativação durante a condição com laranja, e a diferença resultante para cada voxel pode ser visualizada em uma imagem de contraste cerebral completo. No entanto, mais uma vez, essas diferenças podem ser pequenas e atingir o critério estatístico exigido apenas para alguns poucos voxels. Contudo, diferentemente dos métodos de análise univariada, a MVPA é capaz de detectar padrões dentro dos voxels ao considerar simultaneamente os níveis de ativação de todos os voxels.

Embora apenas algumas das diferenças de ativação possam ser significativas isoladamente, os dois padrões, quando considerados em sua totalidade, podem de fato ser estatisticamente diferentes. Outra grande diferença entre a análise convencional de FMRI e a MVPA é que este último método utiliza o que se chama inferência reversa. Na análise convencional de FMRI, o pesquisador geralmente formula uma pergunta do tipo: quais serão os efeitos de dois estímulos visuais diferentes.

Por exemplo, a imagem de um rosto e a imagem de uma casa levam a níveis diferentes de atividade em uma região específica de interesse, como a área do giro fusiforme especializada em rostos. Por outro lado, a AMPT (Análise Multivariada de Padrões de Atividade) é geralmente expressa em termos de inferência reversa ou decodificação, e pergunta, com base no padrão de atividade neural em uma região cerebral específica, se seremos capazes de prever qual entre dois estímulos visuais foi percebido pelo sujeito. É importante observar, no entanto, que do ponto de vista estatístico, é equivalente afirmar que dois estímulos levam a padrões distintos de atividade em uma determinada região cerebral e afirmar que o padrão de atividade nessa região cerebral permite a predição do estímulo indutor.

Em outras palavras, a sensibilidade da análise multivariada de padrões (MVPA) é superior àquela das análises univariadas porque considera vários vóxeis simultaneamente, e não porque procede em sentido inverso. Retornando ao exemplo anterior, considere um paradigma típico de MVPA que avalia se ver uma maçã induz um padrão diferente de atividade neural no córtex visual primário em comparação com ver uma laranja. Em um primeiro passo, dados de fMRI são registrados enquanto um sujeito observa um grande número dos estímulos a serem discriminados.

Os dados adquiridos são então divididos em um conjunto de dados de treinamento e um conjunto de dados de teste. Os dados do conjunto de treinamento são inseridos em um classificador de padrões, que tenta detectar características nos padrões neurais que distinguem os dois tipos de ensaios um do outro. Em seguida, o classificador recebe dados não rotulados do conjunto de teste e, com base nos padrões detectados no conjunto de dados de treinamento, atribui o rótulo mais provável a cada um dos ensaios de teste para cada estímulo.

A previsão do classificador é então comparada ao rótulo correto do estímulo e o desempenho do classificador é calculado como a porcentagem de previsões corretas. Como observamos, o classificador no exemplo reduziu os rótulos corretos do estímulo em nove dos 12 casos, ou seja, 75%, como desempenho ao acaso. Em uma discriminação binária como essa, o desempenho esperado ao acaso seria de 50%. Isso sugere que existem, de fato, diferenças consistentes entre os padrões neurais induzidos na área V1 pelos estímulos de laranja e de maçã.

É claro que a significância desse resultado precisaria ser comprovada estatisticamente. Uma questão importante a ser considerada em um experimento de classificação como esse é que os conjuntos de dados de treinamento e de teste sejam completamente independentes um do outro, pois somente nesse caso é possível tirar conclusões sobre a generalização dos padrões aprendidos durante a sessão de treinamento. Por esse motivo, os paradigmas de AMPT frequentemente utilizam um chamado paradigma de validação cruzada.

Embora este procedimento tenha como objetivo maximizar o número de ensaios de treinamento e de teste que podem ser obtidos a partir de um determinado conjunto de dados, ele também garante, ao mesmo tempo, que os conjuntos de treinamento e de teste não se sobreponham durante os passos individuais de classificação. Considere o seguinte experimento de MVPA com oito séries funcionais. Em um primeiro passo de validação cruzada, o classificador é treinado com os dados das séries de um a sete e testado com os dados da oitava série.

No segundo passo, o classificador é então treinado com as execuções de um a seis, bem como com a execução oito, e posteriormente testado na execução sete. Seguindo esse esquema, são realizadas oito etapas de validação cruzada, nas quais cada execução serve exatamente como execução de teste. Uma vez obtido o desempenho do classificador para cada etapa de validação cruzada, a média desses resultados fornece o desempenho geral.

Existem pacotes de software gratuitos disponíveis na internet para realizar MVPAs, como o pi MVPA e a caixa de ferramentas oferecida pelo Instituto de Neurociência de Princeton. Paradigmas experimentais como o aqui descrito têm sido usados com sucesso para prever estímulos perceptuais a partir da atividade neural nas regiões correspondentes do córtex cerebral; por exemplo, para prever estímulos visuais com base na atividade nos córtices visuais ou estímulos auditivos. Com base na atividade nos córtices auditivos, gostaríamos agora de apresentar uma extensão dessa ideia básica na qual estímulos perceptuais são previstos não apenas dentro, mas também entre modalidades.

Nossa ideia baseia-se no fato de que a percepção está intrinsecamente ligada à recordação de memórias. Por exemplo, um estímulo visual com forte implicação auditiva, como a cena de uma base de vidro se quebrando no chão. Isso vai automaticamente desencadear em nossa percepção auditiva uma imagem sonora que compartilha semelhanças com as imagens auditivas que experimentamos anteriormente ao quebrar vidro.

De acordo com um framework introduzido por Theo no final da década de 1980, a associação de memória entre o local da base quebrada e o som correspondente é armazenada nas chamadas zonas de convergência-divergência ou CDs, abreviação para convergência. As zonas de divergência são conceituadas como conjuntos de neurônios localizados em vários níveis hierárquicos dos sistemas sensoriais. Como o próprio nome indica.

Os CDs em cada nível recebem projeções ascendentes convergentes dos córtices de ordem inferior e, por sua vez, enviam de volta projeções descendentes divergentes para esses mesmos córtices de ordem inferior. Devido às projeções ascendentes convergentes, os CDs podem ser ativados por representações perceptuais em múltiplas modalidades, por exemplo, tanto pela imagem quanto pelo som de um vidro quebrando, devido às projeções descendentes divergentes.

Em seguida, eles podem promover a reconstrução de imagens associadas ao sinalizar de volta para as cortezas sensoriais iniciais de modalidades adicionais. Considere a sequência de ativação que um estímulo puramente visual, mas que implica som, irá induzir de acordo com este modelo. O estímulo primeiramente induz um padrão específico de atividade neural nas cortezas visuais iniciais por meio de projeções ascendentes convergentes.

As cortices visuais iniciais ativam o primeiro nível dos CD, os da zona CDZ. Dependendo do padrão exato de atividade no setor cortical correspondente, uma zona CDZ pode ser ativada ou pode permanecer inativa. Os da zona CDZ projetam-se para cima até os da zona dois, da mesma forma que os da zona um detectaram.

Padrões de atividade nas cortices visuais iniciais, cdz dois detectam padrões de atividade entre cdz um, vários cdz dois podem ser ativados, mas, para simplificar, apenas um é representado aqui por meio de projeções descendentes. Cdz um podem, ao mesmo tempo, completar o padrão de atividade nas cortices visuais iniciais por meio de vários níveis adicionais de c DZs CDZ dois. Os dois projetam-se adiante até os CDZ terminais nas cortices de associação multimodal.

Novamente, múltiplas extremidades da ZDC podem se tornar ativadas, mas apenas uma é representada por motivos de simplicidade. Novamente, as ZDC dois também sinalizam em sentido inverso para as ZDC um, que por sua vez podem modificar ainda mais o padrão inicialmente induzido nos córtices visuais precoces. As extremidades da ZDC sinalizam de volta para as ZDC dois de todas as modalidades.

Nos córtices auditivos, será construído um padrão neural que permite ao sujeito experimentar, na imaginação auditiva, uma imagem sonora associada ao estímulo apresentado visualmente. O sinalização descendente representada para a modalidade somatossensorial reflete o fato de que quase qualquer estímulo visual também implica algumas associações táteis. Assim, o modelo prevê que um som que implique um estímulo visual levaria a um padrão específico de conteúdo de atividade neural.

Nas cortices auditivas iniciais. Analisando esse padrão neural usando análise multivariada de padrões (MVPA), deveria ser possível prever qual entre vários estímulos visuais que implicam som um sujeito viu. No primeiro experimento, a atividade neural foi registrada das cortices auditivas iniciais enquanto os sujeitos assistiam a nove clipes de vídeo diferentes de objetos e eventos que implicavam som.

A região de interesse neste experimento foi uma área restrita no plano Semal, que compreendia o córtex auditivo primário e os primeiros córtices associativos auditivos. Em um segundo experimento, a atividade neural foi registrada a partir do córtex somatossensorial primário enquanto os indivíduos assistiam a cinco clipes de vídeo diferentes que implicavam o tato. Neste experimento, a região de interesse compreendia o córtex somatossensorial primário localizado no giro pós-central.

Os dois estudos envolveram oito sujeitos no estudo auditivo. Um classificador MVPA apresentou desempenho acima do nível de chance de 50% para todas as possíveis discriminações binárias entre pares de estímulos. Em 26 das 36 discriminações, o desempenho do classificador diferiu significativamente do nível de chance de 0,5.

Da mesma forma, no estudo do sistema somatossensorial, o classificador apresentou desempenho acima do nível de chance em todas as discriminações binárias, e oito das dez discriminações alcançaram significância estatística. Como é possível observar, utilizando a análise multivariada de padrões cruzados, conseguimos demonstrar que a percepção de estímulos visuais que implicam som ou toque leva a representações neurais específicas quanto ao conteúdo nas cortezes auditiva e somatossensorial primárias, de acordo com o arcabouço teórico apresentado anteriormente. É evidente que o paradigma experimental aqui apresentado não precisa permanecer restrito às modalidades envolvidas em nossos próprios experimentos, podendo ser estendido a outras modalidades sensoriais também.

Esperamos, portanto, que outros grupos se juntem a nós para ampliar esse tipo de pesquisa, na tentativa de aprofundar nosso conhecimento sobre como incorporar processos de estímulos multimodais provenientes do ambiente.