크로스 모달 변수 패턴 분석

다음 실험의 목적은 기능적 MRI 데이터의 다변량 패턴 분석을 사용하여 인간 뇌의 다중 모드 처리를 조사하는 것입니다. 이는 먼저 피험자에게 단일 감각 양식을 통해 제시되지만, 다른 양식과의 강한 연관성을 시사하는 특정 종류의 감각 자극을 생성함으로써 달성됩니다. 예를 들어, 시각적 자극이 이에 해당합니다.

예를 들어, 피험자가 특정 자극을 인지하는 동안 해당 양식의 연관성과 관련된 뇌 부위의 신경 활동이 나타납니다. 이 예시에서는 FMRI를 사용하여 청각 피질을 기록합니다. 기록된 활동은 다변량 패턴 분석(multi-variate pattern analysis)을 통해 분석되며, 이를 통해 피험자가 원래의 양식에서 여러 자극 중 무엇을 인지했는지 예측하는 것을 목표로 합니다.

결과는 하나 이상의 양식과 관련된 정보를 포함하는 단일 양식 자극이, 해당 자극이 제시된 양식 외의 다른 양식의 초기 감각 피질에서 콘텐츠 특이적 신경 활동을 유도할 수 있음을 보여줍니다. 오늘 저희가 소개하는 교차 양식 다변량 패턴 분석(Crossmodal multivariate pattern analysis)이라 칭하는 이 기술은 기존의 다변량 패턴 분석을 자연스럽게 확장한 것으로, 감각 STEMI를 감각 양식 내에서가 아니라 양식 간에 분류한다는 점이 다릅니다. 저희는 20여 년 전 Demio가 도입한 신경 구조적 프레임워크에 대한 실증적 근거를 마련하려 노력하던 중 처음으로 이 방법론에 대한 아이디어를 얻었습니다.

본 영상에서는 다변량 패턴 분석(multivariate pattern analysis), 줄여서 MVPA의 기술적인 측면뿐만 아니라 이론적 프레임워크에 대해서도 소개해 드리겠습니다. 먼저 MVPA와 기존의 단변량 fMRI 분석 간의 몇 가지 주요 차이점을 짚어보겠습니다. 다음 내용을 살펴보십시오.

예를 들어, 피험자에게 사과와 오렌지 같은 두 가지 서로 다른 시각적 자극을 제시하면, 여러 번의 시행을 통해 평균화된 두 자극 모두 특정한 신경 활동 패턴을 유도합니다. 여기서는 6개의 가상 복셀(voxel)의 활성화 수준으로 상징되는 일차 시각 피질에서의 활동을 보여줍니다. 전통적인 FMRI 분석에는 이러한 패턴을 분석하는 기본적으로 두 가지 방법이 있습니다.

첫 번째 방법은 자극이 관심 영역 전체에서 유도한 평균 활성 수준을 비교하는 것입니다. 그러나 평균값 사이의 차이는 유의미하지 않을 수 있습니다. 두 번째 방법은 각 복셀(voxel)에 대해 감산 대조(subtraction contrast)를 설정하는 것입니다.

오렌지 조건 동안의 활성화 수준에서 사과 조건 동안의 활성화 수준을 뺌으로써, 각 복셀(voxel)에 대한 결과 차이를 전체 뇌 대조 영상으로 시각화할 수 있습니다. 하지만 이 경우에도 이러한 차이는 작을 수 있으며, 단 몇 개의 복셀에서만 필요한 통계적 기준에 도달할 수 있습니다. 그러나 단변량 분석 방법과 달리, MVPA는 모든 복셀의 활성화 수준을 동시에 고려함으로써 복셀 내의 패턴을 감지할 수 있습니다.

개별적인 활성화 차이만으로는 유의미하지 않을 수 있지만, 두 패턴을 전체적으로 고려했을 때는 실제로 통계적으로 다를 수 있습니다. 기존 FMRI 분석과 MVPA의 또 다른 주요 차이점은 후자의 방법이 소위 역추론(reverse inference)이라 불리는 방식을 사용한다는 점입니다. 기존 FMRI 분석에서 연구자는 일반적으로 두 가지 서로 다른 시각 자극이 어떻게 다른지와 같은 유형의 질문을 던집니다.

예를 들어, 얼굴 사진과 집 사진은 방추상 얼굴 영역과 같은 특정 관심 영역에서 서로 다른 활동 수준을 유도합니다. 이와 대조적으로, MVPA는 일반적으로 역추론 또는 디코딩의 관점에서 표현되며, 특정 뇌 영역의 신경 활동 패턴을 기반으로 피험자가 두 가지 시각 자극 중 어느 것을 인지했는지 예측할 수 있는지 묻습니다. 그러나 통계적 관점에서 볼 때, 두 자극이 주어진 뇌 영역에서 뚜렷한 활동 패턴을 유도한다고 말하는 것과 해당 뇌 영역의 활동 패턴을 통해 유도 자극을 예측할 수 있다고 말하는 것은 동일하다는 점에 유의하는 것이 중요합니다.

다시 말해, MVPA의 민감도가 단변량 분석보다 우수한 이유는 역방향으로 진행하기 때문이 아니라 여러 복셀을 동시에 고려하기 때문입니다. 앞서 든 예시로 돌아가서, 사과를 보는 것이 오렌지를 보는 것보다 일차 시각 피질에서 다른 신경 활동 패턴을 유도하는지 평가하는 전형적인 MVPA 패러다임을 생각해 보겠습니다. 첫 번째 단계에서는 피험자가 판별 대상이 되는 다수의 자극을 보는 동안 fMRI 데이터를 기록합니다.

획득한 데이터는 이후 훈련 데이터 세트와 테스트 데이터 세트로 나뉩니다. 훈련 세트의 데이터는 패턴 분류기에 입력되며, 분류기는 두 가지 유형의 시행을 서로 구별하는 신경 패턴의 특징을 탐지합니다. 다음으로, 분류기에 테스트 세트의 라벨이 없는 데이터를 제시하면, 분류기는 훈련 데이터 세트에서 탐지한 패턴을 바탕으로 각 자극에 대한 각 테스트 시행에 가장 가능성이 높은 라벨을 부여합니다.

그런 다음 분류기의 추측 결과와 정확한 자극 라벨을 비교하며, 분류기 성능은 정답 추측의 백분율로 계산합니다. 예시에서 분류기는 12건 중 9건, 즉 75%의 정확한 자극 라벨을 맞혔습니다. 이러한 이진 판별에서 우연에 의한 성능은 50%가 됩니다. 이는 오렌지와 사과 자극에 의해 V1에서 유도된 신경 패턴 사이에 실제로 일관된 차이가 있음을 시사합니다.

물론, 이 결과의 유의성은 통계적으로 증명되어야 합니다. 이러한 분류 실험에서 명심해야 할 중요한 점은 훈련 데이터 세트와 테스트 데이터 세트가 서로 완전히 독립적이어야 한다는 것입니다. 그래야만 훈련 세션 동안 학습된 패턴의 일반화 가능성에 대한 결론을 도출할 수 있기 때문입니다. 이러한 이유로 MVPA 패러다임에서는 소위 교차 검증 패러다임을 자주 사용합니다.

이 절차는 주어진 데이터 세트에서 얻을 수 있는 훈련 및 테스트 시행 횟수를 최대화하는 동시에, 개별 분류 단계 동안 훈련 세트와 테스트 세트가 서로 중복되지 않도록 보장합니다. 8회의 기능적 런(functional run)이 포함된 다음의 MVPA 실험을 생각해 보십시오. 첫 번째 교차 검증 단계에서 분류기는 런 1부터 7까지의 데이터로 훈련되고, 런 8의 데이터로 테스트됩니다.

두 번째 단계에서는 분류기를 1~6회차 및 8회차 실행 데이터로 학습시킨 후, 7회차 실행 데이터로 테스트합니다. 이와 같은 체계에 따라, 각 실행 회차가 정확히 한 번씩 테스트 실행으로 사용되도록 총 8회의 교차 검증 단계를 수행합니다. 각 교차 검증 단계에서 분류기 성능을 도출하고, 이 결과들을 평균하여 전체 성능을 산출합니다.

pi MVPA 및 프린스턴 신경과학 연구소(Princeton Neuroscience Institute)에서 제공하는 툴박스와 같이 MVPA를 수행하기 위해 인터넷에서 무료로 이용 가능한 소프트웨어 패키지들이 있습니다. 앞서 설명한 것과 같은 실험 패러다임은 대뇌 피질의 해당 부위에서 나타나는 신경 활동으로부터 지각 자극을 예측하는 데 성공적으로 사용되어 왔으며, 예를 들어 시각 피질의 활동을 기반으로 시각 자극을 예측하거나 청각 피질의 활동을 기반으로 청각 자극을 예측하는 식이 그것입니다. 이제 이러한 기본 개념을 확장하여, 지각 자극을 동일 양식 내에서뿐만 아니라 서로 다른 양식 간에 예측하는 방법을 소개하고자 합니다.

우리의 아이디어는 지각이 기억의 회상과 밀접하게 연결되어 있다는 사실에 기반합니다. 예를 들어, 유리 바닥이 지면에 부딪혀 산산조각 나는 장면과 같이 강한 청각적 암시를 주는 시각적 자극은, 과거에 유리가 깨지는 소리를 들었을 때 경험했던 청각적 이미지와 유사한 청각적 이미지를 우리의 마음속에서 자동으로 유발하게 됩니다.

1980년대 후반 Theo가 도입한 프레임워크에 따르면, 타격 지점과 그에 해당하는 소리 사이의 기억 연합은 소위 수렴 발산 구역, 또는 줄여서 CD(convergence divergence zones)라고 불리는 곳에 저장됩니다. 수렴 발산 구역은 감각 시스템의 다양한 계층적 수준에 위치한 뉴런들의 앙상블로 개념화됩니다. 그 명칭이 시사하듯이 말입니다.

각 수준의 CD는 하위 피질 및 시상으로부터 수렴하는 상향식 투사(bottom-up projections)를 받습니다. 그리고 동일한 하위 피질로 발산하는 하향식 투사(top-down projections)를 다시 보냅니다. 수렴하는 상향식 투사 덕분에 CD는 여러 양식의 지각적 표상에 의해 활성화될 수 있는데, 예를 들어 꽃병이 깨지는 소리와 모습 모두에 의해 활성화될 수 있습니다. 또한 발산하는 하향식 투사로 인해 가능합니다.

그 후, 이들은 다른 양식의 초기 감각 피질로 신호를 다시 보냄으로써 연관된 이미지의 재구성을 촉진할 수 있습니다. 이 프레임워크에 따라, 순수하게 시각적이지만 소리를 암시하는 자극이 유도하는 활성화 순서를 생각해 보십시오. 자극은 먼저 수렴하는 상향식 투사를 통해 초기 시각 피질에서 특정한 신경 활동 패턴을 유도합니다.

초기 시각 피질은 CD의 첫 번째 단계인 CDZ 1단계들을 활성화합니다. 해당 초기 피질 구역의 정확한 활동 패턴에 따라, 특정 CDZ가 활성화되거나 비활성 상태로 유지될 수 있습니다. CDZ 1단계들은 CDZ 2단계들로 상향 투사하며, 이는 CDZ 1단계들이 탐지한 것과 동일합니다.

초기 시각 피질의 활동 패턴에서, cdz twos는 cdz ones 사이의 활동 패턴을 감지하며, 여러 cdz twos가 활성화될 수 있으나 여기서는 단순화를 위해 하향식 투사를 통해 하나만 묘사되었습니다. cdz ones는 동시에 여러 추가적인 c DZs CDZ twos 단계를 통해 초기 시각 피질의 활동 패턴을 완성할 수 있습니다. Twos는 다중모드 연합 피질의 CDZ ends로 전방 투사합니다.

마찬가지로, 여러 개의 CDZ 말단이 활성화될 수 있으나, 단순화를 위해 하나만 표시하였습니다. 또한, CD Z 2는 CDZ 1로 역신호를 보내며, 이는 결과적으로 초기 시각 피질에서 원래 유도된 패턴을 더욱 수정할 수 있습니다. CDZ 말단은 모든 양식의 CZ 2로 역신호를 보냅니다.

청각 피질에서는 피험자가 시각적으로 제시된 자극과 연관된 청각적 이미지를 마음의 귀로 경험할 수 있게 하는 신경 패턴이 구축될 것입니다. 체성감각 양식으로 전달되는 하향식 신호 묘사는 거의 모든 시각적 자극이 어떤 촉각적 연관성 또한 함축한다는 사실을 반영합니다. 따라서, 이 프레임워크는 시각적 자극을 함축하는 소리가 콘텐츠 특이적인 신경 활동 패턴으로 이어질 것임을 예측합니다.

초기 청각 피질에서 나타납니다. MVPA를 사용하여 이러한 신경 패턴을 분석함으로써, 피험자가 소리를 암시하는 여러 시각적 자극 중 어떤 것을 보았는지 예측하는 것이 가능할 것입니다. 첫 번째 실험에서는 피험자가 소리를 암시하는 객체와 사건이 담긴 9가지의 서로 다른 비디오 클립을 시청하는 동안 초기 청각 피질에서 신경 활동을 기록하였습니다.

본 실험의 관심 영역은 일차 청각 피질과 매우 초기 단계의 청각 연합 피질로 구성된 Semal 평면 상의 제한된 구역이었습니다. 두 번째 실험에서는 피험자가 촉각을 암시하는 다섯 가지 서로 다른 비디오 클립을 시청하는 동안 일차 체성감각 피질에서 신경 활동을 기록하였습니다. 이 실험에서 관심 영역은 중심후회에 위치한 일차 체성감각 피질로 구성되었습니다.

두 연구 모두 청각 연구에 8명의 피험자가 참여하였습니다. MVPA 분류기는 자극 쌍 간의 가능한 모든 2방향 판별에서 50%의 우연 수준보다 높은 성능을 보였습니다. 36회의 판별 중 26회에서 분류기 성능이 우연 수준인 0.5와 유의미한 차이를 나타냈습니다.

마찬가지로 체성감각 연구에서도 분류기는 모든 이지선다 변별에서 우연 수준 이상의 성능을 보였으며, 10가지 변별 중 8가지가 통계적 유의성에 도달했습니다. 보시는 바와 같이, 교차 모달리티 다변량 패턴 분석을 통해 소리나 촉각을 암시하는 시각 자극의 지각이 앞서 소개한 이론적 틀에 따라 초기 청각 및 체성감각 피질에서 내용 특이적인 신경 표현을 유도한다는 것을 입증할 수 있었습니다. 분명히, 우리가 제시한 실험 패러다임은 본 실험에 포함된 모달리티에만 국한될 필요가 없으며, 다른 감각 모달리티로도 확장될 수 있습니다.

따라서 우리는 다른 연구 그룹들이 이러한 종류의 연구를 확장하는 데 동참하여, 환경으로부터 다중 모드 자극 프로세스를 어떻게 도입하는지에 대한 우리의 지식을 넓힐 수 있기를 바랍니다.