クロスモーダル多変量パターン解析

本実験の目的は、機能的MRIデータの多変量パターン分析を用いて、ヒト脳におけるマルチモーダル処理を調査することです。これはまず、特定の種類の感覚刺激を作成し、それを単一の感覚モダリティ（例えば視覚など）を通じて被験者に提示することで達成されますが、その刺激は異なるモダリティにおける強い連想を想起させるものです。

例えば、被験者がそのような刺激を感知している間の、そのモダリティに関連する脳部位における神経活動を考えます。この例では、聴覚皮質をfMRIを用いて記録します。記録された活動は、被験者が元のモダリティで数ある刺激のうちのどれを感知したかを予測することを目的とした、多変量パターン分析を用いて解析されます。

結果は、複数のモダリティに関連する情報を含む単一モダリティの刺激が、提示されたモダリティ以外の初期感覚皮質において、コンテンツ特異的な神経活動を誘発できることを示しています。本日ご紹介する、Crossmodal multivariate pattern analysis（クロスモーダル多変量パターン分析）と呼ぶこの手法は、従来の多変量パターン分析を自然に拡張したものであり、感覚STEMIを感覚モダリティ内ではなく、モダリティを跨いで分類するという点に違いがあります。私たちは、20年以上前にDemioによって導入された神経建築学的フレームワークの実証的な証拠を得ようとした際に、初めてこの手法を考案しました。

このビデオでは、多変量パターン分析（MVPA）の技術的な側面だけでなく、その理論的な枠組みについてもご紹介します。まず、MVPAと従来の単変量fMRI解析との主な違いについて説明します。以下の点について考えてみましょう。

例えば、被験者にリンゴとオレンジという2つの異なる視覚刺激を提示した場合、複数回の試行を通じて平均化された両方の刺激が、特定の神経活動パターンを誘導します。これは、ここでは6つの仮想的なボクセルの活性化レベルで象徴される一次視覚野において起こります。従来のfMRI解析では、これらのパターンを解析するための手法は本質的に2つあります。

1つ目は、刺激によって誘発された関心領域全体の平均活性レベルを比較することです。しかし、平均値間の差は有意ではない可能性があります。2つ目の方法は、各ボクセルに対して減算コントラストを設定することです。

リンゴ条件での活性化レベルをオレンジ条件での活性化レベルから差し引き、各ボクセルの結果として得られた差分を全脳コントラスト画像で可視化することができます。しかし、ここでもこれらの差分は小さくなる可能性があり、要求される統計的基準を満たすボクセルはごく少数にとどまる場合があります。しかしながら、単変量解析手法とは異なり、MVPAはすべてのボクセルの活性化レベルを同時に考慮することで、ボクセル間のパターンを検出することが可能です。

個々の活性化の差異だけでは有意ではない場合が多いかもしれませんが、2つのパターンを全体として捉えれば、統計的に有意な差がある可能性があります。従来のfMRI解析とMVPAのもう一つの大きな違いは、後者の手法で「逆推論」と呼ばれるものが用いられる点です。従来のfMRI解析では、研究者は通常、「2つの異なる視覚刺激によって、

例えば、顔の写真と家の写真は、紡錘状顔領域などの特定の関心領域において、異なる活動レベルをもたらします。対照的に、MVPAは通常、逆推論またはデコーディングの観点から表現され、特定の脳領域における神経活動のパターンに基づいて、被験者が2つの視覚刺激のどちらを感知したかを予測できるかという問いを立てます。しかし、統計的な観点からは、2つの刺激が特定の脳領域で異なる活動パターンをもたらすと言うことと、その脳領域の活動パターンによって誘発刺激の予測が可能であると言うことは同等であることに注意することが重要です。

言い換えれば、MVPAの感度が単変量解析よりも高いのは、複数のボクセルを同時に考慮するためであり、逆方向の手順で処理を行うためではありません。前述の例に戻り、リンゴを見たときに一次視覚皮質で誘発される神経活動パターンが、オレンジを見たときと異なるかどうかを評価する典型的なMVPAパラダイムを考えてみましょう。まず第一のステップとして、被験者が識別対象となる多数の刺激を見ている間にfMRIデータを記録します。

取得したデータは、その後、トレーニングデータセットとテストデータセットに分割されます。トレーニングセットのデータはパターン分類器に入力され、2種類の試行を互いに区別するニューラルパターンの特徴を検出させます。次に、分類器にテストセットからのラベルなしデータを提示し、トレーニングデータセットで検出したパターンに基づいて、各刺激に対する各テスト試行に最も可能性の高いラベルを割り当てます。

次に、分類器の予測を正解の刺激ラベルと比較し、正解率を分類器の性能として算出します。例に挙げた分類器では、12ケース中9ケースで正解の刺激ラベルを識別しており、正解率は75%でした。このような2つの選択肢による識別において、チャンスレベルの性能は50%となります。この結果は、オレンジとリンゴの刺激によってV1に誘導される神経パターンに、実際に一貫した差異があることを示唆しています。

当然ながら、この結果の有意性は統計的に証明される必要があります。このような分類実験において留意すべき重要な点は、トレーニングデータセットとテストデータセットを完全に独立させることです。そうすることで初めて、トレーニングセッション中に学習されたパターンの汎用性について結論を出すことが可能になります。このため、MVPAパラダイムでは、いわゆる交差検証パラダイムが頻繁に用いられます。

この手順は、特定のデータセットから得られるトレーニングおよびテスト試行の数を最大化するだけでなく、個々の分類ステップにおいてトレーニングセットとテストセットが重複しないことを同時に保証します。8つの機能的ランを用いた以下のMVPA実験を例に挙げます。最初のクロスバリデーションステップでは、ラン1から7までのデータで分類器をトレーニングし、ラン8のデータでテストを行います。

第2段階では、分類器をラン1から6およびラン8でトレーニングし、その後ラン7でテストします。このスキームに従い、各ランをちょうど1回ずつテストランとして使用し、8回のクロスバリデーションステップを実行します。各クロスバリデーションステップで分類器の性能を算出し、これらの結果を平均することで、全体の性能を導き出します。

インターネット上には、pi MVPAやプリンストン神経科学研究所（Princeton Neuroscience Institute）が提供するツールボックスなど、MVPAを実行するためのフリーウェアのソフトウェアパッケージが存在します。上述のような実験パラダイムは、大脳皮質の対応する部位の神経活動から知覚刺激を予測することに成功しており、例えば、視覚野の活動に基づいて視覚刺激を、あるいは聴覚野の活動に基づいて聴覚刺激を予測することが可能です。ここでは、この基本概念を拡張し、知覚刺激を単一のモダリティ内だけでなく、モダリティを横断して予測する方法について紹介します。

私たちのアイデアは、知覚が記憶の想起と密接に関連しているという事実に基づいています。例えば、ガラスの底が地面で砕ける場面のように、強い聴覚的暗示を持つ視覚刺激がある場合、それは私たちの心の耳の中で、過去にガラスが割れる経験をした際に得た聴覚的イメージと類似した聴覚的イメージを自動的に誘発させます。

1980年代後半にTheoによって導入されたフレームワークによれば、粉砕されたベースの部位とそれに対応する音との記憶関連付けは、いわゆる収束発散ゾーン（Convergence Divergence zones）、略してCDと呼ばれる領域に保存されます。収束発散ゾーンは、感覚系のさまざまな階層レベルに位置するニューロンのアンサンブルとして概念化されています。その名称が示す通りです。

各レベルのCDは、低次皮質からの収束的なボトムアップ投射を受け取ります。そして、それらの同じ低次皮質に向けて、発散的なトップダウン投射を返します。収束的なボトムアップ投射があるため、CDは複数のモダリティにおける知覚表現によって活性化され得ます。例えば、花瓶が割れる際の視覚と音の両方によって活性化されます。また、発散的なトップダウン投射によって、それらの低次皮質へ信号が送られます。

その後、それらは他の感覚様式（モダリティ）の初期感覚皮質へ信号を戻すことで、関連するイメージの再構築を促進させることができます。この枠組みに基づき、純粋に視覚的でありながら音を想起させる刺激が誘導する活性化のシーケンスについて考えます。まず、刺激は収束的なボトムアップ投射を介して、初期視覚皮質に特定の神経活動パターンを誘導します。

初期視覚皮質は、CDの第1段階であるCDZ 1を活性化します。対応する初期皮質セクターにおける活動の正確なパターンに応じて、CDZ 1が活性化されるか、あるいは不活性なままとなります。CDZ 1は、CDZ 2が検知したのと同様に、CDZ 2へと上方に投影します。

初期視覚皮質における活動パターンを、cdz twosがcdz onesの中の活動パターンとして検出します。複数のcdz twosが活性化される可能性がありますが、ここでは簡略化のため、トップダウン投射を介して1つのみを描写しています。同時に、cdz onesは、さらに数層のc DZs CDZ twosを介して、初期視覚皮質における活動パターンを完結させることができます。Twosは、マルチモーダル連合皮質にあるCDZ endsへと前方投射します。

繰り返しになりますが、複数のCDZ末端が活性化される可能性がありますが、簡略化のためここでは1つのみを示しています。同様に、CD Z 2はCDZ 1へも逆行性に信号を送り、それがさらに、初期視覚皮質で元々誘導されたパターンを修飾することがあります。CDZ末端は、すべてのモダリティのCZ 2へ信号を返します。

聴覚皮質において神経パターンが構築され、これにより被験者は、視覚的に提示された刺激に関連する聴覚イメージを「心の耳」で体験することが可能になります。体性感覚モダリティへのトップダウン信号の描写は、ほぼあらゆる視覚刺激が何らかの触覚的連想を伴うという事実を反映しています。したがって、このフレームワークは、視覚刺激を連想させる音が、コンテンツ特異的な神経活動パターンを導くことを予測しています。

初期聴覚皮質において。MVPAを用いてこの神経パターンの解析を行うことで、被験者が音を暗示する複数の視覚刺激のうち、どれを見たかを予測できるはずである。最初の実験では、被験者が音を暗示する物体や出来事の9種類の異なるビデオクリップを視聴している間に、初期聴覚皮質から神経活動を記録した。

本実験における関心領域は、一次聴覚皮質および極初期の聴覚連合皮質を含むSemal平面上の限定された領域でした。別の実験では、被験者が触覚を暗示する5つの異なるビデオクリップを視聴している間に、一次体性感覚皮質から神経活動を記録しました。この実験における関心領域は、中心後回に位置する一次体性感覚皮質で構成されていました。

どちらの研究においても、聴覚研究には8名の被験者が参加しました。MVPA分類器は、刺激ペア間のあらゆる2方向の判別において、チャンスレベルの50%を上回る性能を示しました。36回の判別のうち26回において、分類器の性能はチャンスレベルである0.5と有意に異なっていました。

同様に、体性感覚の研究においても、分類器はすべての2肢強制選択識別においてチャンスレベルを上回る性能を示し、10個の識別のうち8個が統計的有意性に達しました。ご覧のように、クロスモーダル多変量パターン分析を用いることで、音や触覚を連想させる視覚刺激の知覚が、先に述べた理論的枠組みに従い、初期聴覚皮質および体性感覚皮質におけるコンテンツ特異的な神経表現を導くことを実証することができました。明らかに、私たちが提示した実験パラダイムは、自らの実験で用いた感覚様式に限定される必要はなく、他の感覚様式にも拡張することが可能です。

したがって、環境からのマルチモーダルな刺激を処理するプロセスに関する知見を広めるため、他の研究グループにもこのような研究を拡大して共同に取り組んでいただけることを期待しています。