跨模态多变量模式分析

以下实验的目标是利用功能磁共振成像数据的多变量模式分析，研究人脑中的多模态信息处理。该目标通过首先创建一种特定类型的感官刺激来实现，这些刺激通过单一感官通道呈现给受试者。例如，刺激可能属于视觉模态，但却在另一种不同的模态中引发强烈的关联。

例如，当受试者感知此类刺激时，与关联模态相关的脑区会产生神经活动，本例中使用功能性磁共振成像（fMRI）记录听觉皮层的活动。通过多变量模式分析方法对记录到的神经活动进行分析，旨在预测受试者在原始感知模态下所识别的是哪一种刺激。

结果表明，包含多个感觉通道相关信息的单模态刺激能够诱发非刺激呈现通道的早期感觉皮层中与内容特异性相关的神经活动。我们今天介绍的技术，即跨模态多变量模式分析（Crossmodal multivariate pattern analysis），是对传统多变量模式分析的自然延伸，其区别在于感觉刺激（STEMI）的分类是在不同感觉通道之间而非同一通道内部进行的。我们最初产生这一方法的构想，是在试图为 Demio 二十多年前提出的一种神经架构框架提供实验证据时。

在本视频中，我们不仅将向您介绍多变量模式分析（简称 MVPA）的技术细节，还将介绍其理论框架。我们首先会指出 MVPA 与传统的单变量 fMRI 分析之间的一些关键差异。请考虑以下内容。

例如，当向受试者呈现两种不同的视觉刺激（如一个苹果和一个橙子）时，在多次试验的平均结果中，这两种刺激会引发特定的神经活动模式，该模式位于初级视觉皮层，此处用六个假设体素的激活水平来表示。在传统的功能性磁共振成像（fMRI）分析中，分析这些模式的方法基本上有两种。

第一种方法是比较高亮区域整体中刺激所诱导的平均活动水平。然而，这些平均值之间的差异可能并不显著。第二种方法是对每个体素建立减法对比。

将橙子条件下的激活水平减去苹果条件下的激活水平，每个体素所得的差值可以在全脑对比图像上进行可视化。然而，这些差异可能较小，仅在少数体素中达到所需的统计学标准。但与单变量分析方法不同，MVPA 能够通过同时考虑所有体素的激活水平来检测体素间的激活模式。

尽管单独来看，仅有少数激活差异可能具有显著性，但当综合考虑两种模式的整体情况时，它们在统计学上可能确实存在差异。传统fMRI分析与MVPA之间的另一主要区别在于，后者采用了一种称为逆向推断的方法。在传统的fMRI分析中，研究者通常提出的问题类型是：两种不同的视觉刺激是否会引发不同的脑活动。

例如，面孔图像和房屋图像在特定感兴趣区域（如梭状回面孔区）会引发不同的活动水平。相比之下，多体素模式分析（MVPA）通常以逆向推断或解码的形式表达，其核心问题是：根据某一特定脑区的神经活动模式，我们是否能够预测受试者所感知的是两个视觉刺激中的哪一个。然而需要注意的是，从统计学角度来看，断言两种刺激在某一给定脑区引起不同的活动模式，与断言该脑区的活动模式可用于预测诱发刺激，这两种说法是等价的。

换句话说，MVPA 的敏感性优于单变量分析，是因为它同时考虑了多个体素，而不是因为它采用了反向分析的方向。回到之前的例子，让我们考虑一个典型的 MVPA 范式，用于评估观察一个苹果是否比观察一个橙子在初级视觉皮层中引发不同的神经活动模式。第一步，在受试者观看大量需要区分的刺激时，记录其功能性磁共振成像（fMRI）数据。

然后将获取的数据分为训练数据集和测试数据集。训练集中的数据被输入到一个模式分类器中，该分类器试图检测神经活动模式中能够区分两种试验类型的特征。接着，将测试集中的未标记数据提供给该分类器，分类器依据在训练数据集中检测到的模式，为每个刺激对应的测试试验分配最可能的标签。

然后将分类器的预测结果与正确的刺激标签进行比较，并以正确预测的百分比来计算分类器的性能。如我们所见，示例中的分类器在12次中有9次成功匹配了正确的刺激标签，即准确率为75%，而随机水平为50%。这表明橙子和苹果两种刺激在V1区诱发的神经活动模式确实存在一致性的差异。

当然，这一结果的显著性需要通过统计方法加以验证。在进行此类分类实验时，一个需要特别注意的重要问题是：训练数据集和测试数据集必须完全相互独立，因为只有在这一条件下，才能对训练阶段所学习到的模式的可推广性得出有效结论。为此，多变量模式分析（MVPA）范式通常采用所谓的交叉验证范式。

尽管该流程旨在最大限度地利用给定数据集获得更多的训练和测试试验次数，但同时也确保了在各个分类步骤中训练集与测试集之间不会出现重叠。以一个包含八次功能扫描运行的多变量模式分析（MVPA）实验为例：在第一次交叉验证步骤中，分类器使用第一至第七次运行的数据进行训练，并在第八次运行的数据上进行测试。

在第二步中，分类器将在第一至第六次运行以及第八次运行的数据上进行训练，随后在第七次运行的数据上进行测试。按照此方案，共进行八次交叉验证步骤，每次运行均恰好作为一次测试运行。在获得每次交叉验证步骤的分类器性能后，对这些结果取平均值得到整体性能。

互联网上提供了一些可免费使用的软件包用于执行多体素模式分析（MVPA），例如 pi MVPA 以及普林斯顿神经科学研究所提供的工具箱。诸如上述的实验范式已成功用于根据大脑皮层相应区域的神经活动来预测感知刺激，例如，基于视觉皮层的活动来预测视觉刺激，或基于听觉皮层的活动来预测听觉刺激。接下来，我们希望介绍这一基本思想的扩展应用，即不仅在单一感觉模态内，而且在不同感觉模态之间预测感知刺激。

我们的设想基于知觉与记忆回忆之间存在复杂关联这一事实。例如，一个具有强烈听觉暗示的视觉刺激，比如玻璃杯底摔落在地的场景，会自动在我们的脑海中触发一种听觉意象，这种听觉意象与我们此前经历玻璃破碎时所体验过的听觉印象具有相似性。

根据Theo在20世纪80年代末提出的一个框架，破碎基底位置与其相应声音之间的记忆关联被储存在所谓的汇聚-发散区（convergence divergence zones），简称CD区。发散区被概念化为位于感觉系统各个层次上的神经元集合，其名称已表明了这一特性。

各级联合区（CDs）接收来自低级皮层的汇聚性自下而上的投射，同时又向这些相同的低级皮层发出发散性的自上而下投射。由于存在汇聚性的自下而上传入，联合区可被多种感觉模态的知觉表征所激活，例如，既能被破碎玻璃的视觉图像，也能被其声音所激活；而由于发散性的自上而下投射，联合区可调控这些低级皮层的加工过程。

然后，它们可以通过向其他感觉模式的早期感觉皮层发出反馈信号，促进相关图像的重建。根据此框架，考虑一个纯粹视觉但暗示声音的刺激所引发的激活序列。该刺激首先通过汇聚的自下而上投射，在早期视觉皮层中诱导出特定的神经活动模式。

初级视皮层激活第一级 CDs，即 CDZ 级。根据相应初级皮层区域活动的具体模式，CDZ 可能被激活，也可能保持静息状态。CDZ 级向上投射至 cdz 二级，正如 cdz 一级所检测到的那样。

早期视觉皮层中的活动模式，cdz twos 能够在 cdz ones 中检测活动模式，多个 cdz twos 可能被激活，但为简化起见，此处仅通过自上而下的投射示意其中一个。cdz ones 可能同时通过多个额外层级的 c DZs CDZ twos，完成早期视觉皮层中的活动模式。twos 向前投射至多模态联合皮层中的 CDZ ends。

同样，可能会有多个 CDZ 末端被激活，但为简化起见仅展示其中一个。同样地，CDZ 二级也会向 CDZ 一级发出反向信号，从而可能进一步调整最初在早期视觉皮层中形成的模式。CDZ 末端会向所有感觉模态的 CZ 二级区域发出反馈信号。

在听觉皮层中，将构建一种神经模式，使个体能够在脑海中感知到与视觉呈现刺激相关的听觉图像。图中所示向躯体感觉模态的自上而下信号传递，反映了几乎任何视觉刺激同时也暗示着某些触觉关联的事实。因此，该框架预测，暗示视觉刺激的声音将引发特定内容的神经活动模式。

在初级听觉皮层中。利用多体素模式分析（MVPA）来分析这种神经活动模式，应有可能预测受试者所看到的是哪一种暗示声音的视觉刺激。在第一个实验中，记录了受试者观看九种不同物体和事件的视频片段（这些视频暗示声音）时初级听觉皮层的神经活动。

本实验中的感兴趣区域是Semal平面上的一个局限区域，包括初级听觉皮层以及早期听觉联合皮层。在另一项实验中，当受试者观看暗示触觉的五段不同视频片段时，记录其初级躯体感觉皮层的神经活动。该实验中的感兴趣区域包括位于中央后回的初级躯体感觉皮层。

两项研究在听觉研究中均涉及八名受试者。在所有可能的刺激对之间进行的两两区分中，多变量模式分析（MVPA）分类器的表现均超过50%的随机水平。在36种区分中的26种中，分类器的表现显著不同于0.5的随机水平。

同样，在体感研究中，分类器在所有两两区分任务中的表现均优于随机水平，且10项区分任务中有8项达到了统计学显著性。如您所见，通过跨模态多变量模式分析，我们已能够证明：暗示声音或触觉的视觉刺激的感知，会在早期听觉和体感皮层中产生内容特异性的神经表征，这与前文介绍的理论框架相一致。显然，我们所提出的实验范式并不局限于本研究中涉及的感官模态，还可拓展至其他感觉模态。

因此，我们希望其他研究团队能够加入我们，共同拓展此类研究，以增进对如何从环境中引入多模态刺激过程的理解。