跨多样化数据集的脑电情感识别增强型加权特征相关性联合方法

摘要

本文聚焦于基于脑电图（EEG）的情绪识别，这是神经科学与情感计算领域的一个新兴方向。传统的线性方法存在局限性，难以充分表征视频中复杂的情绪结构。为解决这一问题，作者提出了一种新模型——联合加权特征相关性（Combined Weighted Feature Correlation, CWFC），用于捕捉情绪之间的关联关系。该模型在带通滤波后，采用独立成分分析（ICA）、离散小波变换（DWT）和快速傅里叶变换（FFT）来提取EEG信号中的非线性特征。随后，利用长短期记忆网络（LSTM）选择最优特征，并通过随机森林分类器对这些特征进行评估。在数据增强方面，引入基于生成对抗网络（GAN）的方法，在DEAP数据集上分别达到了88%（效价）和86%（唤醒度）的准确率，显著提升了模型性能。实验结果表明，GAN数据增强有效提高了分类表现。该模型在多个数据集上均得到验证，尤其在SEED数据集上对情绪状态的整体分类准确率达到89%，证明了CWFC方法的广泛适用性。

摘要

利用脑电图（EEG）信号进行情绪识别是情感计算与神经科学领域中的一个活跃研究方向，有助于科学家深入探索与情绪相关的脑部活动机制。与以往主要关注线性EEG特征的研究不同，本研究聚焦于非线性特征，以更精确地刻画情绪反应中的细微变化。受此启发，本文提出一种名为联合加权特征相关性（Combined Weighted Feature Correlation, CWFC）的方法，旨在探究非线性成分对情绪检测性能的影响。首先，采集EEG数据，并通过带通滤波器进行预处理，以分离出β、α、γ、δ和θ等频段。为识别复杂的情绪模式，采用独立成分分析（Independent Component Analysis, ICA）、离散小波变换（DWT）和快速傅里叶变换（FFT）进行特征提取。这些特征可被整合为联合特征，输入CWFC模型，从而提升模型的判别能力与整体预测准确性。随后，采用随机森林分类器评估这些联合特征的重要性。所提出的方法在最优特征选择后引入生成对抗网络（GAN）数据增强技术（并着重结合LSTM）。在DEAP数据集上，该增强方法取得了高达88%的效价识别准确率和86%的唤醒度识别准确率，显著提升了情绪识别的准确水平。在未使用GAN数据增强的早期DEAP数据集上，该模型的效价和唤醒度识别准确率分别为62%和65%。此外，该模型在SEED数据集上能够有效区分中性、负性与正性情绪状态，平均准确率达到89%。本文通过深入分析与对比研究，证实了结合GAN数据增强的CWFC模型在基于EEG的情绪识别任务中，于多个数据集上均表现出优越性能。

引言

情绪识别在人类互动与交流中具有重要意义。为了建立成功的人际关系，个体必须能够感知并理解情绪，这在心理学、神经学以及人机交互等多个领域均具有深远影响¹。近年来，基于脑电图（EEG）的脑机接口（BCI）已成为研究人员用于检测情绪的重要工具。尽管基于EEG的BCI为研究人脑电活动提供了直接窗口，并成为探索情绪状态的合适研究手段，但通过机器学习技术与基于EEG的BCI实现情绪状态的自动且准确分类，从根本上改变了情绪识别领域²。

在以往的研究中，情感识别已被引入，并在医疗保健、人机交互和神经科学等多个领域展现出其重要性³。尽管已有显著进展，当前基于脑电图（EEG）的情感识别研究仍存在明显的研究空白。首先，文献中提出的方法通常采用单一领域的特征提取（例如频谱或时频特征），或仅使用可单独获取的非线性描述符，这些方法仅依赖于复杂且非平稳EEG信号的部分表征，难以充分建模。其次，尽管多种非线性特征已被证明具有较强的判别能力，但它们通常被独立使用，忽略了跨域特征之间的关联性。这一限制使得这些方法在建模与情绪脑激活相关的多尺度及源水平动态过程方面能力不足。第三，大多数深度学习方法旨在优化分类性能，却未充分考虑特征的可解释性、冗余度降低以及在类别不平衡情况下的鲁棒性。因此，在电极配置、采样率（128–256 Hz）和记录时长（30–60 s）不同的研究之间，跨数据集的泛化能力仍是一个尚未解决的问题。情感智能的主要维度如图1所示。

为了克服上述缺点，本文提出了一种联合加权特征拼接（Combined Weighted Feature Concatenation, CWFC）框架，该框架在一个统一架构中聚合多域非线性特征。与传统方法将独立成分分析（ICA）、离散小波变换（DWT）和快速傅里叶变换（FFT）视为独立的特征提取手段不同，我们通过加权相关性对源级分解（ICA）、多分辨率时间动态特征（DWT）和频谱功率表征（FFT）进行建模。该结构有助于模型利用互补的神经信息并减少冗余，从而提升判别能力。此外，本研究还结合了特征重要性排序和基于生成对抗网络（GAN）的数据增强方法，以在最少且不平衡的脑电图（EEG）样本上实现鲁棒性。通过长短期记忆网络（LSTM）分类器整合多模态特征关系和时间依赖性，该联合模型在不同EEG采集条件下表现出更优的泛化性能。因此，本研究的主要贡献在于解决了现有方法中非线性EEG表征缺乏整合以及泛化能力不足的问题，提出了一种系统化、可重复且稳定的、适用于真实生活场景脑机接口（BCI）应用的情感识别框架。

图1：情感智能的各个阶段。情感智能的各个阶段展示了如何从脑电信号中提取情绪识别信息，并进一步用于心理健康评估中情绪问题的诊断与监测。请点击此处查看此图的放大版本。

用于情绪识别研究的非线性脑电图（EEG）特征能够更深入地揭示情感加工过程中涉及的神经机制。作为一种无创、具有高时间分辨率且对快速神经动态敏感的技术，EEG已被广泛用于研究与情绪状态相关的脑活动。由于EEG信号具有非平稳性和复杂性，非线性方法尤其适用于其分析，能够更好地建模情绪过程中诱发和诱导的神经活动。在众多计算模型中，情绪通常依据现有的理论模型进行表征，例如基本情绪模型⁴（BEM）和环形模型^5,6。其中，基本情绪模型认为存在一组基于生物学的基础核心情绪^7,8（尤其是爱），而环形模型则将情绪按照两个基本维度进行组织：效价⁹（正性–负性）和唤醒度^10,11（低–高）。如图2所示的效价–唤醒度框架在基于EEG的情绪识别研究中被广泛采用，主要因其与标准数据集一致，并适用于连续情绪状态的建模。这种基于维度的表征方式为将神经活动映射到情绪类别提供了系统且可量化的途径，从而有助于基于机器学习的情绪分类。

图2：效价-唤醒情绪表征。双轴示意图展示情绪状态，其中效价表示积极或消极情绪，唤醒度反映从低到高的情绪强度。请点击此处查看该图的放大版本。

唤醒度是指情绪的强度，具有正性或负性效价。近年来，情绪分析主要关注使用脑电图（EEG）来探究情绪的神经相关性。特征提取至关重要，它将脑电信号映射为时域、频域以及时频域中的量化指标。一些最常见的非线性特征包括小波熵¹²、相关维数¹³，而本研究提出的方法采用一种结合加权的策略，融合了离散小波变换（DWT）、独立成分分析（ICA）和快速傅里叶变换（FFT）¹³。标准的DEAP¹⁴和SEED¹⁵数据集可用于可重复性评估。传统的线性特征往往已不再充分，亟需设计非线性方法¹⁶。基于频带的情绪模式如图2所示，各脑电频段贡献权重列于表1中。

不同频率波段	频率波段范围（Hz）	频率波段在情绪识别中的功能
Gamma	大于 30 Hz	Gamma 活动可能反映了情绪加工过程中情绪信息的整合以及多个脑区之间的同步化。
Beta	13 至 30 Hz 之间	Beta 功率的变化可能是情绪唤醒以及与情绪表达相关的运动反应的标志。
Alpha	8 至 13 Hz 之间	情绪状态与 Alpha 功率的变化相关，尤其是 Alpha 不对称性。当情绪被唤醒并更加关注情绪输入时，常观察到 Alpha 功率降低。
Theta	4 至 8 Hz 之间	情绪体验可能与 Theta 功率升高相关，这可能有助于情绪记忆的编码与提取。
Delta	0.5–4 Hz	在情绪检测背景下，Delta 活动增加可能提示一种放松或静息的情绪状态。

表1：情感识别中脑电频率波段的功能及其不同范围。 该表格概述了 commonly recognized 脑电（EEG）频率波段，明确了各自的频率范围，并描述了其在情感识别研究中的功能意义。重点阐述了每个波段如何与不同的认知和情感过程相关联，为解读情感状态分类中的脑电信号提供了基础。

基于脑电图的情绪识别技术的最新发展得益于深度学习和非线性信号处理领域的突破。基于卷积神经网络（CNN）的模型通过电极选择和超参数调优实现了高性能表现。¹⁷而采用动态微分熵的受试者无关CNN模型则增强了可穿戴性并降低了复杂度¹⁸但针对此问题的模型通常无法在不同受试者之间进行泛化。为了建模序列依赖性，研究提出了基于注意力机制的长短期记忆网络（LSTM）架构，并引入了领域自适应机制。^19,20 这需要大量计算且缺乏可解释性。在深度网络之外，非线性方法和拓扑学方法也受到了广泛关注。通过采用基于持久同调的相空间分析，实现了对细微情绪状态的增强区分。^21,22集成方法通过结合熵和分形输出，并采用多种特征选择，已被证实可提升预测性能。混合卷积神经网络-长短期记忆网络（CNN-LSTM）模型²³ 在DEAP数据集上优于直接的效价-唤醒度分类方法²⁴ 多列卷积神经网络有效利用了电极的空间分布²⁵地形特征图^26,27 基于拓扑特征图（TOPO-FM）和全息特征图（HOLO-FM）的特征表示在多个公开可用的数据集上进行了评估^28,29,30尽管这些结果在分类准确率方面显示出显著进展，但模型在跨受试者泛化能力、可解释性以及对脑电图（EEG）采集条件异质性的鲁棒性方面仍存在挑战。作者³¹ 对应用软计算领域中的主要挑战、方法及未来发展方向进行广泛综述，重点关注信号质量、特征提取和可扩展性问题。在一项相关研究中³²，一种改进的功能连接性测量方法——跨不同脑电频率波段的校正振幅包络相关性，可用于识别不良驾驶状况，凸显了多波段连接性在实时行为监测中的优势。

在更广泛的神经影像学研究背景中^33,36，多模态学习方法的综合概述结合了脑电图（EEG）与面部表情或生理数据等不同信号，以实现更可靠的 emotion 检测，并展示了模态融合在显著提升人工智能系统性能方面的潜力。除了 DEAP 和 SEED 数据集之外，DREAMER 数据集也是基于 EEG 的 emotion 识别研究中代表性基准数据集的最新补充。DREAMER 由 Katsigiannis 和 Ramzan³⁷ 提出，包含受试者在观看视听情绪刺激时通过低成本无线设备采集的 EEG 和 ECG 信号。该数据集的内容适用于基于效价（valence）、唤醒度（arousal）和支配度（dominance）层次结构的情绪维度建模，符合情感的环形模型（circumplex model of affect）。由于其设计严谨的实验范式，DREAMER 数据集已被广泛用于深度学习及被试无关 emotion 识别模型的评估。该数据集可用于与其他维度 emotion 表征数据库进行比较，并已证明其作为 cirrus dance、DEAP 和 SEED 数据集的补充，是一种有价值的替代选择。这些数据集在情感计算研究中被广泛使用，涵盖了在受控实验条件下、采用标准化情绪刺激所采集的 EEG 记录。本研究所分析的数据仅来自以下数据集：该数据集包含 32 名受试者在观看情绪性视频片段时采集的 32 导 EEG 信号，数据已标注效价和唤醒度信息；SEED：在基于电影的情绪诱发实验中，对受试者进行多会话 EEG 记录，并附有类别化 emotion 标签；DREAMER：在通过视听刺激诱发情绪过程中记录的 EEG 和 ECG 数据集。所有数据集最初均依据其原始发表文献中报告的标准化协议、硬件配置以及标签验证流程进行采集。本研究仅分析了来自这些数据集的 EEG 信号。

方案

本研究未涉及任何直接的人体受试者参与。研究中使用的所有数据集均来自公开可访问的平台，并根据其声明的使用政策进行使用。因此，无需正式的伦理审批。

1. 计算环境准备

1. 在标准工作站上准备 Python 环境（版本 3.8 或更高）。
2. 使用 pip 安装 TensorFlow (v2.x)、Keras、Scikit-learn、NumPy、SciPy、MNE 和 PyWavelets。
3. 在 NumPy 和 TensorFlow 中固定随机种子（seed = 42），以确保实验结果的一致性。

2. 数据集获取与构建（DEAP、SEED 和 DREAMER）

1. 从 DEAP、SEED 和 DREAMER 的公开数据库中获取 EEG 数据集。本研究使用的原始 EEG 数据集可通过公开记录获得。DEAP 数据集（http://www.eecs.qmul.ac.uk/mmv/datasets/deap/）、SEED 数据集（BCMI 实验室数据库：http://bcmi.sjtu.edu.cn/~seed/seed.html）和 DREAMER 数据集可通过 IEEE 数据端口获取（https://ieee-dataport.org/documents/dreamer-dataset）。
2. 提取所有受试者和试验的原始 EEG 记录（.dat）。
3. 将记录转换为 NumPy 数组格式，并按受试者和试验进行排列以供处理。
4. 读取 DEAP 数据集并提取所有受试者的 EEG 记录。保留总共 32 个 EEG 通道（从 Fp1 到 O2），并移除非 EEG 的生理信号。
5. 下载 SEED 数据集，并提取每次实验中的所有 EEG 记录。如有需要，将采样率下采样至 200 Hz。应用 0–75 Hz 带通滤波器，并将信号分割为以片段为单位的数组（eeg_1 至 eeg_15）。
6. 为每一帧数据标注情绪标签（−1：负性，0：中性，+1：正性），并将数据重排为通道 × 时间格式。
7. 获取 DREAMER 数据集，并提取所有受试者/试验的 EEG 记录。选择可用的 EEG 通道以及情绪标签。
8. 将每次实验划分为指定时长的小时间窗，并将数据重塑为按受试者组织的结构化矩阵，其中包含效价、唤醒度和支配度评分的编码分类变量。
   注：用于分析的预处理后 DEAP 数据集的详细参数见表 2，而图 3展示了效价与唤醒度评分的分布情况。

不同步骤中记录的信号	DEAP 数据集中的 EEG（脑电图）设备
采集的数据	24 名受试者 (s02, s04, s05, s06, s07, s08, s09, s10, s11, s12, s13, s14, s15, s16, s17, s18, s19, s20, s21, s22, s23, s24, s25, s26)
通道索引	"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
窗口大小	256
视频/试验次数	40
步长	16（每 0.125 秒更新一次）
采样率	128 Hz
受试者列表	32
情绪维度	Arousal（唤醒度）、Valence（效价）

表2：数据集预处理说明。脑电图数据集预处理步骤的概述，包括滤波、伪迹去除、分段和归一化，这些步骤在特征提取和模型训练之前完成。

图3：DEAP数据集前40条数据的效价-唤醒度表示。 基于DEAP数据集前40次脑电图（EEG）试验的效价-唤醒度映射，展示了情绪状态在这两个维度上的分布与变异性。该表示方法有助于理解情绪反应的分布范围，并为情绪分类的特征提取过程提供支持。 请点击此处查看该图的放大版本。

注意：不同脑区的脑电图电极位置如图4所示。该通道配置遵循DEAP、SEED和DREAMER数据集中用于数据采集的标准头皮脑电图电极放置方案。电极分布于额叶、颞叶、顶叶和枕叶区域，可覆盖与情绪处理相关的局部及广泛性神经活动。

图4：脑电信号电极示意图。 用于头皮信号采集的脑电图10–20国际系统的电极放置位置。请点击此处查看此图的放大版本。

3. 信号重采样与窗分段

1. 使用 scipy.signal.resample() 将 SEED 脑电图记录从 512 Hz 降采样至 200 Hz，以降低计算复杂度。然后将每次试验分割为长度为 256 个样本的固定长度窗口，步长为 16 个样本。
2. 对 DEAP 和 DREAMER 数据集（128 Hz 数据集）保留原始采样率。步长为 16 个样本（在 128 Hz 下重叠 0.125 秒）。
3. 将每次脑电图试验分割为长度为 256 个样本的窗口，步长为 16 个样本，以生成重叠的片段。

4. 带通滤波与频率分解

1. 确定采样频率（fs），并将滤波器阶数设为 2。计算奈奎斯特频率（0.5 × fs），并对截止频率进行归一化处理。
2. 使用 scipy.signal.butter() 设计巴特沃斯带通滤波器。
3. 使用 scipy.signal.filtfilt() 进行零相位滤波，以避免相位失真。
4. 提取五个经典的脑电频率波段：delta 波（0.5–4 Hz）、theta 波（4–8 Hz）、alpha 波（8–13 Hz）、beta 波（13–30 Hz）和 gamma 波（30–45 Hz）。

5. 使用独立成分分析去除伪迹

1. 使用 Scikit-learn 中的 FastICA 方法，将成分数量设置为与 EEG 通道数量相等。
2. 利用方差和峰度等统计指标识别出含有伪迹的成分。
3. 移除已识别的成分，并重建去伪迹后的 EEG 信号以用于后续分析。

基于CWFC的微分熵特征提取

1. 沿通道轴计算每个滤波后脑电图（EEG）片段的方差。
2. 使用以下公式计算微分熵：
3. 提取所有频段和脑电图（EEG）通道的熵值。
4. 将得到的熵特征存储于结构化的特征矩阵中。

7. 离散小波变换（DWT）特征提取

1. 使用“db4”母小波进行多级小波分解。
2. 将每个脑电图（EEG）片段分解至第4层。
3. 从每一级分解中提取统计描述符（均值、方差、能量、熵）。
4. 将离散小波变换（DWT）提取的特征附加到现有的特征矩阵中。

8. 使用 FFT 进行光谱特征提取

1. 对每个 EEG 片段使用 numpy.fft.fft() 进行快速傅里叶变换。
2. 计算定义频率波段内的谱功率密度。
3. 提取所有通道的频带功率值。
4. 将基于 FFT 的特征与先前提取的特征进行拼接。

9. 通过随机森林进行特征选择

1. 使用基尼不纯度准则，训练一个包含 300 棵树的随机森林分类器。
2. 将树的最大深度设置为 20，并启用带袋外估计的自助采样。
3. 根据重要性得分对特征进行排序。
4. 移除低于预定义重要性阈值的特征，以减少冗余。

10. 数据划分

1. 采用分层抽样对数据集进行随机化处理，以保持情感类别间的类别平衡。
2. 将数据集划分为10个相等的部分。在每次迭代中，使用其中9个部分进行训练，1个部分进行测试，并确保每个部分恰好被用作一次测试集。
3. 对每一折均采用此方法，并计算平均性能指标（准确率、精确率、召回率、F1分数）及标准差，以评估模型的稳定性。
   注意：所有划分均需以样本为单位进行，确保在每一折内训练集与测试集之间无样本重叠。

11. 使用生成对抗网络进行数据增强

1. 使用 Keras Sequential API 构建特征级生成对抗网络（GAN）。为生成器和判别器网络定义全连接层。
2. 使用少数类特征向量对 GAN 进行 200 轮训练。从训练好的生成器中生成合成特征样本。
3. 仅保留判别器评估为高置信度的合成样本。将筛选后的合成样本与原始训练集合并。

12. LSTM 模型架构

1. 使用 Keras 构建一个序列式 LSTM 模型。添加第一个 LSTM 层，包含 128 个隐藏单元，并设置 return_sequences=true。
2. 添加第二个 LSTM 层，包含 128 个隐藏单元。在每个 LSTM 层之后应用 dropout（比率 = 0.3），以防止过拟合。
3. 添加一个具有 SoftMax 激活函数的 Dense 输出层，用于多类别分类。

13. 模型编译与训练

1. 使用学习率为 0.001 的 Adam 优化器编译模型。
2. 采用分类交叉熵损失函数。以批量大小为 64 对模型进行 80 个周期的训练。
3. 基于验证准确率应用早停策略，耐心值为 10。

14. 性能评估

1. 使用独立的测试数据集评估训练好的模型。计算性能指标，包括准确率、精确率、召回率和 F1 分数。
2. 保存训练好的模型权重和评估结果，以确保可重复性。这种组织良好的流程可保证所提出的框架能够被轻松复现。

结果

收集两个不同的脑电图（EEG）数据集——DEAP 和 SEED，构成了分析的第一阶段。图5展示了效价-唤醒度的图形，其中LAHV、HALV、LALV和HAHV分别为低唤醒高愉悦度、高唤醒低愉悦度、低唤醒低愉悦度和高唤醒高愉悦度的缩写。已报告四种心理反应类别：HAHV、LAHV、HALV 和 LALV。每种状态均与两个基本情绪特征——效价和唤醒度相关联，并通过其均值和标准差进行测量。参与者对HAHV条件的效价评分均值为7.12（标准差 = 1.04）。 arousal评分结果的均值和标准差分别为6.81和0.84。四种测试情境在情感状态表征上显示出显著差异。在LAHV状态下，平均效价得分为6.67（标准差 = 1.09），表明情绪总体为正性；平均唤醒得分为3.87（标准差 = 1.09），提示处于中等唤醒水平。相比之下，HALV状态下的效价均值较低，为3.19（标准差 = 1.23），表明为负性情绪状态，而唤醒均值上升至6.79（标准差 = 0.96），表明生理唤醒程度更高。在低唤醒低效价状态（LALV）下，效价均值为3.57（标准差 = 1.12），唤醒均值为3.47（标准差 = 1.19），描述了一种低效价、低唤醒的状态。这些结果突显...

讨论

本文在两个基准数据集（即 DEAP 和 SEED）上对基于脑电图（EEG）的情绪识别进行了深入研究，结果表明所提出的 CWFC 模型能够有效捕捉与情绪相关的判别性信息。与以往主要依赖线性描述或特征类型的研究不同，该方法统一了多种相互关联的非线性特征提取方式，并通过加权相关模型利用这些特征来推断其功能关系。这种多视角特征融合是本研究的主要创新点，有助于捕捉 EEG 情绪处理过程中不同特征之间微妙的非线性动态特性及相互依赖关系。实验结果证明，CWFC 相较于传统机器学习方法以及强大的深度学习基线模型具有明显优势。即使不进行数据增强，CWFC 在 DEAP 数据集上也达到了 61% 的准确率，高于逻辑回归和 EESCN。尤为重要的是，引入基于生成对抗网络（GAN）的数据增强（本文的主要贡献之一）显著扩展了训练数据分布，缓解了基于 EEG 的情感计算中数据稀缺的问题，在效价（valence）上达到 88%，在唤醒度（arousal）上达到 86%。在 SEED 数据集上，该方法同样表现出一致的趋势，CWFC 实现了平均 89% 的识别率，优于 EESCN，进一步验证了所提出模型在不同受试者情绪状态下的鲁棒性和泛化能力。综上所述，本文做出了三项主...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
DEAP 数据集	伦敦玛丽女王大学	v1.0	脑电情绪数据集
DREAMER 数据集	IEEE DataPort	公开发布	脑电情绪数据集
Keras	Google LLC	2.x (TensorFlow 后端)	神经网络建模
工作站	联想	Intel Core i7，16 GB 内存，8 GB NVIDIA GPU	模型训练与计算
MNE-Python	MNE 开发团队	1.x	脑电预处理
NumPy	NumPy 开发团队	1.x	数值计算
操作系统	微软公司	Windows 11 (64 位)	计算平台
Python	Python 软件基金会	3.8+	编程环境
PyWavelets	PyWavelets 开发团队	1.x	小波分解
Scikit-learn	scikit-learn 开发团队	1.x	机器学习工具
SciPy	SciPy 社区	1.x	信号处理与重采样
SEED 数据集	上海交通大学 BCMI 实验室	公开发布	脑电情绪数据集
TensorFlow	Google LLC	2.x	深度学习框架