来源： 编辑：博润视动 发布时间：2022-06-11
Jing Zhu ; Ying Wang ; Rong La ; Jiawei Zhan ; Junhong Niu ; Shuai Zeng ; Xiping Hu
本文利用脑电图-眼动同步采集网络，同时记录轻度抑郁症患者和正常对照者在自由观看期间的脑电信号和眼动信号。然后，我们考虑一个多模态特征融合的方法，可以最好地区分轻度抑郁症和正常对照组，以此作为实现我们开发一个客观，有效的多模式系统的长期目标中的一小步，并协助医生在诊断和监测轻度抑郁症提供帮助。在多模态去噪自动编码器的基础上，采用特征融合和隐层融合两种特征融合策略对脑电信号和眼动信号进行融合，以提高分类器对轻度抑郁症的识别性能。实验结果表明，EEG-EM 同步采集网络能够保证记录的眼动和脑电数据同步，并且两种融合方法都能够提高轻度抑郁症的识别精度，从而证明了两种方法的互补性。与单模态分类方法相比，特征融合方法的识别准确率提高了1.88% ，隐层融合方法的识别准确率提高了7.36% ，特别是本文的最高分类准确率为83.42% 。这些结果表明，结合脑电信号和眼动信号的输入数据对多模态深度学习方法在实现轻度抑郁症的实时监测和识别方面是很有前景的。
引言：
研究方法：
脑电数据由Geodesic 128电极记录EEG数据。但是，由于时间性能和计算效率的考虑，仅使用了16个电极（Fp1，Fp2，F3，F4，F7，F8，C3，C4，T3，T4，P3，P4，T5，T6，O1，O2）。这些电极的选择是基于与抑郁症相关的先前研究。使用Net Station软件将记录的EEG数据导出为MATLAB文件格式。删除不良通道并进行了基线校正、分段、滤波、ICA去噪等在MATLAB R2010a中完成。
眼动数据由EyeLink 1000桌面式眼动仪使用远程摄像头（SR Research, Ontario, Canada, 250 Hz）收集。眼动数据预处理方法包括进行两种经典的数据挖掘方法，填充缺失数据和数据标准化。例如，如果参与者没有把注意力集中在图片上，或者眨眼太频繁，眼球追踪设备可能会失去捕获，记录的数据将有一个带有空值的元组; 但是，处理带有空值的元组有不同的策略方法。如果一个元组包含许多缺少值的属性(超过50%) ，那么该元组将被舍弃。但是，如果一个元组只包含少数缺失值的属性(少于50%) ，则空值由平均值或中值填充。在实际中，平均值可以用于对称数据分布的情况，而中值可以用于偏态数据分布的情况。在我们的研究中，超过50% 的数据缺失的记录会被舍弃，平均值完成数据的部分缺失值。此外，使用的测量单位会影响数据分析。一般来说，用较小的单位表示会导致该属性的范围较大，从而导致该属性具有较高的“权重”或“效果”。为了避免依赖于测量单位的选择，应对数据进行规范化。在这里，我们使用 z-score 标准化方法来进行分析。
对原始脑电数据进行分段后，用Hanning滤波器过滤出5个频带，即 delta (1-4hz)、 theta (4-8hz)、 alpha (8-14hz)、 beta (14-31Hz)和 gamma (31-40hz) ，用于进一步特征提取。特别是，我们计算了10个线性特征，如最大功率，方差和总功率。
对于预处理后的眼动数据，首先采用信号处理方法处理瞳孔大小特征，我们使用 EDF2ASC 软件将 EDF 文件(EyeLink 1000 Desktop Eye Tracker记录的源文件)转换为 ASC 文件，提取ASC文件中的瞳孔大小信号数据。用于瞳孔大小信号数据的预处理方法与用于EEG信号的预处理方法相同。过滤出五个频带，即delta（0-0.2 Hz），theta（0.2-0.4 Hz），alpha（0.4-0.6 Hz），beta（0.6-0.8 Hz）和gamma（0.8-1 Hz） ，并为每个频带提取了12个非线性特征（与EEG一致）和两个线性特征（功率谱密度平均值和功率谱密度方差）。其次，导出了EyeLink Data Viewer软件中可用的16种统计功能，包括blink_count，ave_blink_duration和平均注视时间等。值得关注的是EyeLink Data Viewer是一种可视化工具，允许用户显示，过滤和创建来自EyeLink 1000 EDF数据文件的输出报告。因此，我们总共提取了86个眼动特征（5个频段* 14个特征+16个传统特征）。
当训练样本的数量少于特征向量的数量时，分类器往往会产生不合适的结果，因此，确定特征选择可以来解决这个问题。在我们的研究中，我们有1760维脑电特征，有必要进行一定的特征选择。基于先前的研究，我们使用了WEKA（版本3.8.1）中实现的五种常见搜索算法：BestFirst（BF），GeneticSearch（GS），RankSearch（RS），LinearForwordSelection（LFS）和GreedyStepwise（GSW），基于相关特征选择（CFS）。
自动编码器（AE）是一种特殊的神经网络。
为了通过融合EEG和EM数据来提高轻度抑郁症的识别准确性，我们使用多模式降噪自动编码器（MDAE）来学习EEG和EM数据的共享表示（高级功能）
我们选择了不同的分类器对数据进行分类，即线性SVM ，径向基函数SVM（RBF SVM），梯度提升决策树（GBD树），随机森林（RF），自归一化神经网络（SNN）和批量归一化多层感知器（BNMLP）
实验
实验被试：
51名兰州大学大学生(36名男生，15名女生)，年龄在18岁至24岁之间。所有参与者都是右撇子，视力正常或矫正到正常，没有精神病理学史。 实验之前，要求参与者完成贝克抑郁量表测验II（BDI-II）。BDI-II是一种广泛使用的工具，可提供有关抑郁症状的存在和严重程度的信息，并可用于诊断目的，临床决策或评估治疗效果。所有受试者在实验前均签署了知情同意书，并因参与实验而获得奖励。本实验获得兰州大学第二医院伦理委员会的批准。
实验材料：
实验刺激材料来自中国标准情绪库（CFAPS）。我们从CFAPS中选择了45张中性脸和15张负片，包括3张愤怒的脸，3张悲伤的脸，3张惊讶的脸，3张恶心的脸和3张受惊的脸。
实验仪器：
EyeLink 1000 设备（SR Research, Ontario, Canada, 250 Hz）
EGI 128导脑电设备
同步采集模式：
实验流程：
研究结果：
Neu_Block上的单峰EEG分类结果
Emo_Block上的单峰EEG分类结果
EM单峰
Neu_Block上的隐藏层融合的分类结果
Emo_Block上的隐藏层融合的分类结果
笔者感悟：
技术的发展终将在改善人类疾病中会发挥者良好的作用，本研究中通过脑电-眼动多模态网络，然后将数据算法化来识别抑郁症，这一项研究对未来医学上确诊患者将带来有利的技术支持，希望这类研究越来越多。
参考文献：
J. Zhu et al., "Multimodal Mild Depression Recognition Based on EEG-EM Synchronization Acquisition Network," in IEEE Access, vol. 7, pp. 28196-28210, 2019.