基于眼动和脑电多模态融合技术进行RSVP范式目标检测的神经网络

本文由中国科学院大学人工智能学院研究团队利用EyeLink眼动仪及EEG设备发表在Neural Networks期刊杂志，影响因子9.66分。

摘要：
基于快速串行视觉呈现（RSVP）范式的脑-机接口（BCI）通过检测诱发事件相关电位（ERP）来实现目标图像的解码检测。目前，基于RSVP的脑机接口系统的解码精度限制了其实际应用。本研究引入眼动（凝视和瞳孔信息），称为眼动模态，作为另一种有用的信息源，与基于EEG的脑机接口联合检测，形成一种新的目标检测系统，用于RSVP任务中的目标图像检测。在进行了RSVP范式实验时，同时记录了目标检测任务中的脑电信号和眼动信号，并构建了包含20名被试的多模态数据集。本文章提出了一种跨模态引导融合网络，充分利用脑电和眼电多模态融合，提高RSVP解码性能。在该网络中，建立了一个双分支主干网络，用于提取这两种模态的特征。提出了一种跨模态特征引导（CMFG）模块，用于引导眼电模态特征与脑电模态特征互补，从而更好地提取特征。本研究提出了一种多尺度多模态重加权（MMR）模型，通过分析模态间和模态内的相互作用来增强多模态特征。同时，提出了一种双激活融合算法（DAF）对增强后的多模态特征进行调制，以实现有效的融合。在RSVP任务中引入EYE眼动模态是非常有效的，它进一步提高了基于RSVP的目标检测系统的性能。

背景：
随着深度学习方法在计算机视觉和语音识别领域的成功，它们已经成功应用于RSVP解码。到目前为止，还没有相关的工作来设计一种基于EEG和EYE模态的多模态方法来提高RSVP解码性能。在其它的脑机接口任务中，一些多模态方法已经被应用于融合两种模态。Lu、Zheng、Li和Lu（2015）使用特征级融合（FLF）连接EEG和EYE模态的特征向量，以提高多模态情感识别的性能等。因此，本研究提出一种跨模态引导加权网络，该网络能够充分考虑模态内和模态间的复杂交互作用，进行多模态融合，获得更好的目标检测性能。

实验设置
在实验中，为每个被试收集了十组数据。使用一个数据块训练和验证模型；然后使用剩余的九个数据块来测试该模型。为了全面评估目标检测性能，我们进行了10倍交叉验证。每个被试的最终表现为10倍交叉验证检测结果的平均值。

来自文献图1

数据采集和预处理
使用EyeLink 1000 plus眼动追踪系统（SR Research），采样率为1000Hz。以及64通道（NeuroScan）脑电系统，采样率为1000Hz。刺激出现在17英寸的刺激屏幕上。在实验过程中，被试坐在距离刺激显示器100 cm。被试在任务期间将下巴放在下巴托上，尽量减少头部移动并充分关注刺激材料中的图像。
每个被试进行实验之前，使用9点校准，并验证其平均误差小于0.5°。

预处理阶段有两个主要部分。首先，EEG数据带通滤波0.1-15Hz，刺激分段0-1000ms。预处理后，样本对（EEG）的试验次数模态样本和EYE模态样本）为14000，其中目标样本数为560，剩余的样本是非目标的。本文中的结果取决于在单次试验EEG和EYE模态样本对上。

实验结果
多模态事件相关反应分析
图3（a）和（b）中，我们可以清楚地观察到Pz和Oz通道上N200和P300处目标的成分。

各种神经网络的比较

将MMR模块中的重新加权权重可视化为单个分析。

更多数据结果展示，请参考原文献。

结论
本研究将眼动（称为eye模态）引入基于RSVP的目标检测任务中，并提出了一种跨模态引导和重加权网络，以整合来自EEG和EYE模态的特征信息。实验结果表明，与其他类似方法相比，我们的方法提高了RSVP解码的准确性。融合研究表明，每个网络模块都提高了解码性能。可视化结果显示，所提出的CMFG模块通过允许特征引导来改进EYE模态的特征提取，而MMR模块可以增强两种模态的辨别部分。这些结果证明了通过结合EEG和EYE模态可以将我们的交叉模态引导和重加权网络应用于RSVP目标检测任务的可行性。

参考文献：
Jiayu Mao, Shuang Qiu, Wei Wei, Huiguang He, Cross-modal guiding and reweighting network for multi-modal RSVP-based target detection,Neural Networks,Volume 161,2023,Pages 65-82,ISSN 0893-6080,https://doi.org/10.1016/j.neunet.2023.01.009.

本文仅做学习分享使用，翻译内容仅供参考，如有错误，请以原文献为准。若有疑问及侵权，请后台联系我们！