摘要：
有效的面部情绪识别（FER）能力在人类交流中起着重要作用，并与儿童的多种语言交流障碍（SCD）密切相关。尽管存在相关性，但对于言语交流能力 (SCA) 和 FER 是如何相互关联的，以及它们的潜在认知加工机制了解很少。为了解决这个问题，我们采集了115名儿童被试在观察具有不同情绪的人脸过程中的眼动追踪数据，并设计了基于机器学习的SCD预测模型以探索 FER 任务期间眼动特征的潜在模式及其 SCA 的相关性。在 SCA 的不同维度和各种眼动特征之间发现了很高的相关性。一组FER凝视模式对SCD特征高度敏感，其预测模型的准确率高达88.9%，为儿童SCD的快速筛查提供了一种可能的技术。
共有115名儿童，年龄从4岁到14岁不等（M=7.95；SD=6.177）实验在一间暗光线的房间里进行。实验刺激通过SR Research Experience Builder实验软件显示在19英寸DELL显示器上（分辨率为1280×1024像素，60pHz刷新率），屏幕距离被试眼睛约75厘米。在整个实验过程中，让被试将下巴放在下巴托上。使用EyeLink 1000 Plus眼动仪（SR Research Co., Canada, https://www.sr-research.com/eyelink-1000-plus/，RMS0.01°，微眼跳分辨率0.05°）采样率1000Hz进行数据采集。
实验分析与结果：
面部兴趣区示意图
统计测试GBDT模型输入的65个眼动特征
三个级别的18个SCA评估分数
本研究的实验流程
眼动特征与SCA得分的Pearson相关结果
结论：
这项研究对眼动追踪过程中测量的面部情绪识别处理模式进行了广泛的探索—儿童言语交际能力与综合评价。基于机器学习的SCD预测模型旨在将SCA正常组和可能的潜在组进行分类。我们发现五个方面SCA分数（发音、语义、表达效率、流利性、语法）与各种眼动特征广泛相关，展示儿童SCA能力与其FER处理模式之间的密切关系。SCD预测模型准确率高达88.9%，表明该模型可能是一种快速筛查儿童SCD的潜在技术。关于SCA和FER之间关系的许多详细研究结果首次被发现，即儿童的发音技能与FER关系特别密切。一组FER凝视模式对SCD特征高度敏感，包括瞳孔大小、试验持续时间和注视嘴巴区域。它增强了儿童言语交际能力的表征，这种行为模式将能帮助理解其背后的加工机制，并为干预和治疗提供线索。Jingwen Yang, Zelin Chen, Guoxin Qiu, Xiangyu Li, Caixia Li, Kexin Yang, Zhuanggui Chen, Leyan Gao, Shuo Lu,Exploring the relationship between children's facial emotion processing characteristics and speech communication ability using deep learning on eye tracking and speech performance measures,Computer Speech & Language,Volume 76,2022,101389,ISSN 0885-2308,https://doi.org/10.1016/j.csl.2022.101389.
本文部分内容翻译自参考文献，仅做学习分享使用，若存在错误及疑问，请后台联系我们！
