东南大学研究团队利用眼动技术开发了一种基于眼动追踪的非侵入式机械臂控制系统

摘要：

有严重语言和运动障碍的人，由于无法有效的控制肌肉的移动，可能存在与外部世界沟通困难的情况。在本研究中，我们开发了一种基于眼动追踪的非侵入式机械臂控制系统。在充分考虑机械臂的空间特性后，我们进行了以用户为中心的设计过程，其中包含八个命令和一个中间实时视频传输用户界面。此外，我们评估了三种眼动注视点处理算法。其中，基于密度的空间聚类和噪声算法的平均准确率达到了 99.3%。在此基础上，我们设计并进行了离线实验，5名被试都能够发送准确率高于 99% 的命令。

实验范式

A、 硬件本研究中使用的机械臂控制系统包括机器人手臂、眼动追踪设备和用户界面。

本研究中的眼动追踪设备是使用SR Research公司生产的EyeLink 1000 Plus眼动追踪设备，该设备具有：高采样率2000 Hz。

myCobot 六轴协作机器人本实验机器人使用的是协作机器人手臂，该系统是一个多功能、轻量级的智能机器人。由中国大象机器人公司开发，具有丰富的硬件和软件交互和多种兼容性。机器人有效支持多平台二次开发帮助用户进行多场景开发。

B、 用户界面设计实验的刺激界面包括八个矩形框和实时摄像机的传输屏幕共有九个区域。在九个区域中，位于左上角和右下角标记为抓住/释放标签，用于控制机器人手臂展开。其它六个标签被标记为向上、向前、向左、向右、向后和向下。这六个矩形框表示六个机械臂移动方向：向上、向前、向后，向左、向右、向下。

C、 程序本研究的离线实验流程设计为：基于初步实验的结果。被试首先听到0.5秒的声刺激。然后，为了确保实验的随机性，用户界面上的八个矩形命令框随机出现一个红色方框，以提醒被试，持续2秒。同时，试次间隔也是2秒。一共进行10次，根据离线实验流程，被试做出选择，并计算其准确度。

数据处理和分析

A、 眼动信号处理使用MATLAB 2020将EDF格式转换为可被识别的MAT格式。

B、 焦点分析为了获得更高的注视精度，我们进行了预实验。使用三种方法：阈值法（TTM），高斯归一化方法（GNM）和基于密度的聚类用于处理被试的注视点数据的算法。

C、 机械臂的智能规划采用智能规划算法控制机械臂末端执行器以指定的姿态移动到指定点。

结果：

结论：

本研究开发了一种基于眼动跟踪控制的机械臂控制系统，以帮助有运动障碍的人进行康复或执行日常任务。我们首先使用机械臂路径智能规划算法获得三维空间数据，然后拟合机械臂的工作盲区。并比较了三种估计用户注视点的算法，并在预实验中比较了它们的性能。在离线实验中，我们基于DBSCAN算法设计了一个具有八个命令和实时视频回放的GUI，以控制机器人手臂完成拾取和放置任务。我们对图形用户界面的创新设计以及DBSACAN算法的评估和使用改善了人眼追踪中的人机交互困境。