增强现实下的机械臂控制：基于稳态视觉诱发电位的新策略

由于老龄化、意外事故和疾病等诸多原因，我国失能和半失能人口日趋增多，其中处于失能或半失能状态的老年人已经超过4×10⁷，如何改善他们的生活已经成为重要的社会问题。随着机器人技术和康复医学的发展，机器人在康复医疗领域得到广泛推广应用。然而，大部分重度失能患者无法通过传统的人机交互方式(语音、键盘等)控制康复机器人，因此人机交互能力的扩展对于发挥康复机器人系统的作用至关重要。

脑机接口(Brain-Computer Interface,BCI)是一种不依赖人体外周神经和肌肉的，在大脑与外界环境间建立直接信息与控制通道的技术，实现大脑与外部设备间的直接交互。通过实时解析患者大脑信息，控制高自由度灵巧机械臂完成复杂动作，进而实现医疗辅助已成为当前BCI技术的研究热点。目前BCI主要分为两大类：植入式BCI和非植入式BCI。植入式BCI虽然信噪比较高，但需要通过手术将微电极植入人体大脑神经皮层，具有一定风险，受试对象往往无法接受；而非植入式BCI，如脑电图(ElectroEncephaloGraphy,EEG)具有高时间分辨率、操作简单且对人体无创等特点，更能满足大多数失能患者的需求。

近年来，虽然基于非植入式BCI控制机械臂的研究取得了诸多成果，但仍存在可用指令较少、控制过程严格受限等问题。例如上海交通大学的徐阳使用基于运动想象(Motor Imagery,MI)的BCI实现对机械臂的移动控制，仅可实现两种控制指令；华东理工大学的左词立等人实现对两种不同笔画汉字字符的识别，目前所识别的汉字字符数目为2个。相对而言，基于稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)的非植入式BCI(SSVEP-BCI)，通信速率更高，可识别指令数目相对较多，因此备受关注。

当人体受到一个固定频率的视觉刺激时，大脑皮层的电位活动将被调制，从而产生一个连续的且与刺激频率有关的响应，即为SSVEP。识别该响应的过程通常使用固定窗口，有利于降低系统复杂性和提高系统稳定性。然而由于使用者间存在明显差异，同一使用者在不同时刻也将发生变化，使得固定窗口在实际使用中受到一定限制。动态窗口可以根据当前受试者的状态自适应地调整数据长度，从而调节刺激时长，减轻受试者的视觉疲劳，提高系统效率。王春慧等人采用基于Bayes的动态停止(Dynamic Stopping,DS)策略实现了动态窗口，从而进一步提升SSVEP-BCI的性能。

另外，目前诱发SSVEP的视觉刺激大多由计算机屏幕提供，灵活性较差。例如，Chen等人设计的脑控机械臂系统，使用计算机屏幕提供视觉刺激，虽然平均准确率达92.78％，但是由于屏幕位置固定，所以执行任务过程中要求受试者不断地在机械臂和屏幕间转移视线，加重了受试者的负担。增强现实(Augmented Reality,AR)是一种将虚拟信息与现实世界智能融合的技术。AR技术与BCI技术的融合(AR-BCI)在一定程度上可以解决BCI系统灵活性较差的问题。Arpaia等人利用AR-BCI实现了机器人的移动控制，使受试者摆脱了屏幕的束缚，行动更加自由。

BCI控制系统一般可为同步系统和异步系统。同步系统要求使用者严格按照系统分配的时序选择命令，使用者活动受限；异步系统中操作序列没有固定的周期节拍和严格的时钟同步，每个指令或每一步操作可以根据需求来占用相应的时间，更贴近于人的正常操作习惯。异步系统的关键是区分用户的工作状态和空闲状态。

因此，综合上述相关研究，为解决目前大多数SSVEP-BCI存在的灵活性差且易使受试者疲劳等问题，本文提出一种AR场景下基于SSVEP的机械臂异步控制系统。首先，设计视觉刺激界面，构建基于SSVEP的AR-BCI系统；接着，设计基于投票策略和差值预测的动态窗口，实现刺激时间长度的灵活调整；然后，利用伪密钥构建状态选择界面，实现机械臂系统的异步控制；最后，设计脑控机械臂拼图试验，验证此控制系统的有效性和可行性。相较于上述研究，本研究将AR技术、动态窗口、异步控制策略与SSVEP-BCI相融合，进一步提高了BCI系统的可行性和实用性。

01受试者

本次试验共有10名视力正常或矫正至正常的健康受试者(7名男性和3名女性；年龄在23～26岁)参加。

在所有受试者中，有5名受试者参加过BCI的相关试验或对BCI有一定了解，而另外5名受试者不熟悉BCI及其相关试验。所有受试者的母语均为汉语，并熟悉在试验中使用的英文字符。其中，只有一名男性受试者为左利手，其余受试者均为右利手。在整个试验过程中，受试者坐在相对舒适安静的实验室中。

02AR-BCI系统设计

设计基于SSVEP的机械臂控制系统，如图1所示，包括AR-BCI子系统和机械臂子系统，通过TCP/IP通信协议实现指令和信息的传递。

图 1 系统整体结构图

2.1AR-BCI子系统

AR-BCI子系统包括视觉刺激、EEG数据采集和EEG数据信号处理3个模块。

2.1.1视觉刺激

如图2所示，设计的视觉刺激界面包含12个刺激矩阵和1个提示框。前11个刺激矩阵采用数字的形式表示目标的终点位置坐标“1”～“11”；第12个刺激矩阵为“back”命令，用于撤销上一步操作。

图 2 视觉刺激界面

在实际应用过程中，需要依次选择横纵坐标，提示框出现相应的提示符“Row”和“Column”，通过两次闪烁确定一个坐标值。其中，第1次闪烁用于选择坐标，闪烁结束后系统将识别结果反馈在刺激界面上，即提示框内出现反馈字符，且对应反馈字符的白色矩阵变为蓝色。第2次闪烁用于校正，当受试者发现反馈字符与自身所选不符时，可以通过选择“back”命令撤销选择；反之，在第2次闪烁时随意选择除“back”之外的命令即可。

刺激矩阵采用正弦波闪烁，如式(1)和式(2)所示，刺激频率、相位与矩阵位置的关系为

视觉刺激由MATLAB PsychToolBox-3(PTB3)生成，呈现在AR设备(NED+，中国)的屏幕上。屏幕分辨率为1920×1080，刷新率为60Hz。

2.1.2EEG数据采集

EEG数据利用EEG数据采集设备来采集，采样频率为1000Hz。电极按照10-20国际电极放置法进行放置，选择位于枕区的9个电极采集EEG数据，分别为Pz,PO5,PO3,POz,PO4,PO6,O1,Oz和O2。接地电极放置在Fz和FPz之间，参考电极放置在头部顶点。上述11个电极的阻抗均保持在10kW以下。

2.1.3EEG数据处理

EEG数据处理模块主要包括预处理、分类和指令转换部分。利用带通滤波对EEG数据进行预处理，截止频率分别为8Hz和90Hz，阻带上下截止频率分别为6Hz和100Hz。由于存在视觉延迟，故截取视觉刺激开始0.15s后的EEG数据段。接着，将数据段输入到分类模型识别受试者的意图，并将其转化为机械臂控制指令。

2.2EEG机械臂子系统

机械臂子系统主要包括机械臂、工作区域、目标物及控制主机。机械臂为6自由度机械臂，配有二指夹爪，固定在工作台的右侧。工作区域为一个11×11的矩形棋盘，从机械臂视角看，从左至右为横轴，从上至下为纵轴。目标物为10颗直径为2.8cm的黑色小球。

控制主机安装Ubuntu16.04系统和机器人操作系统(Robot Operating System,ROS)。机械臂的驱动程序和运动控制程序均部署在ROS上。在ROS中，除了机械臂原有的节点外，还包括AR-BCI系统发布的节点，用于向机械臂发送控制命令及接收机械臂状态信息。

机械臂的路径规划采用笛卡儿空间轨迹规划方法，在输入机械臂的始末端位置、姿态及沿途经过的路径点位姿变化后，系统自动规划机械臂的行动路径。同时，在机械臂行动过程中，系统通过机械臂相关节点实时获取当前机械臂的运行速度和位置信息，用以确定夹爪工作的开始时刻。

03试验设计

为验证系统有效性，分别设计离线和在线两种试验：

1)离线试验：在AR环境下完成屏幕上的目标识别任务，无机械臂控制；

2)在线试验：在AR环境下控制机械臂并完成拼图任务。

3.1离线试验

离线试验目的是帮助受试者熟悉相关试验，检测AR-BCI系统的实际性能，验证动态窗口的有效性。在离线试验中，受试者佩戴AR眼镜，并专注于屏幕上的SSVEP刺激界面，无需控制机械臂。

每名受试者需要进行至少10次测试，每次测试包含12个识别目标提示(即12条指令)，每个目标提示出现的顺序是随机的。每轮识别过程持续4s，其中3s用于视觉刺激，1s用于目标提示和休息。在试验前，屏幕中出现目标提示，相应目标的白色背景变为红色。在试验中，目标按照预设的频率和相位闪烁，为受试者提供视觉刺激，要求受试者将视线聚焦在所提示的目标。当一轮刺激结束后，屏幕上会出现下一个目标的提示，要求受试者及时将目光从上一个目标转移到下一个目标。

试验结束后，分别使用固定窗口和动态窗口对离线数据进行处理，并对比两者的差异。

3.2在线试验

在线试验要求受试者佩戴AR眼镜，通过抓取黑色小球并将其放置在工作区域完成拼图任务。在线试验中没有视觉提示，小球放置的位置并不固定，由受试者自行选择。当受试者确定小球放置位置后，自行切换刺激界面，受试者选择目标放置位置的坐标(行坐标和列坐标)。然后，机械臂到指定位置抓取小球，并将小球根据选择结果移动到目标位置。

要求受试者在工作区域依次完成菱形和三角形两项拼图任务，其中每个图形由8颗黑色小球组成，记录受试者完成任务所需时间。

04结论

^{本文设计了一套AR环境下基于SSVEP的机械臂异步控制系统。使用AR设备摆脱了传统屏幕的束缚，使BCI系统的使用更为便利。使用动态窗口可以灵活调整刺激时长，在一定程度上减轻受试者的视觉疲劳。利用FBCCA算法，充分提取数据的重要信息，实现12目标的准确识别，确定目标位置坐标。系统的平均准确度为(93.11±5.85)％，平均ITR为(59.69±8.11)bits·min-1。采用伪密钥实现机械臂异步控制，使受试者顺利完成两种拼图任务(平均时间681.7s)，有效地提高了系统的实用性和灵活性。}

试验结果表明，无论是BCI试验经验丰富的受试者还是无经验受试者均可利用该系统控制机械臂去完成相应的目标任务。本文的研究是一次有益的探索，证明了本文提出的人机交互方法具备一定的可行性和有效性，为将来脑控机械臂的发展提供了一种新的思路。同时，此系统将来还可以作为一种康复理疗的手段，帮助病患恢复自身的运动能力，具有一定的应用前景。

虽然该系统具有一定的优势，但在异步控制方面，基于伪键而设计的状态切换策略使得受试者的视线受到一定的遮挡，影响了受试者的使用。同时，滑动窗口也存在进一步改进的空间。并且SSVEP自身也存在一些局限性。例如目前诱发SSVEP信号的视觉刺激大多数采用低频视觉刺激，这容易引起受试者疲劳。另外SSVEP-BCI系统的效率相对于传统交互方式还是比较慢，影响了他的推广及应用。未来的工作将对更为便利和有效的异步控制方式、刺激范式和滑动窗口进行研究，使控制系统的实用性得到进一步提高。）

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删