压力下训练结果评估的神经生理学方法：利用功能性近红外光谱（fNIRS）进行的工业停机维护虚拟现实实验

文献综述

研究方法

实验设备:VR，眼动仪，近红外光谱

由于在现实世界中模拟工业停机维护操作有一定的难度，基于之前研究中验证良好的VR系统，我们开发了一个集成了眼动追踪功能和神经成像功能的VR系统。为了采集高精度、高分辨率的眼动数据，采用集成HTC VIVE头戴式显示器（HMD）的Tobii Pro眼动仪。Tobii Pro VR集成由Tobii公司生产，使用高级瞳孔中心角膜反射（PCCR）远程眼动追踪技术来捕捉眼动和瞳孔大小。眼动仪中的近红外照明器用于在角膜和瞳孔上创建反射模式，眼动仪中的摄像头是用来捕捉高分辨率图像的。最后，利用先进的图像处理算法和眼球的生理三维模型来估计眼球在虚拟环境中的位置和被试的瞳孔大小。Tobii Pro VR集成眼动仪的精度为0.5°，最大凝视数据输出频率为120Hz。我们基于Tobii Pro软件开发工具包（SDK）和Unity中的应用程序编程接口（API）开发了几个c#脚本，（图1）白紫线表示注视运动轨迹。在虚拟环境中，系统以90Hz的频率采集参与者的注视运动数据、身体运动数据、手部运动数据和瞳孔直径数据。注视和瞳孔跟踪作为压力评估的补充证据，身体和手的运动数据用于评估任务完成的效果。每次VR实验后，开发的VR系统都会自动生成一个包含所有原始数据的CSV文件。使用18通道便携式fNIRS系统NIRSportTM（NIRx Medical Technologies， NY，USA）监测每个参与者的脑血流动力学反应。该系统由8个发射器（图2（b）红色）和8个探测器（图2（b）蓝色）)组成，发射器和探测器的定位设计小于3厘米。红外信号分为两个波长（760nm和850nm），通过探测器以7.81Hz的采样频率采集。实验过程中，虚拟现实和近红外系统通过Psychopy软件同步。为了避免VR产生的红外光对近红外设备的干扰，实验中使用黑色淋浴头覆盖近红外设备的发射器和探测器。

图1.虚拟环境下的眼动追踪

（a）虚拟环境下的眼动数据采集模式

（b）显示注视的回放可视化功能虚拟环境中的移动

图2.实验设备

（a）沉浸式虚拟环境下的眼动追踪功能

（b）真实环境下的实验设备

虚拟环境和实验任务

本研究创建了两种沉浸式虚拟训练场景，分别为正常训练场景和压力训练场景（图3）。为了控制虚拟环境对参与者任务效果的不良影响，我们在虚拟实验室中设计了相同的板式热交换器，并在两种情况下设置相同的环境照明。在模拟的空间中，每个参与者都可以看到有限的空间边界，他们被告知在执行任务时不要超出边界。参与者可以使用HTC控制器自由地与虚拟板热交换器和每个阀门进行交互。实验任务的设计是让每个参与者在更换板式热交换器之前记住转动或关闭阀门的顺序。每个参与者被要求记忆两种不同的操作顺序，然后在正常和压力条件下执行操作。每个切断/打开热水和冷水的预启动顺序由10个步骤组成，根据《Alfa Laval板式换热器操作说明书》制定，见表2。各实验条件下，各参与者的管道操作顺序如表2所示。实验是在可控的虚拟环境中进行的，为了避免预先学习的影响，我们设计了两种不同阀门位置的管道操作序列，这两种操作序列要反映相同的难度水平（图3（a））。在正常环境中，将管道操作顺序的说明放置在虚拟板式换热器模型的左侧，每个阀门在虚拟模型上标有阀门号，用于参与者可以在虚拟环境中进行操作学习和复习。然后在实验环境中增加了几个压力源（图3（b））。为了排除学习效应，我们在压力条件下采用了不同的管道操作顺序，并重新设计了虚拟热交换器模型上的所有阀门位置。压力回顾场景中的压力源包括模拟烟雾逐渐遮挡视线、虚拟火焰传播、虚拟烟雾传播、突然结构倒塌声、远处火焰燃烧声。在虚拟环境中添加这些压力源的目的是尽可能真实地模拟有压力的停机维护场景。在图3(c)所示的正常操作阶段，将相同的虚拟板式换热器模型放置在实验室中央，但是没有显示每个阀门的阀门编号。最后，在有压力的操作中，我们也加入了与图3（b）相同的压力源，如图3(d)所示。

表2 预启动板式换热器两种工况下10个操作步骤

实验过程

要求所有参与者分别在正常和压力虚拟场景下，使用虚拟管道模型记忆两种不同的10步管道操作序列，然后分别在两种场景下进行管道操作。为避免先前情境的影响（也就是参与了图3（a）和图3（b）的学习实验后影响被试），我们随机选择一种平衡影响的方法，从每个参与者的正常或有压力的情境开始。这意味着一些参与者开始时是正常的，而其他人开始时是有压力的，实验要求参与者记忆管道操作顺序，并尽可能准确地进行管道操作。

实验分为五个阶段:（1）准备阶段，（2）设备校准与VR培训阶段，（3）复习阶段，（4）保留阶段，（5）实验阶段。准备阶段（5-10分钟）让参与者熟悉实验过程和潜在的好处或风险。同时收集了参与者的年龄、性别、专业、学历、以往的游戏和虚拟现实经验、暖通系统知识水平等人口统计信息。设备校准和VR培训（10-20分钟），让参与者熟悉fNIRS系统、眼动追踪系统和虚拟环境中的交互/导航。在这一环节中，所有参与者首先被要求佩戴fNIRS装置，研究者能够确保fNIRS装置的每个探针准确地收集目标大脑区域的神经成像数据。参与者被要求坐在椅子上，让fNIRS装置为每个参与者建立基线数据。fNIRS标定后，要求被试安装VR头戴设备，并在虚拟环境中经过多次五点标定后，实验人员能够确保被试的眼动被VR头戴设备集成的眼动仪准确捕捉。参与者还被告知如何使用这两个控制器与虚拟阀门进行交互。复习环节（15分钟）让参与者复习和记忆管道操作顺序。回顾过程分为10个阶段（每个阶段1分钟），分别针对正常和压力场景。在回顾阶段的每次实验中，给每个参与者60秒的时间来回顾和记忆管道操作顺序和管道模型。在每次审查实验之间，有一个保留阶段（30秒），包括25秒的休息时间和5秒的待机时间。在保留阶段，参与者被告知要坐下来冷静下来。其目的是稳定参与者的神经活动，并将其对后续活动的影响降至最低。参与者在回顾过程中没有被要求执行这个操作。相反，我们设计了一个单独的会话，让参与者在10次复查实验后进行管道操作。回顾结束后，参与者被要求在正常或压力虚拟环境下（没有时间限制）执行管道维护任务。在所有实验阶段结束时，参与者被要求提供对实验的评论和反馈。我们使用编程实验指导软件NIRSTIM来协调fNIRS设备与VR系统之间的协作（图4）。在正常情景和压力情景随机被分配给每个参与者。所有的实验都是使用同样的设备，在同一地点完成的，综上所述，该实验的设计方式是，基于复习过程的记忆质量对最终表现至关重要。例如，通过相同的简单控制机制(即用两个HTC控制器触摸阀门)，我们消除了运动技能的差异，唯一有影响的因素是使用压力源的不同。我们还确保实验刺激对参与者来说是清晰的，没有任何可能的模糊解释。

图4.编程实验指导软件NIRSTIM来协调fNIRS设备与VR系统之间的协作

数据收集

收集了三种类型的数据用于实验后分析：任务表现、注视运动和神经活动。任务表现指标包括参与者作业时间（s）和管道作业精度（%）。管道维护的准确性被定义为执行正确步骤的准确性，直接表示参与者记忆和执行管道操作任务的好坏。管道作业精度的记录范围为0%-100%。作业时间定义为参与者在虚拟环境中完成任务所需的时间。这个指标表示参与者完成任务的效率。为了分析虚拟环境中注视运动的数据，我们提取了注视近似熵(ApEn)。选择ApEn来评估参与者注视运动数据波动的规律性和不可预测性。ApEn被定义为一种量化有噪声时间序列数据的规律性和复杂性的技术，该方法广泛应用于心率、脑电图、内分泌激素等生理时间序列数据的数据分析。注视运动熵值越高，表明注视运动的不规则性和不可预见性越强，表明参与者只是在环境中随机地环顾四周。另一方面，较低的注视运动熵值表明注视焦点转移更有规律，也相对稳定。虽然研究不能得出不同的注视运动模式是不同认知过程的结果，但至少我们可以断言不同的注视运动模式，如视觉扫描路径的熵，表明了不同的扫描模式的使用。fNIRS探头设计按照国际10-20系统格式进行，探头帽放置在每个参与者的顶点(Cz)上(图5左侧)。18通道系统监测六个兴趣区(ROI)，这些区域是通过对附近通道的平均来指定的(图5右)。这些ROI包括左、右背外侧前额叶皮层(L/R- DLPFC)、左、右前运动皮层(L/R- pmc)和左、右初级运动皮层(L/R- m1)。

背外侧前额叶皮层已被证明与复杂的心理活动有关，如认知控制网络（CCN）、背侧注意网络（DAN）和言语情景检索。运动前皮层被证明与更复杂的认知控制有关，如运动计划的改变、任务切换、新运动技能的习得和运动选择。运动皮层已被证实与运动有关。ROIs对应Brodmann区域及其功能如表3所示。

对fNIRS装置采集的脑血流动力学数据进行带通滤波器滤波。滤除3Hz的高频噪声，和心跳和慢波漂移等生理噪声引起的在0.5至0.016Hz的运动伪迹。用峰度小波算法和样条插值剔除突变运动伪迹，平滑脑血流动力学信号。最后，利用改进的Beer-Lambert定律计算18个通道的氧合血红蛋白和脱氧血红蛋白。图6显示了参与者1在不同条件下与背外侧前额叶皮层相关的fNIRS后处理数据样本（红色代表正常状态，橙色代表压力状态）。

对fNIRS装置采集的脑血流动力学数据进行带通滤波器滤波。滤除3Hz的高频噪声，和心跳和慢波漂移等生理噪声引起的在0.5至0.016Hz的运动伪迹。用峰度小波算法和样条插值剔除突变运动伪迹，平滑脑血流动力学信号。最后，利用改进的Beer-Lambert定律计算18个通道的氧合血红蛋白和脱氧血红蛋白。图6显示了参与者1在不同条件下与背外侧前额叶皮层相关的fNIRS后处理数据样本（红色代表正常状态，橙色代表压力状态）。

图6.参与者1在不同条件下与背外侧前额叶皮层相关的fNIRS后处理数据样本

在这项研究中，我们使用氧合血红蛋白（ΔHbO）来分析功能连通性。功能连通性通过时间序列ΔHbO信号的协方差分析测量多个皮层区域之间的任务相关交互作用，如图7所示。Pearson相关、R在所有ROI中计算，以找到相关系数。

图7.多个皮层区域之间的任务相关交互作用测量

结果

共有16名参与者(男性15名，女性1名)参与了本研究，其中本科生1名，研究生15名。参加者来自不同的学科，包括计算机科学、土木工程、建筑科学和其他工程专业。对配对测试进行了效率分析，我们发现，16名参与者可以获得80%的效率和5%的显著性水平(双侧)，在配对之间检测到0.8的效应量。此外，发现许多现有的神经学研究都是基于相似的样本量。因此，样本量的选取也遵循文献标准，要求参与者报告他们以前对暖通空调系统的知识，没有参与者以前有管道维护知识。在虚拟环境中执行管道操作任务时，没有参与者感到对虚拟系统感到不适。每个参与者的实验过程大约需要40-60分钟（图8）。

图8.试验场景

任务绩效

首先，我们评估任务表现在正常和压力条件下是否足够不同。采用管道作业精度（%）和作业时间（s）两个任务绩效指标，将管道模型分为5个部分，通过检查每个作业轨迹来评估参与者的作业精度。对于如图9（a）所示的管道操作精度，我们使用配对t检验来评估每个参与者的管道操作精度。我们发现两种情况下的管道维修精度有显著差异（P=0.014<0.05）。结果表明，平均而言，参与者在正常情况下比在压力情况下表现好26.43%。因此，紧张的虚拟环境可能会让参与者在这方面表现得更差。图9（b）所示的操作时间，两种条件的匹配配对t检验未发现操作时间有显著性差异（P=0.7144>0.05）。结果显示，压力情境对被试的操作时间没有明显的影响。

图9.配对t检验

图10.双样本t检验

功能连通性

第三，分析正常和压力条件下的功能连接强度。对所有ROI进行Pearson相关计算，找出相关系数。然后将所有计算出的R值转换为Fisher’s z分数，以确定相关性的强度。两个区域之间的功能连通性根据预先设定的阈值0.4。图11显示了不同条件(正常和压力)和不同阶段(早期和晚期)的Fisher z分数平均值(功能连通性强度)。

图11.不同条件(正常和压力)和不同阶段(早期和晚期)Fisher z分数平均值(功能连通性强度)。

与图12中的正常条件相比，在压力条件下观察到连接强度显著增加。我们分析了早期(前5次训练实验)和后期(后5次训练实验)两个阶段的功能连通性。图12中每个图中的6个蓝色节点表示6个兴趣的区域。每条线的颜色表示基于右侧颜色尺度的功能连通性强度。实线表示半球内的连通性，虚线表示半球间的连通性。中间一列显示了两组情况之间的显著变化。中间栏中的所有线都是暗红色的(正相关)，这表明与正常情况相比，压力情况下的连通性明显更强。如结果所示，在早期阶段，通过使用双样本t检验(P=0.005–0.026<0.05)，从正常和紧张状态识别出多个半球间连接的显著增加。在晚期，从正常状态到应激状态，右半球明显增加(P=0.015-0.022<0.05)。LM和RM半球间连接在晚期也显著增加(P=0.041<0.05)。

图13.参与者#10在正常和压力条件下的神经图像数据样本

我们还比较了早期和晚期之间的功能连接变化，如图14所示。每条线的颜色表示基于右侧颜色尺度的功能连通性强度。实线表示半球内的连通性，虚线表示半球间的连通性，中间一列显示了两组会话之间的显著变化。中间列中的所有线均为暗红色(正变化)，表明后期的连通性明显强于前期。在压力条件下，早期和晚期没有观察到明显的变化，然而在正常情况下大脑半球间的连接显著增加。通过双样本t检验，RPMC、RDLPFC和RM1之间的连通性从早期到晚期显著增加(P=0.005和0.034<0.05)。

由此可知功能连接结果证实了正常训练和压力训练之间的显著和潜在的可量化差异，为基于神经连通性数据的预警和性能预测系统的建立奠定了理论基础。时间分析也显示了训练的早期和晚期之间的显著差异。

神经生理指标与任务绩效的相关性

实验结果表明，一组神经生理指标与最终的操作性能(时间和精度)之间存在相关性，为基于神经生理指标的操作性能预警和评估系统的建立奠定了方法论基础训练期间的神经生理数据。首先，我们发现垂直方向(y轴)的注视运动熵与操作精度(r=−0.388,P=0.019<0.05)之间存在显著相关性，如下图15所示。结合4.2和4.3的结果，压力条件下被试的操作准确率低于正常条件，且压力条件下被试的垂直方向注视运动熵高于正常条件。研究结果表明，垂直方向的注视运动熵与操作精度存在负相关关系，即较高的垂直方向注视运动熵可能会降低操作精度。

然后从fNIRS数据中提取6个ROI(LDLPFC、RDLPFC、LPMC、RPMC、LM1和RM1)的峰值HbO作为不同条件下的神经激活特征。RSMC与操作精度(r=0.205,P=0.019<0.05)、LM与操作精度(r=0.208,P=0.0176<0.05)、RM与操作精度(r=0.205,P=0.0176<0.05)存在显著相关，正常情况下的操作精度(r=−0.196,P=0.0252<0.05)。如图16(a)所示，在正常情况下，我们没有发现操作精度与其他ROI之间存在显著相关性。然而，在压力条件下，我们发现6个ROI的峰值Hbo与操作精度之间存在较强的相关性，我们发现RSMC和操作精度之间(r=0.47,P=<0.001)，LSMC和操作精度(r=−0.194,P=<0.001)，在RM和操作精度(r=−0.26,P<0.001)，LPFC和操作精度(r=−0.328,P<0.001)和RPFC之间和操作精度(r=−0.273,P<0.001)的显著相关性，如图16(b)所示。与正常工况相比，压力情况下6个ROI的峰值HbO值与操作精度之间存在较强的相关性。这些结果进一步证实了fNIRS具有估计以及基于培训数据的项目任务绩效的潜力，它帮助我们建立下一个逻辑步骤，使用神经生理指标来评估最终任务的表现。

图16.（a）未发现操作精度与其他ROI之间存在显著相关性

图16.（b）压力情况下6个ROI峰值HbO值与操作精度间存在较强的相关性

评估培训结果

最后，由于fNIRS数据与不同培训场景中的任务绩效相关，因此可以在评估阶段使用fNIRS指标来评估个体的最终任务绩效。我们使用监督机器学习方法对训练结果进行分类。所有被试在回顾阶段有20条fNIRS数据轨迹(10条正常状态和10条压力状态)，所有的fNIRS数据都用他们的操作精度训练结果进行标记。数据标注的原则是，如果参与者的操作准确率达到100%，我们将数据标注为“满意”，否则标注为“不满意”。我们的目的是创建一个分类模型，可以使用fNIRS的数据在回顾阶段来估计训练结果。共有12个功能选择分类管操作任务的性能，包括6个fNIRS测量的Hbo峰值特性(LDLPFC区域的Hbo峰值、RDLPFC的Hbo峰值、LPMC区域的Hbo峰值、RPMC区域的Hbo的峰值、LM1区域的Hbo峰值和RM1区域的的Hbo峰值)和6个fNIRS测量的平均Hbo特性(LDLPFC区Hbo平均值、RDLPFC区Hbo平均值、LPMC区Hbo平均值、RPMC区Hbo平均值、LM区Hbo平均值、RM区Hbo平均值)。对于分类模型的fNIRS数据的预处理，通过小波插值和带通滤波器 (0.01-0.5 Hz)去除每个ROI的fNIRS数据的运动伪像，所有fNIRS特征均采用z-score方法归一化。我们使用不同的机器学习分类算法，包括决策树(DT)、随机森林(RF)、近邻算法(KNN)、标准逻辑回归(LR)和朴素贝叶斯(NB)来比较分类模型。我们还使用交叉检验（k-fold）(k = 10)来交叉验证我们的分类结果，我们选择准确率、精度、查全率、f评分和ROC面积来评价分类性能。

表4. 特征选择之前分类模型的总结

结果表明，随机森林比其他分类模型具有更高的分类准确率(78.08%)。此外，我们进一步使用包装器方法和序列向后特征选择(SBS)方法来寻找最优的特征子集，以获得更好的分类性能。采用k-fold方法(k=10)对特征选择结果进行交叉验证。表5是特征选择后的分类模型的汇总，表5中的(n/10)表示在交叉验证期间，采用顺序向后特征选择的包装器方法选择该特征的次数。随机森林模型具有LM(Hbo峰值)(10/10)、RSMC（Hbo峰值)(9/10)、LSMC(Hbo峰值)(8/10)、LPFC(Hbo峰值)(5/10)、RSMC(平均Hbo)(4/10)和LM(平均Hbo)(4/10)这6个特征，分类准确率为80.38%。特征选择后，分类准确率从78.08%提高到80.38%。这些结果进一步表明，回顾阶段的fNIRS特征可以用来估计不同训练场景下的未来任务绩效。结合功能连接的结果，任务绩效评估可用于管道维护培训中对个体任务绩效的早期监测，并提供绩效和学习的交互式评估。

表5 特征选择后的分类模型总结

结论

1.停机维修培训压力。首先，实验结果证实了压力源存在于学习或训练过程中，对复杂的、基于知识的任务(如管道维护)有负面影响。绩效评估结果表明，虽然两种条件下的任务完成时间没有显著差异，但压力训练下的绩效准确率要低得多。这表明，参与者在回顾阶段的认知过程可能受到了压力的影响。这一结果进一步表明了在压力训练情景下评估任务绩效的重要性。其次，我们探讨了利用神经生理学方法评估不同训练情境下员工的压力状态和任务表现的可能性。压力水平评价和任务绩效评价是近年来建筑研究领域的重要研究方向，目前迫切需要一种评价方法来预测员工在不同工作场景下的任务绩效。这项研究呼应了最近提出的使用无线脑电图设备(EMOTIV)和其他可穿戴生物传感器来评估现场工人心理压力的研究。这项研究的新颖之处在于在训练过程中使用神经生理测量来评估和分类工业操作的最终表现。我们使用一种可替代的便携式神经成像设备fNIRS与眼动追踪虚拟现实系统集成，在模拟虚拟现实训练场景中收集高质量的时域神经成像数据和眼动追踪数据。基于数据，我们发现有几种监督机器学习方法能够根据回顾阶段的神经生理数据对参与者的最终任务表现进行分类。它提供了关于神经分析在训练评估中的作用的创新方法和知识。本研究的新贡献还在于增加了对训练中的压力的认识，这有助于学者和实践者更好地理解和利用压力源来刺激训练过程中所需的神经激活。具体来说，fNIRS数据分析证实了正常训练和压力训练条件下的神经功能连通性存在显著差异。在压力训练的早期阶段，参与者表现出更强的半球间连通性。我们还发现，在训练的后期阶段，在正常和紧张状态之间，大脑右半球显著增加，LM和RM之间的半球间连接在后期也显著增加。总之，处于压力状态下的参与者倾向于在左右半球之间建立更多的连接。连通性的差异可以被量化为检测应力存在的领先指标。此外，我们还检验了6个ROI的fNIRS数据被试的任务绩效与激活水平的相关性。我们发现在正常情况下，RSMC与操作精度(r=0.205,p=0.019<0.05)、LM与操作精度(r=0.208,p=0.0176<0.05)、RM与操作精度(r=−0.196,p=0.0252<0.05)之间存在显著相关性。压力条件下，我们发现RSMC和操作精度之间的显著相关性(r=0.47,p=<0.001)、LSMC和操作精度(r=−0.194,p=<0.001)、RM和操作精度(r=−0.26,p<0.001)、LPFC与操作精度之间(r=−0.328,p<0.001)，RPFC与操作精度之间(r=−0.273,p<0.001)。这些结果进一步证实了fNIRS具有评估不同训练情景下任务绩效的潜力。基于相关结果，我们测试了几个监督机器学习分类模型，使用fNIRS数据在训练中提前评估个体的任务绩效，并使用k-fold(k=10)交叉验证方法来验证我们的结果。随机森林分类模型通过特征选择来评估参与者的训练结果，与其他分类模型相比，平均获得了80.38%的分类准确率。

2.本研究还发现了一个神经生理指标可以作为注视运动模式的潜在预测因子。我们发现了注视运动的垂直方向(y轴)熵和操作精度(r=−0.388,p=0.019<0.05)存在显著相关性。具体来说，垂直方向上注视运动熵的增加可能是压力的指示器。结果表明，与正常情况相比，在压力条件下，参与者倾向于在不同任务步骤中更快速、重复地垂直扫描信息。这些研究结果为神经生理特征可用于开发不同训练情景下的任务绩效评估模型提供了经验证据。