应用可穿戴式眼动追踪技术对施工设备操作人员的心理疲劳进行识别和分类

这是“神经工程管理”第49篇推送

本文是针对论文《应用可穿戴式眼动追踪技术对施工设备操作人员的心理疲劳进行识别和分类》(Identification and classification of construction equipment operators’ mental fatigue using wearable eye-tracking technology)的一篇论文解析，该论文于2020年发表于《Automation in Construction》期刊。该论文的作者包括Jue Li, Heng Li, Waleed Umer, Hongwei Wang, Xuejiao Xing, Shukai Zhao, Jun Hou.

NO.2

· 原文摘要

在建筑行业，操作人员的心理疲劳是导致施工设备相关事故最重要的原因之一。在极恶劣的环境下，心理疲劳很容易导致施工设备运行效能差和事故发生。因此，有必要提出一种能准确检测施工设备操作人员多层次心理疲劳的客观方法。针对这一问题，本文提出了一种应用可穿戴式眼动追踪技术识别和分类操作人员多层次心理疲劳的新方法。为此，招募了六名被试进行模拟挖掘机操作实验，以获取相关数据。首先，采用Toeplitz逆协方差聚类( TICC )方法，利用实验过程中收集到的相关主客观数据来确定心理疲劳水平，结果表明使用TICC方法得出的心理疲劳水平为3。其次，提取适合不同施工场景的四个眼动特征集，并采用监督学习算法对被试的多层次心理疲劳进行分类。对监督学习算法的分类性能分析表明，支持向量机(SVM)是面对各种施工场景和主观偏差时最适合采用的心理疲劳分类算法(准确率在79.5%-85.0%之间)。总的来说，本研究论证了应用可穿戴式眼动追踪技术对施工设备操作人员心理疲劳进行识别和分类的可行性。

关键词：心理疲劳的识别和分类、施工设备操作员、眼动追踪、机器学习、Toeplitz逆协方差聚类

NO.3

· 思维导图

研究背景

施工设备操作通常涉及精神要求高的任务，操作人员需保持持续的注意力，同时对周围的危险保持警惕。因为长时间的操作和警戒活动，施工设备操作员容易出现心理疲劳，这可能会造成危害检测失败，从而导致事故的发生，另外，不同程度的疲劳还可能会导致低生产率或严重的身心健康问题。由此，检测和管理心理疲劳是必要的。

当前理论发展现状

以前的研究大多集中于使用多种生理测量(即心率、肌电图、皮肤温度)检测体力疲劳，有一些研究也曾通过对工人的主观评估或要求工人参与额外的任务绩效评估来测量和评估建筑工人的心理疲劳，但这些方法干扰常规的工作任务，并且不能连续的实时监测，总而言之，测量心理疲劳的有效方法很少。虽然现在已经开发了一系列能够提供客观、实时心理疲劳检测的神经生理学测量技术(如脑电图和心电图)，但是这些技术是基于人体脑电活动的记录，具有高度侵袭性，并且电信号容易受到建筑工地的恶劣环境条件的影响，限制了它们在建筑工地上的应用。

相关方法

1.心理疲劳测量方法

图1：心理疲劳测量方法综述

注:SSS =斯坦福嗜睡量表；NASA-TLX =美国航天局任务负荷指数；KSS =卡罗林斯卡嗜睡量表。

早期研究使用不同的自我评估量表来评估工人的心理疲劳。然而，一个人的真实客观状态(如心理疲劳程度)不同于他对自己状态的主观感受。此外，收集工人的自我评估是一项繁重的工作，在建筑工地上是不切实际的。而基于仪器的测量方法，人通常对它们没有控制力，所以它们可以成为确定心理疲劳的可靠和客观的信息来源。在最近的研究中，脑电图、心电图和眼电图也多次用来测量心理疲劳，然而，由于上面提到的原因，相比较而言，眼动追踪技术不易受到施工现场种种因素的干扰，更适合于测量。

在建筑行业中，部分研究也证明了由可穿戴的眼动追踪器测量的相关指标可以反映被试的心理疲劳状态，但是，这些研究没有直接调查工人的心理疲劳，也没有验证眼动追踪技术用于心理疲劳测量的可行性。

2.基于机器学习的心理疲劳检测

心理疲劳检测方法，在相关研究中，以脑电信号为主要特征的应用最为广泛。然而，同样因为上述原因，这种方法很难在施工现场应用。因此，大家开始使用监督机器学习来处理个人眼动数据，以检测心理疲劳（基于机器学习的方法在许多研究中已证明），通过各种监督学习算法对不同个体生理和心理特征的分类可以支持快速、准确和可靠的检测心理疲劳。另外，由于建筑行业的特定环境，在视频观看情况下反映心理疲劳的眼动特征，可能不适用于操作员的心理疲劳测试。因此，本研究探索了能够有效地反映建筑工地工人的心理疲劳的眼动特征。

基于机器学习的心理疲劳检测之前的一个关键过程是识别心理疲劳水平和数据标注，识别和数据标注方法是使用主观评估量表或表现测试来识别和手动标记心理疲劳水平，并根据任务阶段来标记相应的数据或任务类型。以上研究通常将心理疲劳分为疲劳和不疲劳两种状态，这种方法不够准确客观，不足以为安全管理决策提供充分可解释的信息和依据。心理疲劳的发展是一个逐渐变化和积累的过程，其中有多个中间状态，导致不同的行为、任务表现和不同水平的安全风险，这些不能忽视。另外，在标量或序数尺度上识别心理疲劳对于监控和管理操作员的安全更有用。

研究问题

基于上述情况，本研究提出了一种基于机器学习的施工设备操作人员心理疲劳自动识别和分类方法，使用低侵袭性、易于安装的可穿戴眼动追踪器来监测施工设备被试的眼动，以测量和检测他们的心理疲劳。基于实验数据进行检测绩效评估，讨论所提出的研究方法的可行性、未来的应用前景和相应的改进方向。

NO.5

· 方    法

图2：研究框架

实验

图3：实验装置

图4：实验程序和任务设计

结合双实验任务设置（主要任务：挖掘任务；次要任务：危险探测任务HDT），再现真实挖掘机工作情况的特征，这两个任务根据实际施工作业任务同时进行。HDT要求被试手动对视觉刺激做出反应，被试一旦从后视镜中发现工作人员进入危险区域，需要尽最大努力通过按下操纵杆上的按钮来快速做出反应，并降低挖掘机的转速或暂时停止操作，以避免发生意外事故。双重实验任务使被试能够在比实际工作短的任务中感受到足够高的心理疲劳水平，反映真实建筑工地中由心理疲劳引起的问题。

上述措施产生了大量的时间序列数据。从不同传感器获得的时间序列数据中确定多种程度的心理疲劳具有挑战性，而且人工标注强度大、繁琐。为此，使用了TICC来识别和分类多级操作员心理疲劳，并自动标记相关的时间序列数据。

其中Xt∈Rn是第t个多元观测值,简而言之，目标是将这些T观测值聚类成K个聚类，TICC方法不直接对观测值进行聚类，而是对这些子序列X1,…,Xt进行聚类。

TICC将每个聚类定义为一个马尔可夫随机场(MRF)，以描述聚类的代表性子序列中各种观测值之间的相互关系。高斯逆协方差θi∈Rnw×nw被用作Toeplitz形式的聚类I的MRF的数学表达式:

其中，A(0)、A(1)、…、A(w-1)∈Rn×n。A(0)描述了时间内的部分相关性，因此,Aij(0)定义了传感器I和传感器j(如，危害检测绩效记录系统和眼动追踪器)的并发值之间的相互关系。

总体目标是求解k个逆协方差θ= {θ1，…，θk }，得到相应的点赋值集P= {P1，…，PK} (Pi⊂{1，2，…，T})，这是一个优化问题，可以表示如下：

TICC通过两个主要步骤,解决了等式(3)表示的优化问题, 

第一步,将所有观测点分配给聚类，可表示为:

该步骤将每个T子序列分配给K个聚类之一，以最大化对数似然性和时间一致性，并在由正则化参数β调整的两个目标之间进行权衡。TICC使用动态编程算法将每个Xt分配到一个聚类中。

第二步，通过求解等式（3）表示的优化问题来更新聚类参数θ1，…,θK。保持给定的P不变，每个θi并行求解，可表示为:

其中|Pi|是分配给聚类I的点数，Si是这些点的经验协方差, 这是聚类图Lasso问题的变体。TICC算法的每次迭代中，交替方向乘子法(ADMM)被用于为每个聚类求解单独的Toeplitz聚类图Lasso，以解决用等式(3)表示的整体优化问题，消息传递算法用于迭代收敛到全局最优解。

图5：基于TICC的心理疲劳多层次识别和数据标注

眼动行为相关变量代表反映心理疲劳程度的典型眨眼活动和瞳孔状态和对周围危害的视觉注意分配范围。如图6所示，每个监视器被分配一个标准化的坐标系，监视器上的注视点的位置可以通过相应坐标系的坐标来量化。视觉注意分配范围通过注视点到中间监视器的距离来衡量，为了使量化更加直观，直接用dl→m和dr→m的平均值来表示被试的视觉注意分配范围。

图6：左右监视器的标准化坐标系

注:为了清楚地说明上述设置，省略了中间监视器。

为使相关时间序列数据满足TICC算法的要求，采用数据插值和重采样技术对数据预处理。考虑到缺失数据量较小，且大多处于数据值基本呈线性的小时间间隔内，采用线性插值。重新采样时，将数据采样频率设置为10 Hz。对于采样频率不足的变量，采用上采样的方式进行数据填充；对于超过10 Hz的，进行向下采样。此外，上述数据要被标准化，以消除个体差异(如瞳孔大小的差异)和变量之间特征属性的差异。最后，得到一个8 ×T× 10的多元时间序列。

TICC能发现时间序列中的重复模式，大量的数据可以用有限数量的心理疲劳状态来描述。如图5所示，TICC对所有被试的时间序列同时进行分割和聚类。本研究将窗口值设置为最小值0.1 s (1个样本)，惩罚因子β选自10、40、100、400，正则化参数λ选自0.01、0.1和0.5，用贝叶斯信息准则(BIC)评估和确定优化模型和适当的聚类结果。

使用监督学习的心理疲劳分类

将六名被试的眼动数据组成的数据集用于监督学习，采样频率为0.2赫兹，共有4320个样本。利用滑动窗口技术进行数据分割，将序列监督学习问题转化为传统的监督学习问题。每个特征提取窗口的长度为10秒，并且使用相邻窗口50%的重叠。基于上一步的聚类结果，用相应的心理疲劳程度标注预处理后的眼动数据。

表1：监督学习的眼动相关特征的定义和描述。

表1显示了本研究选择的三个眼动特征集，此外，任务持续时间也被确定为与心理疲劳积累直接相关的一个关键特征。提取一些反映上述数据特征的指标，构建心理疲劳分类模型，用于监督学习算法的训练和测试。首先，使用Z分数归一化方法对上述特征集的数据进行归一化，从这些标准化数据中提取的特征包括平均值、方差、标准差、最大值、最小值、数据范围和峰度。最后，提取了70个特征：14个眨眼行为特征、7个瞳孔直径特征、42个注视点分布特征和7个任务持续时间特征。

然后对支持向量机(SVM)、决策树(DT)、最近邻法(KNN)、增强树(BT)和线性判别分析(LDA)五种不同的成熟分类算法进行了测试，以选择提供最高准确性的分类算法。本研究采用留一个主题（LOSO）的交叉验证方法来评估分类算法的准确性和有效性，以实现分类多级心理疲劳的最佳性能。LOSO将一个被试的数据划分为测试数据集，剩余被试的数据作为训练数据集，这使每个被试的样本都能充分利用，减少了个体差异带来的被试偏差。因此，在应用于新的被试之前，LOSO只需要来自一个被试的训练数据，并且不需要收集新的训练数据和重新训练分类器。

注：所有数据预处理、基于TICC的分析以及结果的数据可视化，提出的分类算法和分类评估都是使用Python实现。

NO.6

· 结    果

已识别的操作员心理疲劳的多个级别

基于TICC的分析，根据不同模型参数组合对应结果的BIC值，得到了一个最优的模型参数组合，推断具有最小BIC值的3代表适当数量的聚类。此外，考虑到施工安全管理的实际需要，三个层次可能是一个合理的选择。因此，本研究中挖掘机操作员的心理疲劳水平被确定为3。

表2：每个K值对应的BIC值(窗口大小= 1，β= 400，λ= 0.01)。

表3用每个聚类中的点的平均值来反映不同水平的心理疲劳对主观感觉、任务表现和眼动行为的影响。可以看出虽然数据在三个水平之间单调变化，但平均趋势和水平之间的差异并不一致，反映了不同水平的心理疲劳的特征。在1级，被试主观感受不明显，挖掘任务和危害检测任务完成的很好，眼动指标也表明被试处于放松和精力充沛的状态。在2级，被试工作绩效下降，心理疲劳的主观感受明显增加，眼动行为也证实了这一点；第3级，被试心理疲劳的主观感受进一步增加，极高的眨眼频率和明显缩小的瞳孔直径和视觉注意范围也都显示出心理疲劳的巨大影响。同时，从第2级到第3级，挖掘任务和危险探测任务的绩效均受到显著影响。

表3：心理疲劳各水平特征的平均值。

注:美国航天局-TLX =美国航天局任务负荷指数；SSS =斯坦福嗜睡量表；ET =挖掘任务；HDT =危险探测任务；FA =虚警率；GD =注视分布；BR =眨眼率；PD =瞳孔直径。

此外，本研究从安全、生产率和心理疲劳指数三个维度分析了不同程度心理疲劳的特点及其对被试的影响。安全维度由HDT性能和注视点分布组成，心理疲劳指数由主观感受和客观症状共同决定，生产率由挖掘绩效决定，三维的数据值根据构成该尺寸的特征的平均值计算。如图7所示，在1级，被试的心理疲劳水平非常低，操作安全性和生产率明显高于二级和三级。在2级，被试的生产率、操作安全性显著降低，心理疲劳指数增加。被试正处于由低到高的心理疲劳的过渡阶段。在3级，操作员处于非常精神疲惫的阶段，生产率勉强等于第2级，但操作安全性处于最低水平。

图7：每个心理疲劳水平数据在安全、生产力和心理疲劳指数维度上的散点图

操作员心理疲劳分类算法的评估

根据心理疲劳的3个级别对眼动数据进行标记，并将数据集用于分类模型。通过总体平均精度、宏观平均精度(宏观-P)、宏观平均召回率(宏观-R)和宏观平均得分(宏观-F1)来评估所提出算法的分类性能。此外，选择了四种不同的特征组合来演示可穿戴眼动追踪技术在各种构建场景中的可行性，如下：

(1)特征集1:仅基于瞳孔和基于眨眼的特征(21个特征)。用于操作位置不固定的，凝视的数据易丢失的情况。

(2)特征集2:仅基于眨眼和基于凝视的特征(56个特征)。用于瞳孔直径受到强烈的光变化对心理疲劳分类无效的情况。

(3)特征集3:所有眼动特征(63个特征)。用于外部环境相对稳定并且操作位置相对固定的情况。

(4)特征集4:所有眼动和任务持续时间特征(70个特征)。用于任务持续时间可以测量时。

表4列出了具有这四个特征集的每个监督学习算法的分类性能。从基于LOSO交叉验证的比较评价中可以看出，总的来说，在确保高心理疲劳检测绩效的同时，SVM对所有四个特征集具有最佳的适应性。但是，对于特征集1、2、3，线性判别分析（LDA）具有最好的心理疲劳检测能力。于是本文利用混淆矩阵和接收机工作特性曲线对SVM和LDA的性能进行了评价。

表4：不同特征集的分类算法的分类性能。

混淆矩阵是每个算法性能的具体可视化，可以直观看出哪个级别被错误分类 (图8和图9)。矩阵的每一列代表预测的心理疲劳水平中的实例，而每一行代表真实水平中的实例，对角线元素的值代表正确预测的水平的比例。

图8：SVM标准化混淆矩阵

图9：LDA的归一化混淆矩阵

根据图8和图9可以看出，这两种算法都表现出优异的心理疲劳分类性能，但它们对2级心理疲劳的正确预测率低于其他级别。这意味着在检测心理疲劳等级2时错误分类的概率很高，这可能是由于心理疲劳是一个连续的累积过程，相应的数据也是连续的，导致预测与心理疲劳1级或3级相邻的一些中间状态的准确性降低。

ROC曲线通常被用作一种直观的工具来说明随着阈值参数的变化，真阳性率(TPR，或灵敏度)和假阳性率(FPR，或1-特异性)之间的关系。ROC曲线下面积(AUC)是比较不同特征或分类算法性能的稳健度量，通常，当AUC大于0.9时，分类模型被认为是有效的，较大的AUC表示较好的分类性能。

图10：SVM算法在所有四个特征集下的ROC曲线

图11：LDA算法在所有四个特征集下的ROC曲线

注意:“ROC折叠0”表示ROC曲线对应于测试数据来自被试1而训练数据来自其余5个被试的情况，以此类推。

图10和图11分别展示了四个特征集的SVM和LAD的ROC曲线。从六个被试的LOSO交叉验证折叠对应的ROC曲线的比较来看，SVM比LAD具有更好的抑制个体差异产生被试偏差的能力。通过对特征集4的比较，可以看出LDA比SVM更不适应被试偏差。

此外，为了评估每种算法的总体分类性能，给出了它们在不同特征集中的平均ROC曲线，可以观察到，与LDA相比，SVM可以在所有四个特征集上实现更高的AUC，这再次支持了SVM对上述各种构建场景具有更好的适应性的说法。

NO.7

· 讨    论

贡献

（1）研究结果表明，在几种广泛使用的分类算法中，可穿戴式眼动追踪技术取得了良好的心理疲劳检测绩效，其中SVM是面对各种构建场景和主观偏差时最适合进行心理疲劳分类的算法，准确率至少为80%，这对于将所提出的方法应用于实际施工现场非常重要。

 （2）研究结果表明了四个特征集对预测多层次心理疲劳的有效性。“瞳孔+眨眼”特征组合显示了仅21个特征的高分类精度，这表明对于一些预算有限的建设项目，低成本的网络摄像头也可以用来捕捉瞳孔和眨眼数据，用于自动心理疲劳检测。另外，通过组合不同的特征，可以减轻可能阻碍某些特征使用的不利场地条件。

（3）实验结果还发现不同程度的心理疲劳对被试的生产率和安全绩效以及被试应对心理疲劳的策略有不同影响，心理疲劳增加时，HDT绩效下降较快，而挖掘绩效略有下降。操作员似乎把更多的精力放在挖掘任务上，而不太注意危害检测，这与许多研究结论一致。

局限性

（1）主观评估数据的采样频率较低，导致数据样本稀疏。因此，采样技术被用来填充样本，但这可能会影响数据质量和相应的结果。此外，需要发现和应用更多与心理疲劳相关的眼动指标，以进一步提高多级心理疲劳的检测性能。

（2）60分钟模拟实验任务的实验结果可能不能完全反映在实际施工任务中每天工作8小时以上的操作人员各种程度的心理疲劳，例如极度疲劳甚至是困倦的状态。今后，我们将考虑收集在实际施工现场执行长期作业任务的操作人员的心理疲劳数据。

（3）真实的施工现场环境更加动态和复杂，这可能会导致一些不同的行为特征和任务表现。同时，真实施工现场的操作人员可能会存在体力疲劳，这会使设备操作安全问题更加复杂。

未来工作

如果ICT技术广泛应用于当前的建设项目，未来的工作将侧重于通过其他有效的ICT技术获得高采样频率的多模态数据，并使用“TICC +监督学习”方法不仅进行心理疲劳检测，而且在施工现场进行更广泛的模式发现、识别和检测问题。

考虑到基于仿真的实验的局限性和所提出方法的实用性，未来的研究将侧重于所提出方法在实际施工现场的验证和应用，以及结合工程心理学、人机工程学等学科针对施工设备操作人员心理疲劳的多层次干预策略的开发。

NO.8

·结    论

检测施工设备操作人员的心理疲劳，对于降低被夹在中间和被撞击的危险有很大的潜力。本研究提出了一种基于可穿戴式眼动追踪技术的操作人员心理疲劳自动识别和分类方法，用TICC方法确定多级心理疲劳和完成相关眼动数据的标记。为避免不同类型的眼动数据在不同的构建场景下可能会失效，提取了四种相应类型的眼动特征集来检验可穿戴式眼动追踪技术的可行性。最后结果表明，与其他三种常用的监督学习算法相比，SVM算法和LDA算法具有更好的检测绩效。四个特征集对应的高分类精度表明，眼动追踪技术在各种施工现场条件下具有很大的应用潜力。还有在不同程度的心理疲劳的影响下，操作员的操作安全绩效和生产率经历了不同程度的下降。