本文是针对论文《建筑施工过程中的危险感知分类——利用可穿戴式脑电设备与虚拟现实技术（Classification of construction hazard-related perceptions using: Wearable electroencephalogram and virtual reality）》的一篇论文解析，该论文于2021发表于《AUTOMATION IN CONSTRUCTION》期刊。该研究的作者是JungHo Jeon, Hubo Cai.
保证建筑工人的安全是建筑业至关重要的问题之一。有方法表明，通过分析从可穿戴设备收集到的工人生理反应，能够更好地识别出建筑工地中隐藏的危险。其中，脑电图(EEG)具有独特的发展和应用前景，因为它能在工人感知到危险时迅速地做出异常情况的反馈。然而，已有的研究在实现对危险隐患进行识别这一方面仍然存在局限。在此背景下，本研究于虚拟现实(VR)环境下进行实验，探究了通过开发EEG分类器来识别建筑危险的可行性。结果表明，CatBoost分类器的分类性能最高，准确率达到95.1%。此外，还发现三个重要的频道位置(AF3、F3和F4)和两个波频段(β和γ)与工人的危险感知密切相关。
关键词：施工安全、危险分类、脑电图、可穿戴式脑电帽、虚拟现实、分类器
研究背景
建筑施工行业每年都会发生大量的死亡事件。根据美国劳工统计局在过去五年(2015-2019年)进行的调查，建筑业的死亡人数增加了13.23%，从2015年的937人增加到2019年的1061人。此外，2019年建筑施工行业占私营企业死亡人数的20%。为了保证建筑工人的安全，需要识别出可能对工人造成不利影响的安全隐患，这已经成为安全管理的关键。在目前的实践中，安全经理通常依照程序对建筑工地进行人工检查，这被称为工作危险分析。然而，先前的研究表明，由于检查员的危险识别能力的主观性和不一致性、检查所需的资源数量有限以及施工环境的动态性降低了检查员识别危险的能力，造成了工地上仍有大量的安全隐患仍未查明或未得到很好的评估，这就使得工人持续暴露在不安全的工作条件下。
研究目的
在此背景下，本文通过开发一种可穿戴的脑电帽，配合分类器算法来识别建筑危险，该分类器可以对虚拟现实(VR)环境中感知到的与危险相关的脑电信号进行分类，包括以下五个要点。第一，各类建筑危险(例如坠落、被撞等)，都是在虚拟现实环境中模拟的。其次，脑电数据是在基于虚拟现实的实验室中进行实验采集的。第三，对采集的数据进行预处理，去除信号噪声和伪迹。第四，从预处理后的数据中提取脑电特征。第五，基于15种最广泛使用的机器学习算法中的每一种来开发分类器。然后比较了不同分类器的性能，并进行讨论。本文的研究成果有助于利用可穿戴脑电设备进行危险识别，提高对建筑工地中安全隐患和危险识别水平。
在虚拟现实中进行施工危险模拟
表1列出了五种危险类别（坠落、滑倒和绊倒、被撞击、化学和电气相关等），每种情景包含不同数量的危险。据相应场景开发了15个VR场景，并为每个场景额外创建了一个无危险的VR场景。因此，总共开发了30个虚拟现实场景（15个用于危险场景，15个用于无危险场景）。
表1 模拟危险列表
图1（a）和（b）以四种危险场景（表1中的1、5、7和14）为例展示并说明了了开发的VR场景。这些场景以二维图像的形式呈现。图1（c）显示了实际的360度虚拟现实场景，为参与本研究的被试提供了沉浸式虚拟环境。
图1 虚拟现实场景的示例
数据采集
实验在室内进行，收集被试的原始脑电图数据。在实验之前，所有被试都完全了解整个实验过程，签署知情同意书。并填写人口统计调查表，例如：年龄、性别和身高等。在2020年12月至2021年3月的四个月内，28名研究生（18名男性和10名女性）自愿参与了实验。表2为被试的基本信息。此外，被试有足够的时间熟悉脑电和VR设备，如果感到不舒服，可以随时停止。
表2 被试的基本信息
图2（a）说明了整个实验过程。校准过程（30秒）后，每个虚拟现实场景（无论是否包含危险）随机显示给被试15秒，并使用可穿戴式脑电设备记录实时脑电信号。在本研究中，每位被试观看了30个场景，共提供840个数据点（从一个VR场景采集的15 s 脑电信号，对应一个数据点）。在数据收集期间，被试正在观看的VR场景也通过笔记本电脑屏幕进行显示，如图2（b）所示。
图2 实验概况
在被试观看了所有场景后，进行了实验后调查，以检查被试是否感知到来自每个场景的危险，调查结果用于标记EEG数据。例如，如果被试回答说他们从特定场景中感知到危险，则在该的场景中记录的EEG数据标记为“1”，表明记录的信号与感知到的危险相关。另一方面，如果被试回答说没有察觉到危险，则EEG数据标记为“0”，表明该数据与察觉到的危险无关。结果，总共有456个数据点被确定为与感知危险相关的脑电信号，并标记为“1”。其余384个数据点标记为“0”。
本次实验采用的可穿戴式脑电设备采样频率为128 Hz，带有14个电极，电极位置如图2（c）所示。VR设备显示360度场景，分辨率为1832×1920，刷新率为90 Hz。
数据预处理
脑电预处理是一个关键步骤，因为脑电原始数据通常包含大量不必要的伪迹，这会对数据特征的检测和提取产生负面影响。脑电伪迹可分为两类：外部伪影——是由环境和物理因素引起的，如线路干扰、电极弹出和环境噪声；内在伪迹是由于体内变化（如眨眼、肌肉运动和呼吸）而产生的。本研究使用EEGLAB作为工具，并采用一个标准化的脑电信号处理框架来处理外在和内在伪迹。
具体来说，EEGLAB软件，可以配合一个名为IC（independent components）Label插件可用于将独立成分自动分类为不同的源类别（例如，眨眼、线路噪声和其他噪声）。对于IC Label确定的“其他”类别，根据每个独立成分呈现的独特模式，手动检查每个成分的随时间的变化及脑电信号地形图。例如，眨眼成分主要投射到头皮上具有高激活的额叶区域，肌肉活动投射到频谱峰值高于20 Hz的颞叶区域。最终，通过从原始信号中减去代表伪迹的独立成分，获得干净的EEG信号。
特征提取
从预处理的脑电信号中提取特征是关键步骤，它显著影响模型的性能。提取的脑电特征作为基于机器学习的脑电分类器的输入。一般来说，脑电信号特征可分为三种类型。时域特征从初始域（即时域）中提取，并根据统计特征（如均值、方差和峰度）、振幅和熵进行计算。频域特征允许根据基于算法的频率分量（例如，频谱）分析信号，例如快速傅立叶变换（FFT）。时间-频率域特征定义在包含时间和频率信息的转换EEG信号上。
在本研究中，考虑了三种类型的脑电信号特征（1）振幅平均值（时域特征）；（2）δ、θ、α、β和γ波的功率谱密度（PSD）（频域特征）；（3）价态和唤醒（频域特征）以及八个脑电信号通道（AF3、AF4、F7、F8、F3、F4、FC5和FC6），它们通常被视为与风险感知相关的因素。图3以从信道F4采集的信号为例详细说明了包含整个EEG信号的分段，以及计算每个频带（δ、θ、α、β和γ）的功率谱密度的过程。整个信号（15秒）被划分为时间段（例如，第一个窗口期和第二个窗口期），窗口期大小为1秒。整个信号取PSD的平均值来计算，每个PSD都是从单个段（窗口）计算出来的。最终从每个数据点（被试观看一个虚拟现实场景时采集的15秒EEG信号）中提取了δ、θ、α、β和γ的五种功率谱密度。
最后每个数据点共有50个特征（8个通道的振幅平均值、8个通道的δ、θ、α、β和γ的PSD、价态和觉醒）被用作训练和测试分类器算法的输入。
图3功率谱密度(PSD)的计算
EEG分类器
本研究共开发了15个分类器，因为分类性能因数据集类型、用于开发分类器的算法和超参数设置（例如批量大小和学习率）而异。为此，自动化机器学习（AutoML）方法采用了整个机器学习过程的自动化通道，这归功于其自动转换数据、调整超参数和比较各种模型性能的能力。在AutoML中，搜索空间和优化方法是开发不同优化分类器和比较性能的两个主要组件。整个数据集由840个数据点组成，在训练和测试之间以70%/30%的比例随机分割。图4以15个分类器中的一个（CatBoost）作为示例，给出了优化过程。表3总结了已开发的分类器，并给出了简要说明。
图4 十倍交叉验证结果（CatBoost分类器）
表3 分类器及简要说明
分类器的性能比较
为了比较和评估15个分类器的性能，采用了四个指标（准确性、精确性、召回率和F1分数）。分类精度，即正确分类的观察值（分类与实际分类）占观察值总数的百分比，是分类性能的主要衡量标准。精确度定义为EEG信号中正确分类为与感知危险相关信号的分数。召回定义为危险感知相关信号正确分类为阳性的部分。F1分数定义为精确性和召回率的调和平均值。表4总结了15个分类器的性能；表格按精度降序排序（从高到低）。
表4 分类器性能比较
总体而言，分类器的平均准确度为88.5%，精密度87.8%，召回率88.3%，F1值为87.6%. CatBoost分类器的分类性能最高，准确度为95.1%，精密度96.9%，召回率92.0%，F1为94.3%. 此外，在八个树分类器（表5中的编号1、2、3、4、5、6、7和13）中，有七个（编号1、2、3、4、5、6和7）的排名占据前7。
脑电特征分析
在以前的许多脑电研究中，通过应用各种降维算法，如主成分分析（PCA）和t-分布随机邻域嵌入（t-SNE），将输入特征的数量减少到二维或三维。它们被证明是减少数据大小和以易于理解的格式将多维数据进行可视化呈现的有效工具。然而，它们容易丢失信息，因为它们往往高估了特征之间的相似性，低估了外推的程度。换句话说，简化特征（通常为两个或三个）不能保持输入特征的单个特征，此外，它们解释特征与模型性能之间关系的能力也有限。
在本研究中，通过使用t-SNE测试降维是否提供更好的分类性能，将所有50个输入特征降为二维（图5中的一维和二维）。然而，重新训练的CatBoost分类器的准确度为85.2%，低于表5中15个分类器的平均值（88.5%），表明减少特征并不能提高分类性能。
对在上一节中获得最佳性能的CatBoost分类器进行进一步研究，以了解EEG特征与基于特征重要性的分类性能之间的关系（即哪些特征对分类性能有显著贡献）。基于训练数据集计算特征重要性，其中应用了10倍交叉验证；具体而言，它计算训练数据集中具有每个特征的分类器的损失值与不具有该特征的分类器的损失值之间的差值。特征重要性越高，对应的特征越重要。图6示出了50个输入特征中的每一个的重要性值。从图中可以看出，由F3通道（F3_BetaPSD）计算的β波段PSD是最关键的特征，而由FC6通道（FC6_BetaPSD）计算的θ波段PSD是最不重要的特征。
图5 降维
图6 由CatBoost分类器生成的特征重要性
附加实验
正如上一节所讨论的，分析特征重要性提供了对分类器和数据集的深入了解。为了深入理解特征，对CatBoost分类器进行了迭代训练，从最关键的特征(F3_BetaPSD)开始，如图7所示。结果表明，分类器能够利用F3_BetaPSD的单一特征对感知风险相关的EEG信号进行分类，准确率为69.2%。当使用9个特征(F3_BetaPSD、AF3_BetaPSD、AF3_GammaPSD、F4_GammaPSD、F3_GammaPSD、F4_BetaPSD、AF4_GammaPSD、AF3_ThetaPSD和F8_GammaPSD)时，分类器的准确率不断提高，达到91.5%，当使用前19个特征时，准确率达到95%。进一步增加特征的数量并没有导致准确率的显著提高。请注意，当使用前48个特征时，准确率最高(95.4%)。研究还发现，三个EEG通道(F3、AF3和F4)和两个频段(β频段和伽马频段)的功率谱密度(PSD)对基于作者设定的标准(在特征列表中最少出现两个频段，准确率在90%以上)的分类性能有显著贡献。
图7 特征的累积贡献曲线
β波段(12-30赫兹)与运动皮质活动中的活跃思维、注意力集中和注意力处理有关。伽马波段(30-60赫兹)与信息同步、视觉注意力和焦虑有关。在本研究中，与感知风险相关的β和γ两个关键频段的识别可以用这样一种方式来解释：参与实验的被试将大部分注意力集中在搜索和识别虚拟现实环境中的建筑危险上。此外有证据表明，可以通过关注β波段和伽马波段中的功率谱密度PSD变化来检测驾驶员对驾驶危险(例如，行人走上道路)的反应。此外，识别与人类危险感知密切相关的三个EEG通道(F3、AF3和F4)和两个频段(β和γ)提供了减少计算时间的机会。当将使用50个特征(最大准确率为95.1%)的分类器与图7中使用9个特征(准确率为91.5%)训练的其他分类器进行比较时，计算时间从6012ms显著减少到254ms。
基于沉浸式虚拟现实环境下进行的实验，研究了通过开发可穿戴式脑电分类器来识别建筑危险的可行性。5种危险类型(跌倒、滑倒、绊倒、被撞、化学和电气等)在30个VR场景中进行了模拟。EEG信号数据来自28名同时佩戴可穿戴EEG和VR设备的被试。在提取的50个脑电特征的基础上，利用15种基于机器学习的算法开发了分类器，并对分类器的性能进行了比较。
本研究有三个主要发现：
首先，在总共15个分类器中，7个基于树的分类器(如CatBoost和ExtraTrees)的性能最高；它们在表5中的排名从1到7。特别是，CatBoost分类器在15个分类器中对与感知危险相关的脑电信号进行分类的性能最好(95.1%)(平均准确率为88.5%)。
其次，在总共50个脑电特征中，有9个关键特征(F3_BetaPSD、AF3_BetaPSD、AF3_GammaPSD、F4_GammaPSD、F3_GammaPSD、F4_BetaPSD、AF4_GammaPSD、AF3_ThetaPSD和F8_GammaPSD)对分类性能有显著贡献。使用9个最重要的特征得到91.5%的准确率，而准确率下降(与使用全部50个特征的最高准确率95.1%相比)，计算时间从6012ms显著减少到254ms。使用前19个特征可以获得95%的准确率，进一步合并其他特征并不能显著提高总体准确率。使用t-SNE的实验表明，将50个特征降维到二维效果不佳，分类性能下降到85.2%。
第三，从上述9个重要特征中可以观察到的相似性中，发现三个通道(F3、AF3和F4)和两个频段(β和γ)与人类危险感知密切相关。
本研究的主要贡献体现在两个方面：
首先，在分类器性能可以接受的情况下，论证了利用脑电信号对与感知危险相关的信号进行分类的可行性。这项工作能够根据工人的脑电图反应识别工作场所的危险。考虑到随着工程的推进，施工现场不断变化，新的危险源不断涌现，脑电分类器的研制支持无处不在的危险源识别，有望提高施工安全水平。
其次，这项研究的结果有助于理解哪些脑电图特征对分类性能贡献最大，以及大脑活动的哪些方面与人类危险感知高度相关。与其他使用深度学习和机器学习算法的研究相比，本研究强调了在选择最关键的脑电成分方面的有效性，并对各种机器学习算法从相应的脑电特征中检测建筑危险的性能进行了基准测试。以上研究结果可用于支持基于EEG的泛在危险识别和主动安全管理的实际实施。在建筑工地，工作场所在不断演变，工人们都在进行体力活动，他们遇到的危险的位置和类型每天甚至每小时都会发生变化。开发的EEG分类器与跟踪工人实时位置的传感器(例如蓝牙低能量信标)相结合，可以根据工人的集体EEG响应实时识别动态危险。此外，它还可以通过行为干预帮助从事高危行为的工人进行安全行为。许多研究表明，许多建筑工人，特别是有经验的工人，往往低估后果的严重性，即使他们正确认识到危险，也会从事危险行为。对于这些工人，可以根据其他工人的脑电信号设计通过触觉或听觉系统进行的反馈和干预。在未来的研究中，作者将探索加入额外传感器的可行性，并将实验室开发的脑电分类器应用于不同场景的真实建筑工地，以证明其有效性。此外，还将对工人收到反馈后的反应和群体行为进行全面评估。
神经工程管理联合发起人
| 李 恒 |
教 授 |
香港理工大学 |
| 叶 贵 | 教 授 |
重庆大学 |
| 卢昱杰 |
教 授 |
同济大学 |
| 廖彬超 |
副教授 |
清华大学 |
| 陈嘉宇 | 副教授 |
香港城市大学 |
| 韩 豫 | 教 授 |
江苏大学 |
| 崇 丹 | 副教授 |
上海大学 |
| 付汉良 |
副教授 |
西安建筑科技大学 |
西安建筑科技大学神经工程管理实验室成员
| 付汉良 | 副教授 |
|
| 侯彩霞 | 副教授 | |
| 王萌萌 |
博士后 | |
| 郭晓彤 | 博士后 |
本篇文章来源于微信公众号：神经工程管理