工程信息格式对施工操作学习和执行的影响：虚拟现实管道维护实验

这是“神经工程管理”第39篇推送

摘要：建筑工作日益复杂，且越来越多的建筑作业在有限的工作场所内进行，建筑工人严重依赖工作记忆。在此背景下，工作记忆被定义为对近期事件相关信息的短期和临时存储，以确保建筑任务的无缝执行。虽然在相关文献中观察到工程信息格式和工作绩效之间的紧密关系，但仍然存在明显的理论分歧——特别是关于为何不同的信息格式以不同方式影响工作记忆发展和提取。本研究提出了一个人体试验（n=120），来检验信息格式对管道维护工作绩效的影响，以及认知成本对工作记忆发展（信息编码）和提取（信息回溯）的影响。要求被试在短时间内复习一项管道维护任务的操作说明，然后凭记忆执行该任务。根据他们收到的信息格式，被试被分为四组：带有项目符号文本操作说明的板式换热器2D正等轴测图（2D简单组）；带有富文本操作说明的板式换热器2D正等轴测图（2D复杂组）；带有项目符号文本操作说明的板式换热器交互式三维模型（3D组）；或带有项目符号文本操作指令的沉浸式虚拟现实环境（VR组）。结果显示，3D组和VR组在操作时间和维护精度上均优于简单2D组和复杂2D组。进一步的认知负荷分析（基于调查和瞳孔扩张）表明，这些组的优异表现是由更有效地使用工作记忆所驱动的，该记忆是通过在操作阶段可以轻松回忆编码信息来衡量的。编码期间较大的瞳孔扩张表示工作记忆成功形成，这与更好的后续性能有关。这些发现为不同信息格式的认知机制提供了更多的证据，有助于解决目前建筑文献中存在的理论分歧，并可能激发认知驱动信息系统的设计，这些信息系统可以改善建筑工人的工作记忆。

关键词：工作记忆 工程信息 认知负荷 虚拟现实 眼动追踪

建筑、工程和施工（AEC）行业正在经历一场快速的数字革命，其中具有代表性的现象是建筑信息建模、虚拟现实、增强现实、混合现实等用于复杂工程信息直观交流的新型可视化技术的出现。AEC行业的许多研究已经证明了VR和AR技术在项目通信、能源使用优化、建筑安全、培训和教育以及设施管理方面的潜力。

越来越多的人对研究新兴信息交流方法（如3D模型和VR/AR）对建筑工人工作绩效的影响产生了兴趣，然而现有的文献存在相互矛盾的发现。一些学者认为新兴的可视化技术（3D模型和VR）对施工作业工作绩效产生了积极的影响，然而其他学者尚未发现有益的影响。显然，信息格式在施工作业中对工作绩效的作用存在知识缺口，需要进一步的研究。

人们对潜在的认知机制所知甚少，在这些机制中，不同的信息格式可能导致不同水平的任务表现。工作记忆是一种对学习、记忆和执行复杂构造操作都至关重要的认知机制。另一个与工作记忆有关的概念是认知负荷，不同的信息呈现格式可能会导致不同程度的认知负荷，增加工作记忆资源的负担。

在这篇论文中，我们通过比较不同组的工作绩效，来检验在虚拟现实环境中成功学习和执行管道维护任务的认知机制。我们还收集了工作记忆和认知负荷的代用指标，如瞳孔扩张，这已被证明与认知负荷有关。这些代用指标应使我们能够更好地说明信息格式对复杂计划的学习和任务执行的影响。

管道维修在现代工业建设项目中起着重要的作用，但建筑维修工人只能依赖其工作记忆记住操作说明，并在有限的时间里在密闭的空间内完成维修任务。有限的空间、时间压力和不利的工作环境可能会增加伤害风险。因此，迫切需要更好地了解不同信息格式如何影响建筑工人学习和成功执行管道维护任务的能力，这项研究的结果将十分有意义。

本研究旨在探讨不同的信息格式如何影响管道维修任务的性能。我们假设，3D和VR格式将促进最佳学习，其本质是学习阶段的认知负荷减少，并能在操作阶段回忆相同的信息。我们开发了一个具有眼动追踪功能的交互式VR系统来模拟更换板式换热器的管道维修任务。

本研究重点在于研究信息加工和复杂任务学习、执行相关的认知过程，如图1所示，为了排除其他认知过程的影响，我们设计了一个对照实验，主要依靠工作记忆来执行顺序操作。换句话说，实验设计不需要像推理这样更高层次的认知过程，相反，被试要成功完成实验任务，主要需要复习有关操作顺序的信息，并在操作阶段使用这些存储的信息。我们的实验分为两个阶段:训练阶段，被试看不同信息格式下的信息；测试阶段，被试在虚拟现实环境中完成任务。此外，我们还在上述工作记忆理论的基础上控制了信息的类型，包括语音信息（复习阶段的文本信息）和视觉空间信息（复习阶段的2D等距图或3D模型）。通过精心设计实验和任务，将其他认知过程的影响降至最低。在我们的实验中，我们使用了一个具有眼动追踪功能的交互式VR系统，来创建一个身临其境的虚拟环境，逼真地模拟了一个封闭空间中的管道维护任务。该方法主要包括两个步骤：数据收集和数据分析。

（1）数据收集：

本文使用了具有行动跟踪和眼动追踪功能的交互式VR系统来收集被试的行为数据。设计了在密闭空间内更换板式换热器的虚拟工作场景，在实验中，要求被试使用四种操作说明中的一种来记忆一个10步的管道维护顺序。实验展示给被试的操作说明包括两个部分：操作文本说明和对板式换热器的视觉表示。为了研究视觉空间信息对工作记忆发展和提取的影响，我们首先设计了三组：在显示器上印有文字操作说明说明的板式换热器2D正等轴测图（简单2D组）；带有项目符号文本操作说明的板式换热器交互式三维模型（3D组）；和带有项目符号文本操作说明的头戴式板式换热器VR模型（VR组）。这三组的操作文本说明是相同的。为探究语音信息对工作记忆发展和提取的影响，我们将2D复杂组的信息格式设计为板式换热器的2D等距图，与2D简单组相比，带有富文本操作说明。因此，总共有四组：2D简单组、2D复杂组、3D组和VR组。在复习阶段结束后，要求被试根据他们在VR环境中复习阶段的记忆来执行任务。实验过程中采集被试的动作、操作时间、操作精度、注视数据和瞳孔直径。此外，本研究采用背景调查问卷收集被试的人口统计资料，并采用空间立方体测验和形状记忆测验两种能力测验来评估被试的空间认知能力和记忆能力。在实验结束时使用认知负荷问卷对被试的认知负荷进行评估，并验证通过瞳孔数据评估的结果。

图1 研究方法

（2）数据分析：

在收集实验数据后，我们分析了工作记忆发展和提取阶段的工作绩效和认知成本。以被试的作业时间（s）和管道维修精度（%）作为工作绩效指标，管道维修精度记录范围为0% ~ 100%，操作时间表示被试完成任务的效率。此外，我们使用认知负荷问卷和瞳孔直径数据来评估复习和行动过程中的认知负荷水平。当存在光反应效应和个体差异时，现有的AEC行业文献并没有提供一种现成的瞳孔数据分析方法。我们开发了一种新的瞳孔直径分析方法，根据眼动追踪器收集的瞳孔直径数据来评估被试的认知状态，如图2所示。这种方法使我们能够实时捕捉被试的工作记忆发展，并提取相关的认知负荷状态。此外，我们还使用了经过充分验证的认知负荷问卷，以验证通过瞳孔分析方法计算出的认知结果。

为了分析瞳孔数据，我们首先对原始瞳孔直径数据进行瞳孔眨眼反应校正。在400 ~ 600ms内，数据中的眨眼反应特征为：眨眼开始时快速下降到0，眨眼偏移时快速从0上升到正常值，我们使用线性插值的方法从原始数据中过滤掉所有的眨眼现象。其次，本研究通过以下方式设计实验以控制运动任务复杂性和运动任务精度的影响。在实验的复习阶段，所有被试被要求坐着或站着不动，在不同的组复习管道维护说明，这个阶段没有涉及到运动任务。在操作阶段，我们在不同的组中设计了相同级别的任务复杂度（10步动作任务）。我们还开发了一种被称为隐形对撞盒法的创新方法来确保一致的动作精度要求，这个方法为虚拟环境中的每个阀门分配了一个不可见的碰撞箱，只有当被试的“虚拟手”达到对撞机盒相同的半径时，才能触发阀门旋转。通过这种方式，被试“被迫”在他们的任务中应用相同的精度水平，控制了运动任务的复杂性和精度水平。

图2 瞳孔直径分析流程

（3）数据预处理：

在瞳孔数据预处理阶段，我们使用了Hampel滤波器来去除伪迹并平滑数据，还根据Klingner的研究排除了瞳孔大小数据中的瞳孔光反射。遵循标准惯例，在实验过程中保持恒定的环境亮度，由于实验都是在同一地点进行的，所以不同组的环境光照是一致的。因此，显示器的亮度变化是影响被试瞳孔光响应的唯一因素，需要注意显示器亮度与耳机镜头亮度的差异。因此，我们在系统中开发了一种算法，根据显示屏上所有像素的RGB值，计算两眼接收到的亮度。文献《无障碍评估和修复工具的工作技术草案》表明，无论光源是什么，人眼接收到的亮度都可以根据红、绿、蓝三原色的相对强度来计算，然后应用已开发的瞳孔光响应公式来量化显示器亮度变化引起的瞳孔直径变化。利用上述方法，我们滤除了光的影响，获得了纯粹由实验操作导致的认知负荷差异引起的瞳孔变化。

然后我们选取前90个样本的均值（1s）作为瞳孔大小的基线，进行基线减法校正。使用基线减法校正的目的是调整一般瞳孔光响应模型，并获取个人基线。最后，我们使用了符号近似（SAX）方法来纠正瞳孔光响应潜伏期，因为每个个体的瞳孔大小随光线的变化速度是不同的。基线校正后，纯瞳孔直径的变化可以直接反映被试的实时认知负荷状态。因为有充分的证据表明瞳孔扩张通常与认知负荷的增加有关，所以我们把重点放在评估瞳孔扩张的频率和幅度上。

我们选择了两个特征来捕捉瞳孔的变化，包括表1所列的平均瞳孔放大百分比（%）和综合瞳孔放大百分比（mm）。平均瞳孔放大百分比是瞳孔在基线时间内放大的平均百分比值。根据已有文献，瞳孔放大百分比与基线相比可以代表心理需求水平。累计瞳孔扩张是指瞳孔在一段时间内超过个人基线的总和，综合瞳孔放大代表了一项任务中的总认知需求。

表1 瞳孔放大特征

（4）认知负荷验证：

为了验证瞳孔扩张测量的认知负荷，我们使用认知负荷测量问卷来评估被试在完成任务后的认知负荷水平，该方法广泛应用于现有的瞳孔直径和认知负荷研究。我们没有使用传统的认知负荷测量方法，如NASA任务负荷指数（TLX），而是采用了一种更高级的认知负荷测量方法，可以直接测量之前识别的三种认知负荷（内在认知负荷、外部认知负荷和与之密切相关的认知负荷）。根据Sweller的认知负荷理论，内在认知负荷受任务复杂性的影响，外在认知负荷受信息呈现方式的影响，相关认知负荷受任务之前知识的影响，Leppink的认知负荷测量结果验证了瞳孔分析结果。

研究过程

（1）具有眼动追踪功能的VR系统：

由于在现实世界中很难模拟复杂的受限空间管道维护任务，因此我们在已经得到充分验证的虚拟现实系统的基础上，开发了一个交互式VR系统。为了获得精确和高分辨率的瞳孔数据，本研究使用了两个眼动仪，如图3所示。这两款眼动仪都是Tobii公司生产的，都使用高级瞳孔中心角膜反射（PCCR）远程眼动追踪技术来捕捉眼球运动和瞳孔大小。眼动仪中的近红外照明器用来在眼睛的角膜和瞳孔上产生反射图案。眼动仪中的摄像头是用来捕捉高分辨率图像的。最后，实现了先进的图像处理算法和眼睛的生理3D模型来估计眼睛在空间中的位置和瞳孔大小。

由于两种眼动追踪器使用相同的眼动追踪技术和Tobii提供的相同的软件开发工具包（SDK），不同组的被试的眼动和瞳孔大小都得到了一致的捕捉。2D组和3D组将Tobii Pro X3-120安装在监控器上，记录被试注视屏幕时的注视位置和瞳孔直径，频率为120Hz。VR团队将集成眼动仪安装到头戴式显示器（HMD）中，集成眼动仪的精度为0.5°，凝视数据输出频率为120Hz。为了在虚拟环境中实现眼动追踪和可视化功能，基于Tobii Pro SDK和Unity中的应用程序编程接口（API）开发了几个c#脚本，该系统以90 Hz的频率采集了虚拟环境中被试的的注视运动、头部运动和旋转、身体运动、手部运动、瞳孔直径等相关数据。每次VR实验试验后，开发的VR系统都会自动生成一个包含所有原始数据的CSV文件。本研究中的管道模型是基于SketchUp中开发的板式换热器模型进行开发的，VR系统运行在一台2.60 GHz Intel Xeon CPU和64gb RAM的工作站上。如图4所示，在沉浸式虚拟环境中，不同组的被试利用眼动系统复习管道模型，记忆管道维护顺序。

图3 本研究使用的眼动仪：（a） Tobii Pro X3-120眼动仪;（b） Tobii Pro VR集成眼动仪

图4 回忆和操作实验的被试。（A）2D-简单组；（B）2D-复杂体组；（C）3D组；（D）VR组

（2）实验任务与虚拟环境：

要求被试在更换板式换热器之前记住转动或关闭阀门的顺序。根据《Alfa Laval板式换热器使用说明书》制定的热水、冷水切断的预启动顺序共10个步骤。为考察信息格式的影响，分别为各组设计了4种操作指导书。2D简单组的操作说明设计为板式换热器的2D等距图，并在监视器上以文字形式标注操作说明，如图5（a）所示。同样，将2D复杂组的操作说明设计为板式换热器的2D等距图，并在监视器上显示富文本操作说明，如图5（b）所示。3D操作说明设计为板式换热器的交互式三维模型，其操作说明文字为项目符号，如图5（c）所示。3D组的被试可以使用键盘和鼠标查看操作说明文本和3D模型。VR操作说明书被设计为HMD耳机，用于在沉浸式的虚拟环境中查看操作说明书和虚拟板式换热器模型。VR组的被试还可以在阅读操作说明的同时与板式换热器模型进行互动。为了模拟有限的空间，被试可以看到有限的空间边界，并被告知在执行任务时不要超出边界。

图5 四种操作说明：（A）2D-Simple；（B）2D-Complex；（C）3D和VR。

（3）实验过程：

在实验开始前，收集了可能影响被试表现的背景信息，如人口统计学特征、空间认知和游戏体验（与VR熟悉度相关），我们根据背景信息将被试随机分为四组，预实验分析未发现组间有显著性差异。此外，所有的实验都是在相同的地点使用相同的设备进行的，环境影响也可以排除在外。我们还确保实验刺激对被试来说是清晰的，没有任何可能的模糊解释。其中，实验中使用的自变量为客观信息刺激，分别为2D正等轴测图、三维模型和管道维护任务中的VR模型。被试所接触的实验条件是客观的，可以清楚地分辨出不同类型的信息格式之间的区别。要求被试在5分钟的时间内记忆一个10步管道维护任务的正确顺序和空间配置，然后在VR环境中执行该任务。被试被告知，他们的表现将与其他人进行比较，而实验报酬的数额将由任务表现来决定，目的是激励被试记忆管道维护顺序，并尽可能准确地执行任务。

实验分为7个阶段：（1）问卷前测试，（2）空间和记忆测试，（3）训练，（4）复习，（5）记忆，（6）操作，（7）问卷后访谈。问卷前环节（5-10分钟）主要收集被试的年龄、性别、专业、学历、游戏和虚拟现实经验、暖通空调系统的知识水平等人口统计信息。采用空间记忆测试（10 ~ 20分钟持续时间）评估被试的空间认知和空间记忆能力，并为其任务执行设定基线。在我们的研究中，使用了由美国教育考试服务中心（ETS）开发的立方体比较和形状记忆测试，培训课程（时长5分钟）旨在让被试熟悉眼动追踪系统和虚拟环境中的互动，要求所有被试在培训课程中熟悉虚拟现实设备和虚拟环境。实验研究人员还能够确保在几次校准试验后，眼动追踪器准确地捕捉到被试的眼球运动。

被试被告知如何使用这两个控制器与虚拟阀门进行交互，复习环节让被试复习和记忆管道维护顺序。复习时间限制在5分钟，是因为如果使用虚拟环境10分钟或更长时间（基于以前的研究），一些被试可能会感到恶心（头痛，头晕等）。在记忆测试中（持续5分钟），被试接受了另一项形状记忆测试。其目的是干预被试的工作记忆储存，并在接下来的任务中引发相对较高的认知负荷。储存期结束后，要求被试在虚拟现实环境中执行管道维护任务（没有时间限制）。完成操作环节后，被试会收到一份SUS问卷，以评估他们在虚拟环境中的表现。在所有实验阶段结束时，要求被试填写一份后问卷，提供评论和反馈。后问卷是基于Leppink认知研究提出的认知负荷测量开发的，该测量可以评估三种认知负荷来源。所有的实验都在得克萨斯农工大学进行，每个被试的实验过程大约需要60-90分钟。

数据分析与结果

（1）概述：

总共有120名被试（68名男性，52名女性）参加了这项研究，其中包括53名本科生和67名研究生。我们使用GPower对单因素方差分析进行了动力分析，以组为因子，操作精度为因变量。使用较大的效应量估计值（η2= 0.14），在四个组中每个组有30名被试的先验动力分析得出0.96的功率，以检测组在α=0.05时的显著方差分析；使用中等的效应量估计值（η2= 0.10）产生0.86次方来检测效果。使用K样本均值法进行回顾性动力分析，计算出120个总样本的实测功率为0.99998。所有被试都是通过大学的电子邮件列表招募的。被试的年龄从18岁到45岁不等，平均年龄为23岁。参加者来自不同的学科，包括土木工程、建筑管理和其他工程专业。我们调查了他们之前的游戏和虚拟现实体验，因为这可能会影响被试的虚拟现实任务表现。被试还被要求报告他们以前对暖通空调系统的了解、理解文字说明的能力、阅读二维图纸的能力以及他们理解三维模型的能力。所有这些都是以10分的李克特量表衡量的（结果见表）。结果：平均游戏体验为5.81，平均VR体验为3.18，表明大多数被试报告自己的虚拟现实体验较少，因此他们的表现可以公平地比较。被试对暖通空调系统的平均了解为2.3，表明被试之前的知识非常有限。在理解文本说明、2D图纸和3D模型方面的平均能力都大于7.5，这表明大多数被试在理解任务方面没有问题。

方差分析检验发现，四个组的立方体测试分数没有显著差异，表明每组被试的空间能力水平相似。根据SUS和实验后问卷的结果，大多数被试认为虚拟管道维护情景是逼真的和身临其境的，大多数被试在虚拟环境中执行管道维护任务时感到轻微和可以忍受的不舒服，没有被试要求中止实验。

（2）工作绩效：

首先，评估了四组之间的任务表现是否有足够的差异，使用了两个任务性能指标，包括管道维护精度（%）和运行时间。评估管道维护准确性的标准为：于每个维护步骤，如果被试没有接触阀门，则该操作被视为失败；如果被试按错误的顺序触摸阀门，则该操作被视为失败；如果被试按正确的顺序触摸阀门，则该操作被视为成功。采用单因素方差分析，以管道维护精度为因变量，以组为因子。为了摆脱零假设显著性检验，我们把重点放在效应大小和置信区间估计上。综合方差分析的效应大小是显著的（η²=0.339，ω2=0.320）。为了获得这个效应大小的95%的置信区间，我们使用R的car和sjstats软件包，通过替换抽样来引导效果大小估计值的分布。因为η2是有偏差的，且不能为负，所以我们使用ω2来推断效果大小的95%置信区间是否不包括零。这使得ω2的95%的置信区间为[0.200，0.483]，远高于零，表明组对管道维护精度有很大影响。接下来，我们比较了每组的组均值和95%的置信区间，为了创建95%的置信区间，我们将均值的标准误差乘以2.045，临界t值为α = 0.05和df = 29，给定每组30个样本量。如果一组的均值不在另一组95%的置信区间内，则两组之间存在显著差异。结果得到：2D复杂组的平均准确率最低。2D简单组的平均值不在2D复杂组的95％置信区间范围内，表明2D简单组的被试明显比2D复杂组中的被试更准确。3D组和VR组的平均值彼此之间没有显著差异，并且它们显著高于2D简单组和2D复杂组的95%置信区间的上限。因此，VR组和3D组的准确率显著高于2D组，而2D复杂组的准确率显著低于其他所有组。

接下来，我们以操作时间作为因变量并以组为因子进行了类似的方差分析。综合方差分析的效应值较大（η²= 0.188，ω2= 0.166）。ω²的bootstrapped95%置信区间不包括零[0.070，0.323]，因此表明存在非零效应。结果表明：2D复杂组的平均操作时间显著长于2D简单组的操作时间，且各组的均值均在另一组的95%置信区间之外，3D组和VR组的平均操作时间是最快的。这些组95%的置信区间在很大程度上是重叠的，并且它们不包括2D组的平均值。因此，四组之间的平均操作时间模式在很大程度上反映了我们观察到的准确性模式，3D和VR组比2D简单组执行得更快、更准确，后者比2D复杂组更快、更准确。表4（图6）显示了操作时间数据的更多细节。

表4 被试任务表现详情

图6 四组工作绩效：（A）管道操作精度；（B）操作时间。错误条代表95%的置信区间

还计算了每个条件下被试操作时间的几何平均值，几何平均数比算术平均数更能准确地估计总体中位数。与样本中位数相比，几何平均数的偏差更小，样本中位数往往高估了总体中位数。几何平均值是通过取每个值的自然对数，计算这些对数值的均值，然后将该平均值指数化来计算的。图7绘制了每组的几何平均值以及95%的置信区间。3D和VR条件的置信区间不包括2D条件下的平均值，这表明这些组在操作时间上确实存在差异。正如预期的那样，每个被试操作时间的自然对数比原始操作时间更符合正态分布。

图7 不同组操作时间的几何平均值

（3）信息编码阶段的认知负荷：

通过在训练或信息编码阶段测量瞳孔扩张来评估认知负荷。与上面的分析类似，我们进行了一项单因素方差分析，将组作为因子，将训练阶段的平均扩张作为因变量。这就产生了一个很大的效应量（η = 0.280，ω2= 0.260），ω²的bootstrapped 95%置信区间不包括零[0.132，0.452]。2D简单组和2D复杂组的平均瞳孔扩张最低，两组没有显著差异。3D组和VR组彼此之间没有显著差异，并且两组的平均瞳孔扩张显著大于2D组。这些结果表明，3D和VR组的被试瞳孔扩张更大，训练期间认知负荷水平更高。我们进一步检测了信息编码阶段的聚集瞳孔扩张，如图8（b）所示。单因素方差分析产生了一个非常大的效应值（η = 0.533， ω²= 0.519），对ω²的bootstrapped 95%置信区间95%置信区间不包括零[0.414,0.639]。总体瞳孔扩张在2D简单组和2D复杂组中最低，两组间无显著差异。3D组和VR组之间无显著差异，两组的平均瞳孔扩张显著大于2D组，3D组和VR组的平均值远高于2D组95%的置信区间。在所有情况下，瞳孔扩张与管道操作准确性呈正相关。

图8 信息编码中的瞳孔扩张：（a）平均瞳孔扩张百分比;（b）聚集瞳孔扩张

（4）信息提取阶段的认知负荷：

我们还评估了在被试试图执行管道维护操作的阶段，瞳孔扩张作为认知负荷的替代指标。根据Shapiro-Wilk正态性检验，平均瞳孔扩张呈正态分布，因此，使用单因素方差分析来比较不同组的平均瞳孔扩张（α= 0.05）。该方差分析的效应值非常小（η²= 0.016，ω²= -0.009），ω²甚至小于零。ω²的95%置信区间包括零[-0.022，0.087]，这表明在信息提取期，实验组对瞳孔扩张几乎没有影响。然而，应该注意的是，因为每个被试在任务操作阶段使用的时间显著不同，平均瞳孔放大百分比可能不能正确反映任务操作阶段的总认知成本。

例如，图9显示了两个被试在操作阶段的瞳孔变化，虽然被试（A）的瞳孔平均放大程度较低，但由于它在这项任务上花费了更多的时间，所以总的认知负荷仍然高于被试（B）。因此，聚集的瞳孔扩张是捕捉被试在信息回溯过程中总认知负荷的一种更合适的方法。结果，我们将聚集的瞳孔扩张与单方差分析测试进行了比较。这些结果如图10（b）所示。方差分析的效应值大于试验期间的平均扩张值，但其效应值仍然小至中等（η²= 0.059，ω²= 0.035）。ω²的bootstrapped 95%置信区间包括零[-0.007，0.153]。这表明，虽然在测试过程中，聚合组的瞳孔扩张效应大于平均瞳孔扩张效应，但这种效应很小，与零没有显著差异。

图9 信息检索阶段的瞳孔变化：（a）瞳孔扩张和收缩混合（b）瞳孔扩张为主

图10 信息检索阶段的瞳孔扩张：（a）平均瞳孔扩张百分比;（b）聚集性瞳孔扩张

（5）认知负荷验证：

实验结束时，用认知负荷问卷对瞳孔大小分析的结果进行了验证。内在认知负荷的结果辨明，单因素方差分析产生了非常大的效应值（η = 0.302， ω²= 0.282），如图11（a）所示，对ω²的bootstrapped 95%的置信区间不包括零[0.171,0.0.427]。3D组和VR组内在认知负荷较低，且两组间存在显著差异。2D简单组和2D复杂组之间存在显著差异，两组的内在认知负荷均显著高于3D组和VR组，3D组和VR组的均值远高于2D组的95%置信区间。这些结果表明，3D组和VR组的被试报告的内在认知负荷最低，而2D复杂组的被试报告的内在认知负荷最高。

对于外部认知负荷的结果，单因素方差分析产生了非常大的效应量（η²=0.274，ω²=0.254），ω²的bootstrapped 95%置信区间不包括零[0.137，0.0.411]，如图11（B）所示。3D组和VR组的外部认知负荷较低，无显著性差异。2D简单组和2D复杂组显著不同，并且两组的外部认知负荷均明显高于3D组和VR组；3D组和VR组的平均值远远超出2D组的95%的置信区间。这些结果表明，3D组和VR组被试报告的外部认知负荷最低，而两个2D组被试报告的外部认知负荷水平最高。由于无关的认知负荷与信息呈现方式密切相关，该结果与基于瞳孔放大数据的编码和提取阶段的认知负荷之间的差异一致，如图10所示。最后，我们没有发现不同组之间的相关认知负荷有任何显著差异（η²= 0.05，ω²= 0.025），如图11（c）所示，ω²的bootstrapped 95% 置信区间为零[−0.01,0.153]。因为相关的认知负荷与之前的任务经验有关，结果表明每组被试对任务的认知水平是相似的。

总的来说，实验后认知调查支持了关于瞳孔大小的分析结果，即3D组和VR组在信息回溯阶段的认知负荷水平较低。本来可以让这两组人表现得更好。然而，两组在信息编码阶段或工作记忆发展阶段也表现出较高的认知负荷，这代表了一种潜在的复杂认知现象，值得进一步讨论。

图11 认知负荷调查结果：（a）内在认知负荷;（b）外在认知负荷;（c）相关认知负荷

这些实验结果揭示了工程信息格式如何影响管道维护任务学习和记忆的几个重要意义。首先，它表明在复习过程中更多的沉浸式信息显示和可视化确实提高了最终任务的绩效；其次我们发现，训练阶段瞳孔放大得越大，测试成绩越好，3D组和VR组的平均瞳孔放大比2D组大。鉴于先前瞳孔放大和成功的工作记忆编码之间的联系，我们观察到的瞳孔放大可能是成功的工作记忆编码的生理指标。同时，基于认知负荷调查结果，3D组和VR组被试报告的外部认知负荷低于2D组。这一结果得到了Wickens多资源模型的支持，与3D组和VR组的被试相比，2D组的被试需要处理更多相同类型信息，这些信息可能对相同的感觉过程造成负担，从而增加认知负荷。这些可能允许更多的感觉通道处理信息，从而减少自我报告的额外认知负荷。

应该承认，3D和VR组更好的性能可能是通过与增强的工作记忆编码不同的机制来调节的；相反，它可能代表了一种与工作记忆发展（编码）和工作记忆提取（回忆）相关的更复杂的认知过程。例如，心理学文献讨论了被称为“状态依赖记忆”和“转移适当加工（TAP）”的认知现象，即当一个人处于与记忆形成时相同的意识状态时，记忆提取是最有效的。TAP还指出，记忆性能不仅取决于所需的处理水平，还取决于信息最初编码和后来提取的方式。因为3D和VR模型最能再现操作阶段会看到的场景，所以记忆检索可能对被试来说更容易。2D组在提取过程中较高的认知负荷仍然可以用学习和提取之间的匹配来解释。值得注意的是，2D小组可能会表现出认知负荷的增加，因为他们在精神上试图将他们所学的信息翻译成新的提取格式。换句话说，3D组和VR组在工作绩效上更好的表现并不一定意味着学习或信息编码在复习过程中得到了增强；相反，它可能表明在操作阶段更容易提取工作记忆。为了评估3D和VR对操作工作绩效的影响，我们需要对信息编码和记忆两个阶段的认知过程进行深入的研究。

文章进一步检查了四组在复习和操作过程中的认知成本。先前的研究发现，瞳孔扩张是认知负荷增加的有力指标。本文通过对瞳孔数据的分析发现，3D组和VR组在训练过程中表现出更高的瞳孔扩张频率和幅度，如图12所示。这说明3D组和VR组在工作记忆发展（或信息编码）方面的认知成本均远高于2D简单组和2D复杂组。瞳孔扩张数据还显示，与2D组相比，3D和VR组在复习阶段和操作阶段之间的平均瞳孔扩张百分比认知增加差异较小，在复习期和操作期的聚合性瞳孔扩张认知差异降低，如图12（b）所示。这些结果表明，3D和VR组在记忆提取方面的认知成本更小。换句话说，在认知方面，3D组和VR组在复习阶段消化和记忆信息时消耗了更多的认知负荷，但一旦信息被编码，这两组检索或回想信息就容易得多。基于对结果的全面评估，我们推导出了一个理论框架，用以解释为什么不同格式的工程信息以不同的方式影响基于工作记忆的任务，以及如何优化学习或训练，如图13所示。

图12 四组在复习和操作阶段之间的瞳孔扩张：（a）平均瞳孔扩张百分比；（b）聚合瞳孔扩张

图13 工作记忆使用效率评估的理论框架

所提出的框架表明，应从两部分评估某种格式的工程信息在基于工作记忆的任务中的优势：编码工作记忆的认知成本α_e和唤起工作记忆的认知成本α_r。就工作记忆的任务性能而言，特定信息格式的整体效率应表示较低的记忆到编码的转换比：β=αr/αe，也就是说，在编码（工作记忆）难度相同的情况下，回忆（工作记忆）应该更容易。以我们的数据为例，单因素方差分析得到非常大的效应值（η²=0.163，ω²=0.14），ω²的bootstrapped 95%置信区间不包括0[0.079，0.0.267]。3D组和VR组认知转换率最低，并且这两组无显著差异。2D简单组和2D复杂组之间无显著差异，两组的认知转换比明显大于3D组和VR组；3D组和VR组的平均值远远超出了2D组的95%置信区间。认知转换比率与所有组的准确性呈负相关（r = 0.29，p <0.01）（图14）。

图14 四组记忆–编码认知转换比率

利用这个框架，我们发现，一个类似于任务操作阶段场景的沉浸式信息可视化（如3D和VR），实际上需要更高的信息编码心理投入，但提取需要较少的认知过程，整体转换率β较低，因此3D和VR格式带来更好的绩效。2D复杂组在实验中表现最差，因为其回忆编码转换比显著高于其他组。值得注意的是，虽然这不是本研究的重点，但我们的结果也表明，信息复杂性会影响工作记忆的发展。特别是，我们发现相同信息的复杂显示（包括许多与任务不直接相关的内容）对工作绩效（时间和准确性）有负面影响。调查结果表明，在工程信息中提供更多的语义内容会增加操作阶段的内在认知负荷。已发现内在认知负荷与信息的理解和解释有关；因此，被试在回忆信息时表现出较高的心理负荷是合理的。本研究为建筑业生产率的评估和改进提供了方法和理论依据。该研究结果将有助于激发认知驱动绩效预测和早期干预系统的设计，以实现依赖于工作记忆的复杂施工操作。研究发现瞳孔变化与工作记忆发展和提取质量之间存在明显的关系，为眼动追踪在建构性任务中应用提供了一个很有前景的研究方向。此外，我们的分析表明，工作记忆指标与工作绩效密切相关，特别是工作绩效的准确性，这表明，除了现有的心理测量方法外，眼动追踪还有可能在现场部署，应用于个人层面的绩效评估、预测和干预。

（1）本研究提出不同的信息格式和显示方式触发不同水平的认知负荷，特别是在工作记忆编码阶段。在我们开发的试验性模型中，工作记忆使用的总体效率被定义为在相同的信息编码困难水平下，回忆到编码的转换比率来表示回忆信息的认知困难程度。因此，较小的转换率代表更有效地使用工作记忆资源，且与提高基于工作记忆的工作绩效相关。

（2）这项研究在以下方面为建筑科学领域做出了贡献：首先，我们开发了瞳孔放大分析工作流程，这种方法可以极大地帮助安全管理人员在施工作业过程中检测建筑工人的认知状态。第二，我们的结果显示3D和VR组在任务时间和准确性上都优于2D简单组和2D复杂组，在操作阶段的认知负荷水平较低，但在复习阶段的认知负荷水平较高。因此，这两组的较好表现可能是与信息编码和解码相关的复杂认知过程的结果。第三，我们进一步提出了一个解释信息格式如何影响工作记忆任务的框架。研究结果有望为信息格式和工作记忆功能之间的相互作用提供更多的证据，有助于解决目前在建构学文献中的理论分歧，并激发认知驱动信息系统的设计，从而为建筑工人带来最有效的学习。

（3）在未来的研究议程中，仍然需要解决几个研究局限性。首先，在现实世界中，建筑工地和施工操作更加复杂和不可预测。因此，在未来的研究中，需要测试更复杂和动态的场景。第二，在本研究中，我们使用瞳孔扩张来评估被试的认知状态。在未来的研究中，我们将引入更多的生理传感器，如心电图、脑电图、功能性近红外光谱等，交叉验证生理和心理数据，更准确地预测个体的认知状态。最后，在正常情况下对本研究中的施工作业任务进行了测试。根据之前的文献，压力可以极大地削弱个人的大脑网络。因此，我们将测试不同认知状态下的施工作业任务。尽管有这些限制，本研究提供的证据表明，3D和VR信息格式可以实现更好的建筑维护操作学习，因为在多个感觉通道中呈现信息可以减少认知负荷。