增强现实能有效促进建筑中的视觉学习过程吗？钢筋安装中的眼动追踪研究

本文是针对论文《Does Augmented Reality Effectively Foster Visual Learning Process in Construction? An Eye-Tracking Study in Steel Installation》的论文解析，原文2018年发表于《Advances in Civil Engineering》。本文利用眼动技术来追踪、比较和总结了学习者在基于文本图形(TG)、增强现实(AR)和物理模型(PM)的学习环境中的视觉行为，结果表明，与基于TG的学习材料相比，基于AR和基于PM的学习材料有更好的学习效果，而基于AR与基于PM的学习环境之间没有显著差异，也阐述了AR技术的优势。

摘   要

增强现实(AR)已被认为是一种在建筑中学习的有效工具。然而，在建筑教育背景下，很少有研究者从认知的角度对增强现实的效率进行定量评估。本研究以多媒体学习的认知理论为基础，利用眼动追踪数据对预先设计的基于增强现实的学习工具进行了评估。在本研究中，我们追踪、比较和总结了学习者在基于文本图形(TG)、基于增强现实(AR)和基于物理模型(PM)的学习环境中的视觉行为。与基于TG的学习材料相比，我们发现基于AR和基于PM的材料都促进了无关认知加工，从而进一步促进了生成认知加工，从而产生更好的学习效果。结果表明：基于AR与基于PM的学习环境之间没有显著差异，阐述了增强现实技术的优势。这项研究为以问题为基础的学习奠定了基础，值得进一步研究。

思维导图

建筑业复杂的环境，工程师需要处理综合信息。传统的教学或培训不足以弥合理论和实践之间的差距。近年来，增强现实（AR）的应用引起了人们的广泛关注。增强现实是一种通过在真实环境中生成虚拟物体来增强现实的技术。虚拟物体和真实物体的共存有助于学习者将复杂的空间关系和抽象的概念形象化。

在建筑业，学徒制是常见的现场培训方法，风险是不可避免的。AR不仅是一种重要的教育措施，而且没有健康或安全隐患。增强现实技术的使用可能是辅助学习的一种有效方式，但关于AR的影响仍鲜有定量证据。许多研究者评估了AR对学习结果的影响，忽略了其在学习过程中的潜在原因。

眼动追踪可以揭示学习者学习过程，通过记录产生的数据，对学习者认知过程研究进入新阶段。基于TG和PM是建筑学习和培训的常用工具。

本研究进行了一项建筑课堂学习实验，旨在(1)评估学习结果，同时比较基于TG、AR和PM的环境；(2)从认知角度调查学习方法影响的潜在原因，并利用眼动数据调查AR的潜在影响。

文献综述

1）增强现实是促进还是抑制学习效率？

多媒体学习理论表明，吸引人的设计特征可以帮助提高认知参与度，并在第一次使用时保持学习者的注意力。更多的研究表明多媒体资源中的视觉细节可以导致有效的学习和教学多媒体设计。

根据Mayer，认知负荷理论是教学设计的基础，多媒体学习的认知理论在学习过程中产生的三种加工需求：（1）无关认知加工：由材料呈现的方式引导的，增加了注意力在不同信息之间分散的可能性。糟糕的教学设计可能会增强这一过程，从而抑制迁移学习的效果；（2）基础认知加工：它是为了专注于呈现的材料，并由材料的复杂性造成的；（3）生成认知加工：它是为了理解材料而进行的，是学习者在学习过程中的选择、组织、整合等努力的结果。

先前研究表明外在认知负荷和有效认知负荷都可以被操纵，而内在认知负荷则不能。根据Mayer的说法，无关认知、生成认知和基础认知加工可以被管理。此外，来自教学设计的不必要的和更大的负荷可能会强加外在的认知负荷。无效地搜索信息可能会增加外在认知负荷和干扰基础认知加工。因此，合理减少冗余信息是降低认知负荷的重要途径，进一步加强认知学习。这些措施包括减少无关认知加工，如用颜色突出关键材料，管理基础认知加工，如将学习材料分解成几个部分，以促进生成认知加工。

多媒体学习的认知理论认为增强现实是一个有用的技术，可以促进学习。它允许视觉信息连接到真实世界。视觉信息作为本文的教学资料，可以按照多媒体学习的认知理论进行设计。这些材料可以使用3D模型设计软件来设计和展示，AR技术提供了沉浸式环境，并在CTML的推动下被开发为一种沉浸式语言学习框架。

2）使用各种学习材料处理无关信息

表1 增强现实技术在教学中的实验研究综述

AR已被证明是一种更有效的学习方式，如表1所示。然而，与传统学习环境相比，对学习环境的评估基本上局限于学习结果，并使用问卷调查学生的主观动机和满意度。由于AR的主要功能在于突出关键信息和标记额外信息作为学习的参考，AR可以被认为是操纵无关信息加工的一种手段，潜在地增强了学习的生成性过程。从这个角度来看，以前的研究者没有回答AR为什么以及如何促进建筑过程中的学习。在教育领域，AR似乎是一种智能技术，可以用来创造有吸引力和激动人心的内容。它可以减少花在后天学习上的时间。此外，一项实验表明，利用移动AR应用程序可以获得更高的学习成绩和更低的认知负荷。对于建筑教育，应用AR可以创造一个没有健康和安全隐患的现实学习环境，提高学生对建筑设备和安全操作的综合理解。

从表1“对控制组处理”栏来看，AR的上述优势主要是通过与传统学习型，特别是基于TG的学习型进行比较而得出的结论。然而，这些比较忽略了与真实的基于PM的学习材料的对比。在本文中，基于TG的模型是根据《中国建筑标准设计图集》设计的。对基于PM的学习材料也进行了建模。

3）用于认知加工测量的眼动追踪

虽然人们认为AR设计特征会带来更好的学习效果，但很少有实质性的证据表明这是如何在认知加工中发生的。AR材料是基于多媒体学习的认知理论设计的，许多研究人员已经研究了如何测量其认知活动。眼动追踪与学习表现的测量相结合，提供了关于认知活动重点的信息。因此，为了确定学习者在基于AR的学习环境和其他传统学习环境中的行为，使用眼动追踪设备提供了认知加工测量的有效方法。

通过眼动追踪技术记录眼球运动，可以显示人们在进行诸如注视次数、总注视时间和平均注视时间等认知处理时的行为。然而，眼动追踪测量的使用和解释是不同的，取决于研究问题。注视时间和注视次数是最常用的眼动测量指标。一般来说，对于学习过程而言，较长的注视时间和较低的注视频率都表明认知负荷较高，而注视次数越多，信息处理效率就越低。此外，较长的平均注视时间意味着背景信息的复杂性导致更深层次的信息加工。注意指导假说提出，参与者更关注显著因素，这导致了更长的注视时间。

表2 使用眼动追踪的多媒体学习和认知研究综述

综上所述，本研究使用了三种眼动测量指标，包括总注视时间、注视次数和平均注视时间，在这项研究证明学生在整个正式实验过程的行为有以下原因：（1）注视时间和注视次数值越高,认知负荷在无关认知加工和基础认知加工中的分布越多。（2）平均注视时间越长，对学习材料的理解越深，各种信息源产生的复杂信息越多，对基础认知加工的关注越多，选取眼动指标情况见图1。

图1：眼动指标和基于多媒体学习认知理论的认知加工之间的关系

研究问题和方法

先前许多研究（表1）仅通过比较基于AR和TG证明了AR的有效性。然而，它们并未揭示与基于PM教育的差距。为了利于AR的应用，需研究AR和PM之间的有效性差异。此外，尽管已有研究证明AR对学习结果有积极的影响，但关于AR在认知过程中的探索和评价的研究还很少。研究者旨在证明以下假设：

（1）与基于TG和PM的学习材料相比，基于AR的材料可促进学习结果。

（2）与使用基于TG和PM的材料相比，使用由多媒体学习认知理论设计的基于AR的材料可以降低学习者的认知负荷并促进信息深度处理，即基于AR的组比基于TG和PM的组具有更低的注视次数和注视时间，但平均注视时间更长。

开发一个涉及学习和测试的实验。参与者随机分为三组（AR，TG和PM）。每个参与者分别收到相同的问题。测试过程中，我们记录了参与者的回答和回答时间作为他们的学习结果，对三组进行了对比分析。

测试过程中，使用眼动仪（50 Hz的SMI iView XTM HED）记录参与者的眼球运动。使用Begaze（iView软件）获得注视时间和注视次数数据。为每个问题定义了一个兴趣区（AOI），并记录和计算了每个AOI的总注视时间，注视次数和平均注视时间，实验流程见图2。

图2 实验流程

1）参与者

重庆大学建设管理专业的40名大四本科生。采用了两种方式来邀请参与者：（1）分配一个班的学生作为他们的毕业设计参与这项研究；（2）在重庆大学的实验室张贴邀请传单，邀请志愿者参与实验。为了最大限度地避免个体之间的差异，选择同专业、同年级和相似年龄(21至23岁)的参与者。最终，所选参与者中有22名男性和18名女性，他们都在大学里学过同样的课程。这些学生在大三接受了32学分的配筋课程培训，但都缺乏施工方面的实践经验，没有接受过任何现场培训，也没有任何施工受伤经历。根据他们的理论和实践背景，我们假设这些学生具有相似的内在学习能力。

2）学习和测试材料

学习材料是有关中国建筑标准设计图集11G101-1(钢筋混凝土结构施工图平面整体表示方法制图规则和构造详图)中抗震角柱柱顶纵向钢筋构造做法详图。

根据先前研究和对重庆大学工程与建筑专业专家的采访，这对建筑工人来说是一个相当重要的专业知识的基础部分。但对无任何实践经验的学生来说，这很难理解的。在建筑技术领域一位教师的指导下，根据这一内容设计了三种形式的教学材料，学习材料如图3。

图3 纸质学习材料

突出显示和区分关键的钢筋，其他用灰色处理以降低其识别度。根据多媒体理论，这种设计可以引起人们的注意并帮助学习者减少无关认知加工。此外，可以很容易选择关键信息来管理基础认知加工，学习者应该通过更有效的生成认知加工来更好地全面理解学习内容。根据多媒体学习认知理论，可认为基于AR的学习环境可能比其他环境更具吸引力，从而帮助学习者注意关键信息，学习环境模型设计如图4。

图4 基于AR学习环境的模型设计

基于AR的学习环境由一台装有ARToolkit软件的计算机，一台相机和一张纸质标签组成。实验前，使用两个软件程序（基于Revit Structure和3D Max）创建了基于学习内容的虚拟模型。然后，使用ARToolkit将模型连接到纸质标签。在学习过程中，利用我们先前研究中开发的ARToolkit中安装的插件，将纸质标签放在相机的前面。然后，AR模型将出现在标签上。用户可以通过旋转标签从不同角度观察模型，工作流程如图5。

图5 基于AR的学习环境准备工作流程

最终的基于增强现实（AR）的实际环境，见图6。

图6基于AR的学习材料

对基于PM的学习环境，根据施工现场的实际情况，使用微型钢筋制作了实体模型，如图7。

图7基于PM的学习材料

设计一种测试来评估三种不同环境中的学习成果，该测试包括三个判断题和三个简答题（表3）。在测试过程中，学习材料在左侧，文本材料在右侧，每页上有一个问题（图8）。测试材料中给出了横截面图，并使用学习材料中所示的方式之一来排列每个编号的纵向钢筋。学习者可以根据这些问题参考学习材料来弄清楚每个钢筋的排列及其空间关系，以给出正确的答案。对于每个问题，学习材料中都有一个对应的AOI，它显示了学习者需要注意和处理的最重要的信息。当回答判断题时，学习者被要求对与空间结构相关的描述做出判断，然后回答“是”或“否”；对于简答题，学习者被要求给出正确的钢筋数。

表3测试问题

图8 测试界面

3）实验程序

实验前校准：参与者被告知实验目的并使用仪器来识别优势眼，以便参与者可以通过合适的眼镜（200 Hz的采样率）与眼动仪（SMI iView XTM HED）配合使用。参与者坐在距离展示学习材料的屏幕前面大约50厘米的地方。五点校准屏幕用于在每个认知过程之前评估每个参与者的校准。如果x或y方向的精度超过1°，则重复校准。

正式实验：参与者熟悉学习内容（2min），依次回答显示的六个问题。正式实验中，记录了参与者的答案且不提供任何辅助的口头指导。AR和PM小组的参与者如果想从不同角度观察，可以根据自己的要求旋转纸质标签或模型。他们没有机会改变答案。

图9 正式实验

4）数据分析

记录每个参与者的答案和每个问题的完成时间，用眼动仪和相关的软件（Begaze）记录了学习者的眼动情况，该软件用于构建AOI。然后可以计算并导出每个AOI的总注视时间和注视次数。

表4每种衡量指标的定义

将所有数据导入Excel和SPSS进行统计分析。为了确定三组之间是否存在统计学上的显著差异，使用ANOVA进行组间比较。如果存在统计学上显著的结果，则进一步进行Bonferroni多重比较，以确定哪两组之间存在显著差异。

结   果

由于6名受试者的眼动数据缺失，最终分析34名受试者的眼动数据，TG组11名，AR组11名，PM组12名。记录或计算每个指标的数据点，再用SPSS检查识别异常值（统计分析排除）。

1）学习结果

PM组的平均分数最高（表5），两种问题形式的平均完成时间均最少。三组间简答题得分差异有统计学意义(p<0.05)，多重比较(表6)显示AR组和PM组的简答题得分明显高于TG(p<0.05)。在判断题中，三组之间的得分没有显著差异。对于任何一种形式的问题，三组之间的完成时间都没有显著差异。

AR和PM组的人比TG组的学习表现更好。简答题得分的增加更为显著。与第一个假设相反，研究表明，PM组表现出与AR组相同程度的学习表现。

表5 得分和完成时间的描述性统计

表6 具有显著差异的项目的多重比较

2）眼动追踪测量

表7和表8显示，在注视时间上，TG组的人在AOI上花费的注视时间比PM组在判断题上花费的时间多，在简答题上两组之间没有显著差异。注视次数结果显示，对于判断题，TG组中的人比其他两组人更显著地注视了AOI。然而，简答题的结果却不同。多重比较表明，任何两组间无显著差异。

表7 得分和完成时间的描述性统计

表8 具有显著差异的项目的多重比较

平均注视时间的结果表明，三组的两种问题形式都存在显著差异。多重比较发现，对于判断题，AR组的平均注视时间明显高于TG组。对于简答题，AR和PM组的人的平均注视时间均显著高于TG组。所有眼动测量的结果表明，基于AR的学习材料在所有情况下都不能减少学习者的注视次数或注视时间。此外，基于AR的学习材料和基于PM的学习材料之间没有显著差异。TG组的人在判断题上的注视时间比PM和AR组的人多的多，这不能完全证明第二个实验假设。

研究结果表明，基于AR和PM的学习环境对于这两种题型的效果是不同的。尽管TG组的判断题的得分与其他两组相似（表5），但他们的注视时间和注视次数明显更长。较长的注视时间表明提取信息时遇到困难，或者该对象在某种程度上更吸引人。此外，AOI的高注视次数表明在识别相关信息方面效率低下。结果表明，与基于TG的环境相比，基于AR的环境和基于PM的环境都减少了学习者的认知负荷，提高了他们在学习和测试过程中的搜索效率。

对简答题，基于TG组的注视时间和注视次数与其他两组人相同。然而，在简答题上，AR和PM组的参与者得分明显高于TG组。因此，基于AR和基于PM的教学都大大提高了学习者的回答准确性，但无法通过比较眼动数据来确定哪种环境意味着较低的认知负荷和搜索效率。

平均注视时间的结果显示，在两种问题类型中，基于AR的组的水平最高，而基于TG的组的水平最低（表6）。较长的平均注视时间被认为是深加工的标志。当相关信息易于定位和整合时，学习者可能会对有意义的学习所需的关键信息进行深度处理。结果表明，基于增强现实的学习环境帮助学习者更容易地找到并关注每个问题的关键信息，从而加深对内容的理解。

讨   论

与基于TG和PM的建筑教学相比，基于AR的教学如何影响大学生的学习成果和学习过程。基于AR的环境比基于TG的环境具有更好的学习效果，但与基于PM的环境相比却没有。眼动追踪数据的差异在整个过程中并未保持相同的差距。

1）问题形式的影响

TG组的参与者在简答题上的得分明显低于AR和PM组。三组人在判断题上的得分相似。在这项研究中，回答判断题时，学习者只需说“是”或“否”。然而，他们在简答题中给出了准确而全面的钢筋数量，这需要更精确的信息处理。结果表明对于某些特定任务，与基于AR和PM的环境相比，尽管基于TG的学习或培训环境具有较高的认知负荷和效率低下，但学习者仍可以实现理想的表现。而且，基于TG的教学具有成本低廉，易于实施的优点。因此，对于一些学习任务和实际工作来说，基于TG的教育是最经济的选择。

2）认知负荷和情绪的影响

基于TG小组的参与者在第二个问题形式上得分明显较差的另一个原因与认知负荷和动机有关。作为认知过程中的一种积极情绪，兴趣与动机和注意力密切相关，而那些有兴趣的人则对后续任务表现出更强的坚持性。认知负荷可能会影响情绪状态，并进一步阻碍有效的视觉搜索。

开始学习之前，所有学习者都具有积极的情绪和动机。前三个问题上，基于TG的小组的得分与其他两组在前三个问题上有更多注视的小组得分相同。我们认为基于TG组的学习者在开始时会承受过多的认知负荷，这进一步对他们的学习动机产生了负面影响，导致他们的学习动机不够充分，无法对信息加工给予足够的重视。因此，它导致学生在最后三个问题上的学习效果越来越差。

3）AR的影响

与基于PM的学习环境相比，基于AR的学习环境在学习成绩方面没有表现出竞争优势或显著差异（平均注视持续时间除外）。尽管更长的平均注视时间的结果表明基于AR的学习者更容易找到并专注于关键信息，然后比其他人对学习内容有了更好的理解，但这并没有转化为更好的学习成果。实验表明，与传统的基于TG的学习方法相比，AR和PM显然对他们了解学习材料很有帮助。然而，他们没有表明AR和PM的效果之间存在显著差异。主观评价与实验结果一致，进一步表明AR的特征和优点没有得到充分利用。

实际应用中，AR具有灵活性和便利性。与基于PM的教育相反，用户可以建立不受时间限制的基于AR的学习或培训环境，并且可以重复修改和利用显示的对象。因此，AR具有巨大的潜力和前景。然而，有效利用AR的功能来帮助学习者或培训者提高成绩，不仅是使其价值最大化的关键，而且是其应用最有说服力的原因，这需要进一步的研究。值得探讨哪些任务最适合AR的环境，或者是否需要将其他方法与AR结合以提高教学和培训效率。

结   论

在这项研究中，我们将基于TG，AR和PM的学习环境应用于建筑学习。比较了学习者的学习成果，并利用眼动追踪探索了三组的认知过程。

对于学习结果，研究表明学习环境对不同形式的任务的影响是不同的。三维显示器应具有比其他显示器更全面，更直观地显示对象的优势，但我们的研究表明，传统的基于TG的训练方法可以和基于AR和基于PM的训练在某些特定的任务中达到相同的程度，例如回答判断题。在实际应用中，不同专业和职位的学习和培训内容和需求是不同的。AR和PM并非在所有情况下都有效，在新方法的应用和推广上应该谨慎和有选择性。

与基于TG的小组相比，基于AR的环境和基于PM的环境都帮助学习者减轻了他们的认知负荷。但是，与其他组相比，较低的认知负荷并未转化为明显更高的测试分数或更快的完成时间。同样，眼动数据显示，AR具有使学习者重点关注信息和加深理解的潜力，但基于AR的组的学习者的学习成绩并未比其他组更好。该结果表明，要获得更好的结果，也许我们应该结合使用其他材料，例如2D图纸和文本，或者在建模时进行更合理的调整。为了探索在实际应用中如何充分利用AR或其他类似技术，还需要开展和整合更多的研究，以深入了解学习者的心理模型和认知过程。本研究说明了基于TG，AR和PM的环境对建设管理学习结果和学习者认知过程的影响。

局 限 性

本研究受单一学习材料和几个独立试题的限制。未来的研究应该将AR应用于系统化的任务，并进行全面的测试，以评估这样做的效果。

引用格式：Wang, T.K.; Huang, J.; Liao, P.C.; Piao, Y. Does augmented reality effectively foster visual learning process in construction? an eye-tracking study in steel installation. Advances in Civil Engineering, 2018, 2472167. DOI: 10.1155/2018/2472167.

扫

码

关

注

勤勤恳恳，善始善终

持之以恒，专心致志