这是“神经工程管理”第31篇推送
内容来源：牛佳晨
本期编辑：朱红
校 对：王萌萌
审 核：Yangming Shi（本文第一作者）, Jing Du（本文通讯作者）
仅用于学术交流，原文版权归原作者和原发刊所有
本文是针对论文《通过建立认知驱动的信息系统研究建筑物检察中的视觉注意力和空间记忆》（Review visual attention and spatial memory in building inspection: Toward a cognition-driven information system）的一篇论文解析，该论文于2020年发表于《Advanced Engineering Informatics》期刊。该研究作者包括Yangming Shi, Jing Du, Eric Ragan。
摘要：（背景）随着现代建筑复杂性的提高以及新兴可视化技术的发展，对于建筑、工程和施工行业的专业人员来说，有效地消化复杂的工程和设计信息，并开发对其日常工作中的精确空间记忆正变得越来越具有挑战性。（目的）本文通过不同可视化技术，测试如何在建筑物检查任务中获取空间知识以及不同的视觉注意力模式如何影响空间记忆的发展。（方法）研究要求被试检查一栋真实建筑物的设计情况。为了触发不同的注意力水平，被试被随机分配为2D，3D和VR组。在对建筑设计信息进行简短了解之后，要求参与者进入真实的建筑物，以找出设计信息与真实场景间的差异（基于记忆）。（结论）结果表明，总体而言，被试的视觉注意力（注视时间）与空间记忆之间存在正相关关系，但其增长速度根据可视化方式的不同而有所不同，这表明视觉环境在空间记忆的开发效率中起着至关重要的作用。视觉注意力与空间记忆的关系可以通过使用不同的空间知识获取策略来调节。
关键词：注意力；空间记忆；空间知识；眼动追踪；虚拟现实
由于建筑和工程技术的进步，现代建筑变得越来越复杂，比如形状、尺寸、内部建筑的空间位置等。技术的提高和功能的进步对于居住者而言是好的，可以改善室内生活体验；但对于AEC（Architecture, Engineering, and Construction）相关人员而言，在建筑内的工作却因建筑的复杂化而变得更加困难。认知科学相关文献指出，注意力与记忆发展之间存在很强的联系。但对于视觉注意力（监察工程和设计信息）如何影响AEC任务中的空间记忆，却没有研究。为找到视觉注意力与空间记忆的关系及其背后的潜在机制，从而增强空间记忆的发展，并最终提升AEC相关人员的技能水平，本文在对认知科学进行回顾的基础上，从空间知识的获取策略入手，找寻视觉注意力与空间记忆关系间的潜在解释。
AEC项目中的工程和设计相关信息
3D、BIM、VR、AR等方法对人类空间认知的影响仍然存在争议。一方面认为新兴的可视化技术可以提高AEC人员任务的完成度。另一方面有研究表明，在某些情况下3D、VR并不比传统2D绘图好，这可能是由于处理诸如纹理、颜色、方向等附加信息而增加了负担。
空间知识的获取和构建环境
从周围环境中获取空间知识是创建空间记忆的关键过程。空间知识可以分为三个主要阶段：地标知识（定义为环境中固定位置不变的对象，这个过程不需要太多脑力）、路线知识、测量知识。其中，路线知识是获取空间知识的更高级策略。是记忆从一个位置到另一个位置的位置序列的知识。比如从地图或导航路线体验中就可以获得路线知识。这个过程需要花费精力。相关研究为研究视觉注意的认知基础–空间知识获取–空间记忆过程奠定基础。
实验步骤：在实验中，每位参与者有5分钟时间来回顾和记忆一个陌生建筑物的建筑设计。然后去真实的建筑物，在15分钟内观察设计和真实情况之间的差别。
被试任务：本实验共设计了28个不同之处，包括建筑差异（门窗缺失）、结构差异（立柱位置变化）和机械差异（通风孔缺失）。
组间差异：了解建筑物的设计信息的方式有三种：2D绘图、3D交互式模型和VR环境。眼动设备用作测量参与者的凝视区域，以作为视觉指标。
涉及指标：回视注视时间、有效注意力率和建筑检察任务得分（building inspection score， BIS），如表1所示。
-
注视时间定义为受试者在每个AOI（Area of Interest，兴趣区）上花费的总时长。
-
有效注意力率被定义为关注AOI时间/总注视时间。
-
BIS=正确识别差异个数–错误差异个数，这是为了防止参与者随机猜测。BIS被用作参与者空间记忆的直接指标数据。
研究共设计了28个差异点，分为三类：建筑差异13个、结构差异6个、机械差异9个。图1说明了差异，蓝色对应建筑，红色对应结构，绿色对应机械。图2是模型与实务之间差异的例。
图1建筑物的2D平面图
a.原始平面图 b.修改后的平面图
图2模型与实际建筑物之间的差异
a.b.虚拟模型 c.d.真实建筑物
实验设计如下：
-
被试招募的标准：参与者在实验之前没有进入过该建筑物，具有关于建筑设计的基本知识。
-
被试的任务：要求尽可能多的找到信息与实际之间的差异。
-
实验包括六部分（如图3所示），包括：前问卷调查（基本人口统计信息，年龄性别专业学位水平游戏经验），空间认知能力测试（ETS开发的多维数据集测试），培训（设备校准，熟悉眼动设备的佩戴，虚拟环境等），了解建筑设计的信息（记忆建筑物设计信息的布局和细节），建筑实体视察（5分钟内，实验的研究人员陪同，帮助记录发现差异的时间点。为避免随机猜测，告知被试，如果有错误的差异发现，则会有惩罚）以及后问卷调查（试验后的反馈，注意力等都是主观评估）和访谈。
图3 三组的眼动追踪情况
参与者
被试情况：共有63位参与者（男35人，女28人；本科生10人，研究生53人），大部分是土木工程、建筑专业的学生，年龄为19-39岁。
基本分析：将三组被试的视频游戏和VR经历进行ANOVA分析发现，三组之间的数据没有显著性，表示三组参与者具有相似的空间能力水平。（三组参与者是随机分配的）
设计量表：参与者将他们以前的视频游戏和VR体验报告为11点李克特量表，0表示没有经验，10表示经验很多。结果表明大多数的参与者几乎没有VR体验，且未去过这座建筑。
建筑检察结果（BIS）
结合图4分析可发现三组的BIS呈正态分布且有显著差异。在对所有成对组进行成对比较测试可进一步发现2D和3D组间有显著差异，2D和VR之间有显著差异，但是3D和VR之间无显著差异。结果表明，先进的可视化技术（3D和VR）促进被试对于陌生建筑的空间记忆开发。
图4 BIS值在三组中的差异
结合图5进一步分析了该结果是否受性别的影响。结果发现，对于男性而言，三组存在显著差异，与上述结果一致；而对于女性，三组的分析未发现统计学差异。结果表明，不同的可视化方法并没有显著影响女性的空间记忆。
图5 BIS按性别划分的三个组的结果 a.男士 b.女性
注视时间和空间记忆的关系
图6是三组被试凝视动作和行走轨迹的总和。a是2D，发现被试在查看2D工程图时对于楼梯和电梯很注意，尽管在实验前已经告知二者不列入我们的试验范围，但他们仍花大量时间在该区域，以此作为参考来记住建筑布局。b是3D，c是VR。图7为所有AOI的注视时间的分布。平均值为4.54，且90%的注视时间＜11.86s。
图6 三组（2D，3D，VR）的注视和行走轨迹数据汇总（a为2D组；b为3D组；c为VR组）
图7 注视时间的分布
研究分析每个AOI的注视时间和正确识别差异可能性之间的关系，可发现二者之间存在着显著的正相关关系（spearman相关检验）。结合图8a，表明随着参与者花费更长的时间来凝视某个区域，则发现该区域出现问题的可能性会增加。研究分析发现尽管总体上，BIS会随着注视时间增加而提高，但三组的增长率却不同。结合图8b，表示的是三组注视时间与发现差异的可能性之间的关系。发现2D组的学习效率最低。相比之下，VR的学习效率最高。3D组介于2D组合VR组之间。
图8 a.注视时间与发现正确差异的可能性之间的关系 b.三组之间的关系
研究发现三组之间存在差异，表明需要进一步解释为什么可视化方法会影响学习效率。首先我们检查了有效注意力比率，通过正态性检验，并经过单因素方差分析发现存在显著差异，以及2D和3D组间、2D组和VR组间及3D和VR组间也存在显著差异。具体来说，在视察的过程中，VR组比其他组对AOI的关注更多（图9）。表明虚拟现实帮助参与者集中精力于建筑物的重要细节。
图9 三组的有效注意比率
空间知识获取策略作为中介因素
-
研究表明获得地标信息是在陌生建筑环境中获取知识的第一步。
-
研究通过在主要试验后对被试进行调查，了解他们在回忆时用来记住空间布局的主要“固定点”。根据被试的反馈，楼梯间和电梯是主要的地标信息。
-
图10是对不同地标的有效注意力比率和三组之间的联系。方差分析发现，三组存在显著差异，尽管3D和VR组之间并不显著，但2D与两种可视化组之间都存在显著差异。表明2D组的空间记忆十分依赖地标来获取空间信息，而3D和VR组以参与的方式进行本次试验，所以他们较少关注到这些地标。
图10 三组有效关注度的结果
-
不同的注视表明使用了不同的空间信息获取方法。因此在这项研究中，我们根据参与者在垂直和水平方向上的注视运动来评估参与者的路线信息。视觉路径分析的基础是当人们在审视过程中收集更多的路线知识时，他们的注视轨迹在垂直和水平方向上所遵循的特定模式。换句话说，如果三组的被试使用了不同的获取信息策略，则他们的数据会有不同的规律性，且可预测。
-
初步的可视化结果表明使用不同的获取信息策略得到的眼动数据存在差异，图11是各组被试实验前10s的注视数据。a显示2D的注视运动无规律性，b和c组则呈现更加规律和可预测的趋势。
图11 某被试前10s的注视轨迹（a为2D组；b为3D组；c为VR组）
-
用近邻熵（ApEn）来评估被试注视运动数据的规律性和不可预测性。较高的ApEn表示越高的不规律性和不可预测性，表明被试只是随机环顾建筑物，而不是有意获得空间的路线知识。ApEn用MATLAB进行计算，在x和y方向分析，未进行z方向分析。对于x轴和y轴，三组互相存在显著差异，表明2D组的被试在水平和垂直方向的注视活动显示出最大的不确定性和不规律性，表示他们不依赖于路线方法来获取信息。而3D组和VR组则显示更多的规律性和可预测性。 最终结果：不同的空间知识获取策略会在不同的任务中影响空间记忆的发展。具体来说，基于地标知识的空间记忆开发可能不如基于路线知识的空间记忆开发有效。这也揭示了为什么2D小组在注视时间中表现出最低的学习效率（图12）。
图12 近邻熵在不同条件下的结果（a为x轴；b为y轴）
研究结果表明，视觉注意力与空间记忆的发展存在着总体上的正相关关系，但也会因信息呈现方式而有所变化（3D和VR组的整体空间记忆开发要优于2D组）。另外，三组视觉注意力与空间记忆有不同的增长速度，这表明学习效率是不同的。解释角度有两个：一是从被试对主要AOI的有效关注率来解释，结果表明VR组具有最高的有效注意力比率。二是从三组的空间知识获取策略来进行解释。
本研究还可以改进的点：1.虽然使用了Tobii眼动仪4C和Raycast技术，但有部分被试的真实视线和眼动仪所捕获视线间仍存在不匹配现象，因此眼动仪的准确度仍然需要提高；2.本研究仅关注视觉注意力如何影响空间记忆。而复杂的环境则可能导致认知超负荷，可能影响研究的结果；3本研究未对实验后所填问卷的数据进行分析，未对空间知识获取进行全面研究。
这项研究调查视觉注意力与空间记忆发展之间的关系，这种关系可能是由空间知识获取策略所调节的。研究在一栋真实建筑物中进行实验，通过三种信息呈现策略，分析视觉注意力和空间信息获取的关系。结果表明视觉注意力和空间记忆之间有很强的正相关关系。该研究分析了AEC专业人士的空间认知过程，有望对建筑信息技术研究做出贡献。
本篇文章来源于微信公众号：神经工程管理