基于虚拟现实（VR）和脑电图（EEG）相结合的方法采集建筑环境信息和人类感知反馈

这是“神经工程管理”第36篇推送

内容来源：朱红

本期编辑：董博

校       对：郭晓彤

审       核：付汉良

仅用于学术交流，原文版权归原作者和原发刊所有

本文是针对论文《基于虚拟现实（VR）和脑电图（EEG）相结合的方法采集建筑环境信息和人类感知反馈（Building environment information and human perceptual feedback collected through a combined virtual reality （VR） and electroencephalogram （EEG） method）》的一篇论文解析，该论文于2020年7月发表于《ENERGY AND BUILDINGS》。该研究作者包括Li Junjie; Jin Yichun ; Lu Shuai; Wu Wei;Wang Pengfei。

摘要＆关键词

研究目的：提高居住满意度和工作效率，建立建筑空间环境与主观感受的关系框架，准确、定量地描述建筑空间环境对人的主观感知的影响。

研究方法：通过虚拟空间呈现真实场景，并引入一种新的研究理念来分析人脑数据。研究人员在可控的实验室环境中采用虚拟现实技术来模拟建筑空间，并根据不同的场景创建身临其境的空间感知。在模拟空间中，从佩戴脑电信号采集帽的被试那里获取神经信号脑电图（EEG）数据。

实验过程：分为情景认知和任务执行两个阶段。以生理、心理和工作效率指标衡量人类感知的变化，在三个环境中进行检测：开放的自然环境、半开放的图书馆和封闭的地下室空间。

研究结果：1）基于对30名被试脑电图的32个电极的分析，研究人员确定了场景切换后脑电图变化最显著的4个电极和1个区域。2）通过对情景认知实验阶段脑电节律的检测，发现β节律与任务完成总时间之间存在耦合关系，证明了β节律与工作效率之间的机制关系。3）通过分析主观问卷数据与β节律之间的相关性，揭示了主观知觉与生理信号之间的相关性，进而推断了不同环境影响工作效率的机制。

关键词：VR；EEG；人的感知反馈；建筑空间环境

思维导图

引言

研究背景:

建筑师一直在探索建筑环境与居住者之间的关系，然而，与物理环境的定量描述不同，根据居住者的心理特征对建筑环境进行主观评价通常涉及定性因素。在实际环境中，主观评价受到许多因素的影响，从主观问卷中获得的数据可能是模糊的，缺乏准确性。在分析人类感知与空间环境相关反馈的研究中，一些学者已经开始通过脑电信号数据来评估人类感知与建筑环境之间的关系。虚拟现实（VR）技术可用于快速仿真大量空间和相关环境元素，以提供身临其境的视觉体验。

本研究采用人本主义的视角，着眼于建筑环境的持续改善，探索了一种综合定性评价建筑空间和优化设计的创新方法，探讨了建筑空间中编码的环境信息与人体提供的感知反馈之间的相互作用机制，揭示了两者相互作用的规律。

研究目的:

1) 采用虚拟仿真空间和脑电信号采集技术建立实验框架，为研究建筑、环境和人之间的关系提供了一种新的方法。

2) 建立空间环境与人的感知的互动机制。通过人造环境实验，揭示生理、心理、工作效率水平之间的关系。

3) 通过人脑信号反馈为建筑环境设计提供更准确的参考信息集，为建筑环境的优化设计提供更准确的手段。

研究方法

本研究采用虚拟现实技术（VR）、脑电（EEG）信号、实验室环境控制技术（LEC）等实验方法。基于VR和LEC在不同场景中创造了身临其境的空间体验（如表1所示）。研究人员通过脑电信号采集帽在模拟空间中获得被试的脑电信号数据，并使用这些数据来探索空间环境与人类生理、心理和工作效率之间的相关性（如图1所示）。

在对大量图像样本进行比较分析后，本研究选择了三种截然不同的场景：开放式自然环境、半开放式图书馆环境和封闭式地下室空间（如表2所示）。

被试被要求在三个虚拟模拟空间中完成问卷调查和认知实验。实验过程中收集了相关数据，包括脑电信号、实验室物理环境数据、问卷数据、认知实验完成时间等。最后，研究人员对实验数据进行了交叉和多层次的对比分析。

被试

30名大学生（男15名，女15名）被选为被试，年龄在18至25岁之间，他们被认定为身心健康且最近没有重大疾病的大学生。在实验开始前，收集每个被试的个人基本信息，阅读并签署知情同意书，协助被试佩戴实验设备，并分发测试内容样本，以确保数据的真实性和测试的顺利进行（如图2所示）。

实验步骤

1）第一步：闭眼休息和场景适应

戴上VR和EEG设备后，要求被试闭眼休息30s，适应现场4min。这种闭眼休息减少了个人对VR和EEG设备适应性的生理和心理波动，场景适应使被试沉浸在虚拟模拟空间中，并提供更真实的空间体验感反馈。

2）第二步：主观问卷

被试完成了基于语义差异分析（SD）方法的主观空间问卷调查（如图4和表3所示）。主观空间问卷从对场景的认知感受、空间参数和物理环境三个层面对三种不同的虚拟仿真空间的心理感受进行了评估。

由于场景空间的主观感受主要反映了被试的心理评价，因此将其分为实验前和实验后两组。每个问题由四个题项组成：虚拟现实环境适应性、虚拟现实环境满意度、情绪和专注力。对空间设计参数的感受主要反映了被试对环境感受的评价，包括空间尺度认知、空间尺度舒适性、空间色彩认知和空间色彩舒适性四个题项。最终，与物理环境参数相关的感受主要体现为对环境的评价，包括热舒适性、热环境可接受性、光环境感知、光环境适应性、空间环境总体感知五个题项。

3）第三步：任务性能阶段

研究人员根据人类认知水平进行了四个认知实验：Stroop效应、数字计算、无意义图形再认和数字符号模拟。根据上述三个水平，综合评价被试在不同空间场景中的工作效率。通过记录完成四个认知实验所需的时间（如表4所示），这些综合评估了被试的工作效率。如果被试回答错误，他们就会收到“回答错误”的信号，这个问题会一直存在，直到被试回答正确为止。因此，完成实验的总时间就是达到100%准确率所需的总时间，这消除了错误答案的干扰。通过“总持续时间”统计，被试经历了相同的工作量，在工作效率方面可以更准确地说明价值上的细微差异。这对下一步探索脑电节律与工作效率的关系具有重要意义。

Stroop效应实验代表了人类的感知功能。实验给出了一系列视觉信号问题，然后要求被试大声说出所有视觉信号的颜色或颜色错误的视觉信号，然后记录响应时间长度。

数字计算表明人的思维功能。实验给出了不同程度的计算公式。被试被要求计算方程式的结果或判断其正确性。同样，响应时间长度也会被记录。

无意义的图形识别实验代表了人类的学习和记忆功能。实验首先给出三个相似的图形，并要求被试记住它们；然后测试要求被试找到出现的记忆图形；最后，被试被要求在一系列中找出相同的两个数字，这项测试还记录了反应时间长度。

符号数字模拟实验代表了人的表达功能。首先，它给出一到四个数字，每个数字对应一个字符。然后测试要求被试记住它们；接下来，给被试一个随机排列的字符或数字序列，并要求他们识别相应的数字或字符列；最后，测试记录了响应时间长度。

为了平衡实验中每个被试的适应性和疲劳水平，实验持续时间保持在50min左右，包括三个场景。每个场景平均14到18分钟。每名被试在第一阶段的闭眼休息和场景适应时间为4.5min。第二阶段包括三个阶段：填写主观问卷、进行认知体验和完成体验后评估，时间分别为3min、3~6min和3.5~4.5min。通过受控的被试选择、实验顺序和实验过程，被试能够完全沉浸在场景中，并避免因完成冗长任务而产生的疲劳迭代（如图4和图5所示）。

结果和讨论

搜索目标点

本实验获得了30名被试在三种不同情景下的脑电数据，数据总量达到9亿个数据点。在对这一重要数据进行分析的基础上，本研究首先提取了Ph点作为研究对象。Ph值表示场景切换后，场景适应阶段的脑电变化最剧烈的点。由于本研究涉及的数据量相当大，因此生成研究结论的逻辑如下：

1）在场景适应阶段，从30名被试中选择稳定的10s脑电波周期，排除眨眼、转头、眼神接触不良等干扰因素。

2）对S1&S2、S2&S3、S1&S3三种场景下的频段进行配对相关分析。通过计算相关系数，RA被标记为|R|<0.2（即，相关系数的绝对值），而RB被标记为|R|>0.2。当两种情景进行比较时，RA值显示脑电电位有显著差异，而RB则没有显著差异（如图6所示）。在图7中，点越红，脑电电位的差异就越显著。点越蓝，差异就越小。对30名被试32个电极的RA总统计量进行统计和排序。排名最靠前的四个电极被标记为Ph1-4，表明脑电图变化最剧烈（如表5所示；由于篇幅限制，只列出了一些随机选择的点的相关系数分布）。

3）对30名被试32个电极的RA总统计量进行统计和排序。排名最靠前的四个电极被标记为Ph1-4，表明脑电图变化最剧烈（如表5所示；由于篇幅限制，只列出了一些随机选择的点的相关系数分布）。

4）Ph1~4额叶为F7，顶叶为CP2，右侧颞叶为FC6，枕叶为P3。在图7所示的EEG位图中也有标记。

5）根据统计，从整个区域的分布来看，右侧颞叶区域的脑电电位差异比大脑其他区域更为显著（如表5所示）。

在对三种转换情景前后的脑电电位进行两两相关比较后，确定Ph1-4在额叶为F7，在顶叶为CP2，在右颞叶为FC6，在枕叶为P3。从整体分区来看，右侧颞叶的脑电电位差异较其他区域更为显著。因此，为了进一步研究人脑与空间环境的相互作用，本研究以右颞叶区域的Ph1-4为研究对象。

建立大脑节律和工作效率之间的关系

对于成年人来说，0.5-4Hz的范围被表示为三角洲频段，这主要与深度睡眠有关。5-7Hz的范围是θ波段，它被认为是昏睡和清醒之间的过渡。8-13Hz的范围是α波段，它在放松的意识中很突出，但随着注意力的集中或集中而减弱或消失。14-30Hz的范围是β波段，它与活跃的思考、注意力和解决具体问题有关。最后，30-45Hz的范围通常称为γ频段，其幅度通常小于其他频段。

根据不同节律对应的Ph1-4的能量分布，进一步得出β与任务执行阶段总时长的耦合关系。研究结论的生成逻辑如下：

1）选取任务执行阶段的实验数据，将被试的脑电电压信号转换为频率信号。然后，将Ph1-4电极的总能量值与α、β和θ的脑电节律进行比较。

2）由于β波与有意识或处于清醒、专注和警觉状态的关系最为密切，因此统计了个体认知实验的总持续时间T（包括四类问题Q1-Q4）与β节律之间的耦合关系。变量T是在保证精度的情况下记录的时间长度（如表7所示）。将认知实验的总持续时间T（包括Q1-Q4四类问题）与β节律的能量比例进行统计回归分析后，发现两者之间存在负相关关系。β节律也被确定为与人脑工作状态的效率成正比（图8）。

3）30名被试的T和β符合一阶函数关系，初步建立了T和β节律之间的联系。因此，β是T的函数，并且两者之间存在相反的关系（如图9所示），红线为数据拟合线，灰色虚线为99%置信区间曲线，k为红线斜率。对所有数据进行Z检验，结果表明，两者呈负相关（k=-0.387，p=0.076）。

场景环境与β节奏的相关性研究

根据以上结论，β节律的能量影响被试的工作效率，且二者呈正比关系。因此，这一部分讨论了三种不同情景（即开放的自然环境、半开放的空间和封闭的地下室）下人脑的β节律兴奋。研究结论的生成逻辑如下：

1）确定三个场景中β节奏的总能量。

在场景适应阶段，从30名被试中选择稳定的10s脑电波，排除眨眼、转头、眼神接触不良等干扰因素。在这个10秒的样本中，β节律的总能量如表8所示。三个场景中β节律的总能量顺序为：βs1>βs2>βs3。

2）分析实验中场景参数的差异

研究人员对被试进行了主观问卷调查，这些问题是成对设计的。一种是指被试对某一特定情况的感知，反映在生理层面上（即视觉、听觉、触觉、温度和光线）。另一种是人对环境的评价，体现在心理层面，主观问卷采用7分评分法（-3~3）。

接下来，本研究对10秒的β节律与三种环境的主观问卷得分进行了相关统计分析（如图10所示）。生理方面（即SSRV、SCRV、TSV和LSV）与β节律的相关性较小，而心理方面（即SSCV、SCCV、TCV、LCV）与β节律的相关性较高。也就是说，生理水平对β波的影响小于心理水平对β波的影响。

主观问卷还包括关于人类情绪、注意力水平、舒适度和对虚拟现实环境的满意度的问题。被试被要求在实验前后对每个场景做出评价（如图11所示）。本研究发现，实验前问卷得分与β节律能量比例的相关系数大于实验后收集的数据。在所涉及的方面中，人类的情感和注意力与β节律能量比例显著相关，表明β节律在很大程度上受人类心理的影响，因此，主观满意度会显著影响主体的工作效率。

结论

本研究采用VR和LEC相结合的方式，形成了一个高度模拟的建筑实验空间和一个沉浸式空间。实验是在不同的VR场景下进行的。通过要求被试佩戴脑电设备，获得了被试对模拟空间响应的脑电数据。通过情景认知和任务绩效两个阶段的实验，考察了开放的自然环境、半开放的图书馆环境和封闭的地下室空间三种不同的人类感知指标（生理、心理和工作效率）在三种不同环境中的变化。在数据分析的基础上，得出以下结论：

1）建立了一套虚拟现实与脑电相结合的创新性实验室测试方法。本研究利用虚拟现实技术在实验室构建沉浸式仿真环境，提高了视觉、听觉、触觉等维度的仿真程度。

2）从脑电位的相关分析出发，在场景切换前，对30个被试、32个电极、3个空间环境的脑电数据进行9亿个数据点的逐级筛选分析，得到最显著的4个电极和1个区域（即右颞叶）。

3）通过对30名被试脑电节律的分析，得出了保证任务执行准确性的β节律与总时长的耦合关系，找到了β节律与工作效率的函数关系，证明β节律能促进工作效率。

4）通过主观问卷调查与脑电β节律的相关分析，得出主观感受与生理信号之间的联系，推断环境影响下情绪对工作效率的影响机制。结果表明，当与建筑空间相关的环境因素发生变化时，人们在特定环境中的工作效率与其右颞叶区域的β节律有关。因此，β节律与居住者的空间知觉满意度密切相关，换句话说，与心理决策密切相关

展望

本研究的目的是在实证研究的基础上，从人与建筑环境和谐共生的角度出发，着眼于建筑环境的持续改善，以促进居住者的身心健康。通过本研究，建立了一套系统、创新的建筑空间质量评价与设计优化方法，实现人、建筑空间、环境的协调发展，同时揭示了建筑空间信息与人的知觉反馈的相关机制。未来的研究将集中在开发计算机分析和机器学习的算法，形成面向应用的定量模型，将循证实验室的工作嵌入到设计过程中，以及创建创新的编程和软件。该方法可用于开发医疗、商业、办公、地下和特殊环境中人员的生理反馈机制和空间场景，并为设计优化提供有效的反馈。这一主题的未来工作将涉及形成脑电图数据的分析范例，测试典型的建筑环境，并为可视化平台和应用程序提供直接反馈。

引用格式

Li JJ, Jin YC, Lu S, et al. Building environment information and human perceptual feedback collected through a combined virtual reality (VR) and electroencephalogram (EEG) method[J]. Energy and Buildings, 2020, 224: 110259.