vr交互体验设计研发（基于VR的沉浸式虚拟实验室设计研究）

摘 要：虚拟现实技术为虚拟实验的开展提供了诸多可能，沉浸式虚拟实验成为了当前实验教学领域发展的重要趋势。本文首先介绍了沉浸式虚拟实验室的来由及其特性；其次，阐述了情境学习和具身认知等沉浸式虚拟实验室设计的理论依据；再次，介绍了沉浸式虚拟实验室的架构设计以及开发中应用的关键技术；最后，探讨了适用的沉浸式虚拟实验室教学模式和实验流程，并总结了沉浸式虚拟实验室的优点和使用注意事项。

关键词：虚拟实验；沉浸式；虚拟实验室；具身认知

一、虚拟实验室的来由及特性

虚拟实验室(Virtual Laboratory，简称VL)，又称虚拟实验系统，可以追溯到威廉·沃尔夫教授提出的“合作实验室”（Collaboratory），即利用计算机建立网络化的虚拟实验室环境[1]，旨在打破空间的限制，进行合作性实验研究。虚拟实验室在实践上具有高仿真、开放共享、可扩展性、重复使用性以及安全性高等诸多优点[2]，可以补充和延伸课堂教学，发展实验教学的远程教育和混合学习。但是，目前比较常见的虚拟实验室大多为基于Web的“非沉浸式”虚拟实验室[3]，是一种桌面仿真型虚拟实验室，主要通过对设备和实验过程的软件进行仿真操作。因此，这种“非沉浸式”虚拟实验室的缺点也非常明显，如仅仅依靠鼠标键盘操作，在实践体验与实验效果上的沉浸感不强等。沉浸式虚拟实验则是通过利用虚拟现实技术，设计数字化虚拟实验环境，从而创建沉浸式的实验交互情境[4]。通过沉浸式虚拟实验室，学习者借助一定设备进入与真实实验室一样的空间场景进行交互操作和体验，能够进行反复训练、实践并获得理想的数据进行分析和处理等。同时，学习者借助体感交互设备，可以从视觉、听觉、嗅觉、触觉甚至是味觉等多种感知通道来感知虚拟实验环境中的信息,并且能够通过基于多种感知通道的输入设备与之进行交互,从而可以使学习者在限定实验条件下,操控实验仪器设备,控制实验进程,不断进行实验训练、观察和获取实验结果[5]。

二、沉浸式虚拟实验室设计的理论基础

依据情境学习理论和具身认知中的教学环境相关理论，学生通过沉浸式虚拟实验室进行实验,可以使身体和心理均沉浸在逼真的虚拟实验场景中，进而完成实验教学，能够吸引学生学习兴趣、提高学生学习的主动性与实验的创造性。

（一）情境学习

情境学习理论是基于哈贝马斯提出的“情境理性”(Situated Rationality)知识观[6]，他认为人的理性总是嵌入在具体情境里并随着情境的变化而变化。据此,沉浸式虚拟实验室通过提供高精度的立体实验资源和强交互的类真实实验场景，促进学习者在亲身参与实践训练的情境中获得更好的学习效果。基于“情境理性”知识观，情境学习理论演绎的学习四大隐喻即“知识具有情境性”“学习是情境性活动”“学习是知识的社会协调”“学习是实践共同体中合法的边缘性参与”，是沉浸式虚拟实验室设计开发的必要性和可行性依据。

（二）具身认知

具身教学认知环境和传统教学相比，突出了学习者的中心地位，强调学习者对知识和任务的感知和参与，特别是随着教育技术的不断发展，很多基于网络的教育技术可以把虚拟环境和实体环境很好地融合在一起，形成较为真实的混合现实环境。据此设计的沉浸式虚拟实验室，能够帮助教师充分调动实验教学媒体资源，让学生沉浸在这种具身的实验教学环境中，从而促进学生主动学习，增强学生的学习效果。

三、沉浸式虚拟实验室设计的系统架构和关键技术

沉浸式虚拟实验室，以虚拟现实技术为核心，依据体验式实验设计的“四原则”尝试设计虚拟实验室实验体系架构[7]，依托虚拟现实和三维建模涉及的关键技术创建三维实验场景。

（一）系统架构

沉浸式虚拟实验室根据现有的沉浸式虚拟实验室构想进行设计。数据层、基础层和资源层为管理层、功能层、应用层和服务层奠基，从而实现信息整合和情境交互。数据层由三维建模技术、立体显示技术、人机交互技术、数据分析技术支撑；基础层由HTCVive设备与steamVR平台搭建；资源层由3D角色、手柄模型、场景模型、仪器模型等创设；管理层具备系统管理、信息管理、预约管理和实验管理四大管理模块；功能层主要包括人机交互、师生交互和生生交互；应用层由物理实验平台、化学实验平台、生物实验平台等构成；服务层则主要包括教师指导模式、学生训练模式、学生探究模式等多种模式。其中，数据层为资源层提供技术支撑，资源层为功能层提供资源服务(见图1)。

（二）关键技术

沉浸式虚拟实验室开发主要通过利用Unity 3D开发引擎，结合3D Studio Max（3ds Max）制作的仿真模型搭建虚拟实验环境，使用C#语言在Microsoft VisualStudio（简称VS）软件上实现交互，主要涉及以下相关技术。

1.三维建模技术

三维建模是利用制图软件建立空间模型的过程，是立体显示的基础、虚拟现实的关键技术之一，对虚拟实验沉浸性有重要影响。虚拟现实强调沉浸感、真实感，模型的质量直接影响虚拟实验的质量。本研究通过3ds Max软件对虚拟实验室及虚拟实验器材进行创建、修改、贴图、调整、渲染，并将其导出，导出的模型以obj或fbx格式均与Unity 3D有很好的兼容性。

2.立体显示技术

立体显示是虚拟现实的一个实现方式，能够使虚拟实验室更加自然、真实。立体显示功能主要是借助特定的视觉显示设备，如3D展示系统、大型投影系统（如CAVE）、头显（头戴式立体显示器等）、VR眼镜。本研究采用的是HTC Vive头盔显示器（Head-Mounted Display，简称HMD），学习者通过头盔显示器感知虚拟实验室与虚拟环境，观察实验现象。

3.人机交互技术

人机交互是学习者和计算机进行信息交流的方式，感知交互技术是虚拟现实的关键技术。人机交互技术经历了从桌面端的键盘鼠标，到移动端的多点触控，再到虚拟现实中的体感交互，呈现出交互方式自然化，内容多样化的特点。目前，虚拟现实在人机交互方面借助的设备主要包括3D体感摄像机数据手套、手柄等。本研究是采用HTC Vive手柄控制器，学习者通过手柄发出的射线与虚拟实验器材模型进行碰撞检测实现交互操作，从而完成实验操作步骤。

四、沉浸式虚拟实验室的教学模式及实验流程

（一）教学模式

针对虚拟实验类型以及真实实验与虚拟实验混合活动设计进行实验教学模式设计，可以将沉浸式虚拟实验室按照实验类型应用以下教学模式：（1）真实实验—虚拟实验—真实实验：适用于操作简便的基础性实验，可以依据真实实验为主，虚拟实验为辅。（2）虚拟实验—真实实验—虚拟实验（N）—真实实验：适用于使用实验仪器设备采集、分析、处理实验现象等综合训练的操作性实验，即实验要多次验证，偏重需要确保真实与虚拟实验结果的准确性。（3）虚拟实验—虚拟实验（N）—真实实验(专）：适用于设备昂贵、过程危险、难获得结果的实验。当然若想做真实实验可以依靠专业人员演示，在实验设备、环境等条件允许的情况下可以请专家指导学生进行操作实验，并且要做好安全防范措施。其中，“虚拟实验（N）”指的是该类实验要多次进行虚拟实验，“真实实验（专）”指在一定条件下可以通过适当方法进行真实实验。后两种教学模式先进行虚拟实验，旨在降低设备损坏率，增高实验容错率(如图2)。

此外，沉浸式虚拟实验室在教学的课前预习、课堂学习以及课后复习均可以应用，关键要根据实验内容采取适宜的教学模式，这样才能更好发挥虚拟实验室的优点。在进行课前预习时，让学生对实验的原理、现象以及仪器的使用有一定的了解，从而减少时间的耗损、降低设备的损坏率和失误率，进而提高实验效率。在进行课堂学习时，教师明确实验教学目标，指导学生在平台上进行多次实验操作，并通过组内分工合作完成实验记录表，采用演示与操作相结合等教学策略有序组织学生进行体验和操作。在进行课后复习时，学习者在课堂上未掌握的实验仪器操作技巧以及未观察全的实验现象等都可以在沉浸式虚拟实验室中进行不受限制地重复实验、训练等。

（二）实验流程

1.搭建运行环境

选定一定空间，需要至少一套HTC Vive设备和一台计算机，根据HTC Vive手册连接好头盔、手柄以及感应器并设定好活动范围。将设备与主机相接，并配置好头戴式显示器、传感定位器、手柄。通过steam打开steamVR配置虚拟空间规模，完成其与虚拟头盔、手柄以及感应器的连接。完成后打开虚拟实验项目，进入虚拟实验室界面(如图3)。

2.选择虚拟实验

点击主界面“帮助”按钮，可弹出帮助界面，对软件的操作以及相关的计算机要求进行了具体的展示。沉浸式虚拟实验室提供不同种类的实验，学习者可以通过点击平台界面上的交互按钮操作进行多个不同实验之间的切换。在选择好实验后，软件自动根据学习者所选取的实验提供相应器材和虚拟实验室。

3.开始虚拟实验

实验操作的方式有两种，一种是“实验演示”，另一种是“实验操作”。“实验演示”是指学习者在系统提示的帮助下进行实验操作，“实验操作”是指学习者在没有系统提示的情况下独立完成实验操作：①点击“实验演示”按钮可以进入模拟版虚拟实验室，根据提示框里的内容指导进行正确的实验操作学习和模拟；②点击“实验操作”按钮可以进入训练版虚拟实验室，通过无提示框的个人实验操作进行检验和训练。在虚拟实验室中，系统根据学习者的操作在实验台的上方进行提示，以便学习者能够顺利地进行实验操作。

五、结语

具体来说，利用沉浸式虚拟实验室进行实验教学具有以下价值：（1）减少实验室建设的资金和空间投入、弥补实验场地的不足；（2）节省实验器材的损耗，缓解设备的缺少或陈旧带来的压力等情况；（3）避免实验中的危险和危害，降低污染；（4）更新教学观念，教师由知识讲授的权威者、讲授者转变为实验的设计者、引导者和组织者，学生由知识容器和知识受体转变为学习主体，主动获取知识；（5）提供实时监测、模拟自检等多种训练模式，给予反馈性提示；（6）促进开放式、个性化教学。沉浸式虚拟实验室通过三维模型和训练环节能够有效集中学生注意力、吸引学生学习兴趣、提高学生动手能力，促进学生转变“学习只能依靠被动接受”的固化思维，主动学习和模拟训练，可以不受传统实验室开放时间的限制，灵活安排自己的实验时间，也可以根据自己的进度或兴趣选择实验内容进行课外拓展和补充；（7）引导横向拓展与纵向应用相结合。沉浸式虚拟实验室的横向拓展是指由教学者开发设计性和综合性实验，提高学生实验动手能力，增强科学实验素养；纵向应用是指开设新技术成果的应用以及其他新型实验，提供相应的实验课题，由学习者根据个人兴趣和能力选择进行实验探究，培养学生的创新能力等。对于实验这种需要学习者亲身参与的实践活动来说，沉浸式虚拟实验室是一种发展趋势，更是一种创新变革的教学应用。

虽然沉浸式虚拟实验室有诸多优点，但是要想达到一定的教学效果，关键还是在于教师的组织和引导。教师需要考虑教学过程的诸多要素及其关系，统一协调和安排，才能够再进行系统设计，切忌把使用虚拟实验仅仅当作目的和形式。此外，沉浸式虚拟实验室还有很多不足：（1）实验器材模型、实验场景和类型不够丰富，有待充实；（2）实验操作中操控手柄代替双手，有一定的不适，在体验上有虚拟感和眩晕感；（3）实验产生的气味无法亲身体验，只能以简单的现象作为替代；（4）实验操作的其他交互设计较少，可能会造成穿模现象等。同时，我们还应该明确的是：首先，沉浸式虚拟实验室只是学习的工具而不是学习的目的，切勿本末倒置；其次，利用沉浸式虚拟实验室进行实验前要根据实验类型选取相应的教学模式；再次，沉浸式虚拟实验室不能完全代替真实实验室[8]，因为沉浸式虚拟实验是一种实验过程的设计；最后，沉浸式虚拟实验在一定程度上会限制实验的丰富性和创新性，学生在训练、操作时会出现“现象”完全相同的情况，而科学的发现还是要来根据真实实验作为基础，学生要把沉浸式虚拟实验室作为一种工具，更要勤于探究和创新，锻炼和提升综合实验能力。

参考文献：

[1]KOUZES R T,MYERS J D,WULF W A.Collaboratories:Doing Sci-ence on the Internet[J].Computer(S0018-9162),1996,29(8):40-46.

[2]杨雪，刘英杰，阚宝朋.基于设计的研究范式在网络三维虚拟实验中的运用研究[J].中国电化教育，2008(10)：103-106.

[3]赵娅，刘贤梅.远程教育中基于Web的虚拟实验室的研究与应用[J].现代教育技术，2009(2)：124-127.

[4]张晓蓉，杨文超，侯佳鑫，等.中学化学沉浸式虚拟实验系统研究[J].中国体视学与图像分析，2018，23(2)：166-173.

[5]吕耀中.沉浸式虚拟实验室的建设构想[J].现代远距离教育，2010(3)：74-77.

[6]黄越岭，朱德全.情境学习理论视阈下的网络学习评价：体系与策略[J].中国电化教育，2015(2)：29-33.

[7]郑颖立.体验式虚拟实验研究[D].上海：华东师范大学，2008.

[8]王济军，魏雪峰.虚拟实验的“热”现状与“冷”思考[J].中国电化教育，2011(4)：126-129.

,