第1章 虚拟现实技术概论 20世纪80年代美国科技公司VPL Research的创始人杰伦·拉尼尔（Jaron Lanier）提 出了一个全新的概念——虚拟现实（Virtual Reality，VR）。虚拟现实当时在我国被译作灵 境技术或人工环境，它是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视 觉等感官的模拟，让用户感觉仿佛身临其境，可以即时、没有限制地观察三维空间内的事 物。而且除了视觉外，虚拟现实也可以通过额外的设备获得听觉和触觉的反馈。虚拟现实 实现了用户进行位置移动时，计算机可以立即进行复杂的运算，将精确的三维世界影像传 回产生临场感。该技术集成了计算机图形、计算机仿真、人工智能、感应、显示及网络并 行处理等技术的最新发展成果，是一种由计算机技术辅助生成的模拟系统。和互联网一样， 虚拟现实最早用于美国军方的作战模拟系统，在20世纪90年代逐渐被各界所关注并得到 了进一步的发展。现在，虚拟现实技术已经广泛应用于影视娱乐、教育、医学、军事等领 域。随着元宇宙概念的提出，虚拟现实技术再次成为科技主流发展方向。 1.1 虚拟现实技术简介 1.1.1 什么是虚拟现实技术 随着计算机技术的飞速发展，虚拟现实技术在越来越多的领域得到广泛应用。虚拟现 实技术以计算机技术为主，并涉及了三维图形动技术、多媒体技术、仿真技术、传感技术、 显示技术、伺服技术等多种高科技的最新发展成果，其基本实现方式是计算机等设备模拟 一个具有视觉、触觉和嗅觉的逼真虚拟环境，从而给人以环境沉浸感。在这个由计算机创 造的虚拟世界中，用户通过头戴显示器观察虚拟世界，并且能与虚拟世界中的物体进行实 时交互；通过触觉反馈设备产生与现实世界相同的感觉，让用户和计算机融为一体；通过 用户与虚拟环境的相互作用，并利用人类本身对所接触事物的感知和认知能力启发参与者 的思维，全方位地获取事物的各种空间信息和逻辑信息。这也是虚拟现实技术优于传统模 拟技术的地方。 随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛，诸 虚拟现实 技术概术 导论 拟 虚 实 现 2 如虚拟战场、远程手术、潜水训练等。随着计算机软硬件技术和网络技术的进一步发展， VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。其应用的范围正从航天、 军事、医学、建筑等工程领域渗入媒体传播与娱乐领域，是一项有可能改变人类生存方式 的重大技术。 1.1.2 虚拟现实技术的特征 虚拟现实技术作为20 世纪 90 年代以来兴起的一种新型信息技术，主要具有沉浸性、 交互性、构想性和多感知性等优异特征。 1. 沉浸性 沉浸性是虚拟现实技术最主要的特征，就是让使用者成为并感受到自己是计算机系统 所创造环境中的一部分。虚拟现实技术的沉浸性取决于使用者的感知系统，当使用者感知 到虚拟世界的刺激时，包括触觉、味觉、嗅觉、运动感知等，便会产生思维共鸣，造成心 理沉浸，感觉如同进入真实世界。理想的虚拟世界应能达到让使用者难以分辨真假的程度， 甚至超越真实，实现比现实更逼真的体验效果。 2. 交互性 交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度，主要 借助于VR系统中的特殊硬件设备（如数据手套、操作手柄、力反馈装置等），使用者进 入虚拟空间，相应的技术让使用者跟环境产生相互作用，当使用者进行某种操作时，周围 的环境也会做出某种反应。如使用者接触到虚拟空间中的物体，那么使用者手上应该能够 感受到该物体；若使用者对物体有所动作，那么物体的位置和状态也应改变。 3. 构想性 构想性又称创造性或想象性，指虚拟的环境是用户想象出来的，使用者在虚拟空间中 可以与周围物体进行互动，同时这种想象体现出设计者相应的思想，可以拓宽认知范围， 根据自己的感觉与认知能力吸收知识，创造客观世界不存在的场景或不可能发生的环境。 所以说VR产品不仅仅是一个媒体或一个高级用户界面，它还是为解决工程、医学、军事 等方面的问题而由开发者设计出来的应用软件。 4. 多感知性 多感知性就是使用者置身于虚拟现实的环境中时，不仅能够在视觉中看到三维空间， 而且应该拥有很多感知方式，如听觉、触觉、嗅觉等，还可以与虚拟空间进行交互。理想 化的虚拟现实技术应该能够满足人们所有的感知功能。但由于受到技术发展的限制，特别 是传感技术的限制，VR技术目前可以提供的感知功能十分有限，大多数虚拟现实技术所 具有的感知功能仅限于视觉、听觉、触觉等。 1.1.3 虚拟现实关键技术 为了让使用者在虚拟环境中能与虚拟世界中的物体进行实时交互，并获得足够让使用 第1章 │ 虚拟现实技术概论 3 者分辨不出虚拟与真实环境的沉浸感，虚拟现实系统需要用到如下关键技术。 1. 三维建模技术 虚拟现实技术的关键就是要创建出真实可信的虚拟环境，除了真实感之外，虚拟环境 还需要有良好的交互性。这就需要用到三维建模技术，但是不同领域的三维建模技术其重 点和方法也不同。目前常用的三维建模技术主要分为：传统人工建模、三维激光扫描建模、 数字近景摄影测量建模和倾斜摄影测量建模四类。①传统人工建模也就是基于图像的三维 建模，相对经济、灵活，直到现在依然被广泛使用。该方法制作的模型外观美观，但精度 较低，并且生产过程中需要大量的人工参与，制作周期较长。②三维激光扫描建模通过激 光扫描物体的点云，能够以毫米级精度来重建三维模型，实现精确建模，最大限度地还原 真实场景。但是这种方法生产周期长、效率低，适用于小范围的精细模型构建。③数字近 景摄影测量建模是针对100m范围内目标所获取的近景图像，通过自动匹配、空三解算、 生成点云和纹理映射等一系列操作来构建三维模型，该方法具有模型效果好、精度高等特点， 但也存在建筑物死角、顶部无法拍摄的缺点。④倾斜影像测量建模技术适用范围更广、成 本低、效率高，并且数据处理对计算机硬件配置要求较低，更适用于大范围的三维模型构 建，但该方法也存在建筑物侧面、底部信息采集不全的缺点。无论哪种三维建模技术都是 从数据采集开始，到计算机上完成可视交互的三维虚拟模型结束，这也是三维建模的完整 过程。 2. 三维显示技术 人类所处的物理世界是三维空间，但传统显示技术只展现水平和垂直维度形成的二维 平面，缺少深浅维度信息。三维显示技术是一种新型显示技术，与传统显示技术相比，三 维显示技术可以使画面变得立体逼真，图像不再局限于屏幕的平面上，仿佛能够走到屏幕 外面，让观众有身临其境的感觉。随着光学、电子、激光等技术发展，三维显示技术逐渐 走向市场化。当前三维显示技术主要包括：3D电影、舞台全息图、全息投影和体积三维 显示四类。许多学者认为三维显示技术是进入虚拟世界的窗口，用户可以通过该窗口感知 与真实世界相同的3D场景。 3. 三维音频技术 为了使用户沉浸在虚拟环境中，除了视觉之外，虚拟现实系统还需要向用户提供真实 的听觉体验，用户应该能够在三维空间中任意地方感知声源位置，这就需要用到三维音频 技术。三维音频也称虚拟声、空间声等，它能根据人耳对声音信号的感知特点，使用信号 处理方法对声源到两耳之间的传递函数进行模拟以重建三维虚拟空间声场，使用三维音频 技术能得到逼真的空间声音效果。高质量音频可改善用户虚拟体验，是任何虚拟现实体验 的基本要素。但是当虚拟音频嵌入沉浸式虚拟环境中时，在多感知交互条件下静态声音作 用可能会失效。国内外一些从事声学、信号处理和计算机技术方面的学者正在进行相关研 究，这是未来的研究重点。 4. 体感交互技术 体感交互技术是21世纪激动人心的技术成果之一，它使人工智能的视觉感知成为现 实，拥有和人类相同的三维立体视觉，区别不同的物体，辨识不同的人体行为动作，就像 人眼一样在千变万化的环境中实时地看到每个人的行为动作以及理解动作含义。体感交互 技能增加感官刺激，这可以增强用户的存在感，使人们可以很直接地使用肢体动作与周边 的装置或环境互动，无须使用任何复杂的控制设备，便可让人们身临其境地与内容做互动。 体感交互技术使用户仅通过动作、声音或表情对虚拟环境进行非接触式交互变成了可能。 国外学者普遍认为体感交互技术是虚拟现实的关键组成部分，在虚拟现实培训中发挥重 要作用。在2009年6月的E3大展上，微软正式公布了Xbox 360的体感周边外设Kinect。 Kinect不需要使用任何控制器，依靠相机捕捉三维空间中玩家的运动，它具备动作捕捉、 手势与面部表情识别等多种功能，彻底颠覆了传统游戏的单一操作，使人机互动的理念更 加彻底地展现出来。这也让Kinect成为体感交互的代表性设备。 1.2 虚拟现实系统及分类 虚拟现实系统是一种兼容了应用软件系统、用户和数据库，并强调输入/输出设备构 成的计算机系统。在实际应用中，根据虚拟现实技术对沉浸性程度的高低和交互程度的不 同，将虚拟现实系统划分为四种类型，包括桌面式虚拟现实系统、沉浸式虚拟现实系统、 增强式虚拟现实系统和分布式虚拟现实系统。其中桌面式虚拟现实系统因其技术非常简单， 需投入的成本也不高，在实际应用中较广泛。 1.2.1 虚拟现实系统的构成 虚拟现实系统应该具备让用户沉浸且可与用户进行交互的功能。一般的虚拟现实系统 至少包含一个屏幕、一组传感器及一组计算组件，它们被组装在设备中。屏幕用来显示仿 真的影像，投射在用户的视网膜上；传感器用来感知用户的旋转角度；计算组件则收集传 感器的信息，决定屏幕显示何种画面。 典型的虚拟现实系统主要由计算机、应用软件系统、输入/输出设备、用户和数据库 等组成，如图1. 1所示。 图1.1 虚拟现实系统框架图 1. 计算机 在虚拟现实系统中，计算机负责虚拟世界的生成、渲染和人机交互的实现。由于虚拟 虚拟现 实系统 的分类 世界本身具有高度复杂性，尤其在某些应用中，如航空航天世界的模拟，大型建筑物的立 体显示、渲染、复杂场景的建模等，使得生成虚拟世界所需的计算量巨大，因此对VR系 统中计算机的配置提出了极高的要求。 2. 输入/输出设备 在虚拟现实系统中，计算机通过输入/输出设备识别用户的各种形式的输出，并生成 实时的反馈信息，从而实现人与虚拟世界的自然交互。输入设备帮助用户定位并与VR环 境交互，包括运动追踪器、操纵杆、触控板、感应手套、设备控制按钮、触觉反馈系统、 跑步机及全身套装。这些设备收集有关用户运动和位置的数据——从转头到挥手，再到用 户眼睛的最轻微运动。这些设备收集的所有信息都成为计算机系统的输入数据。输出设备 向用户呈现虚拟环境并进行反馈。虚拟现实系统的输出设备分为VR视觉输出设备、VR 听觉输出设备、VR前庭系统输出设备和VR体感输出设备等。常见输出设备有VR眼镜、 头显及头戴式显示器等。当前虚拟现实的输入/输出设备大多为有线设备，大量的线缆会 影响用户的体验和沉浸感，所以未来虚拟现实的输入/输出设备须考虑多用户虚拟现实环 境和无线连接问题。 近年来，虚拟现实技术进步快，设备成本快速降低，虚拟现实硬件设备市场发展迅速。 如图1.2所示，HTC Vive和Oculus Rift均为头戴式显示器，配套使用操作手柄。国内外众 多VR用户基于客观和主观度量准则对HTC Vive和Oculus Rift进行比较，在测试选择和位 置任务中发现HTC Vive的性能略好于Oculus Rift。VR用户也通常会对VR头盔的头部跟 踪范围以及在房间大小环境中的工作区域和准确性进行评估，根据不同需要选配头显设备。 图1.2 头戴式显示器HTC Vive和Oculus Rift 3. VR的应用软件系统及数据库 虚拟现实的应用软件系统可完成的功能包括：虚拟世界中物体的几何模型、物理模型和 行为模型的建立，三维虚拟立体声的生成，模型管理及实时显示，虚拟世界数据库的建立 与管理等几部分。虚拟世界数据库主要用于存放整个虚拟世界中所有物体的各个方面信息。 三维建模软件、虚拟现实开放平台和引擎是最重要的虚拟现实应用软件。三维建模软 件的功能是在二维绘图软件基础上进行三维建模，3ds Max、AutoCAD、Softimage 3D和 Maya等是常用的三维建模软件。虚拟现实开放平台（VR Open Platform）中有可获取的 虚拟现实软件开发工具包（Virtual Reality Software Development Kit，VR SDK）。Valve和 Oculus都为开发者提供了不断更新的SDK，通过SDK开发人员能为所有流行的VR头显 开发应用。引擎是指一些已编写好的可编辑系统或者一些交互式实时图像应用程序的核心 组件，为开发者提供编写虚拟现实应用所需的各种工具，Unity 3D、Unreal Engine是当前 最常用的引擎。本质上引擎就是一种通用开发平台，将各类资源整合起来，提供便捷的 SDK接口以便开发者在这个基础上开发应用的模块。WebVR是一种JavaScript 应用程序 编程接口，使应用程序能够在网络浏览器中与虚拟现实设备进行交互。虚拟现实系统还包 括虚拟声音编辑器、虚拟现实培训模拟器和虚拟现实内容管理等软件，为用户提供更完整 的虚拟现实体验。 1.2.2 桌面式虚拟现实系统 桌面式虚拟现实系统是一套基于普通PC的小型桌面虚拟现实系统。利用中低端图形 工作站及立体显示器产生虚拟场景，参与者使用位置跟踪器、数据手套、力反馈器、三维 鼠标或其他手控输入设备，实现虚拟现实效果的重要技术特征。 桌面式虚拟现实系统一般要求参与者使用空间位置跟踪定位设备和其他输入设备，使用户 实现虽然坐在显示器前，却可以通过计算机屏幕观察360°范围内的虚拟世界，如图1.3所示。 图1.3 桌面式虚拟现实系统实例 在桌面式虚拟现实系统中，计算机的屏幕是用户观察虚拟世界的一个窗口，参与者可 以在仿真过程中设计各种环境，使用的硬件设备主要是立体眼镜和一些交互设备。立体眼 镜所带来的立体视觉能使参与者产生一定程度的投入感。交互设备用来与虚拟环境交互。 有时为了增强桌面虚拟现实系统的沉浸感，桌面式虚拟现实系统中还会借助于专业单通道 立体投影显示系统，达到增大屏幕范围和团体观看的目的。桌面式虚拟现实系统虽然缺乏 完全沉浸式效果，但是其应用仍然比较普遍，因为它的成本相对要低得多，而且它也具备 了虚拟现实系统的基本技术特征。 桌面式虚拟现实系统具有以下特点。 . 对硬件要求极低。有时只需要计算机或数据手套、空间位置跟踪定位设备等。 . 应用比较普遍。它的成本相对较低，而且满足沉浸式VR系统的一些技术要求。 . 缺少完全沉浸感，参与者不完全沉浸。即使戴上立体眼镜，仍然会受到周围现实世 界的干扰。 . 作为开发者和应用者来说，从成本角度考虑，采用桌面式虚拟现实系统往往被认为 是从事VR研究工作的必经阶段。 桌面式虚拟现实系统的最大优势就是，它相对其他虚拟现实系统具有低廉的成本。沉 浸式和增强式虚拟现实系统需要有头盔、数据手套等价格高昂的设备，桌面式虚拟现实系 统只需要一台个人计算机、显示器和鼠标就能获得一定的沉浸式体验，因此桌面式虚拟现 实系统被广泛应用于教育领域。桌面式虚拟现实课件能使学习者产生一定程度的投入感， 结合鼠标、键盘等外设还可以实现驾驭虚拟境界的体验，能够冲破时空的限制，弥补学生 直接经验的不足，同时为进一步抽象化发展奠定基础。运用虚拟现实技术制作的教学课件 还可以模拟适合教学的特定环境，并允许学生与计算生成的各种仿真物体交互，可将抽象 的概念、原理直观化和立体化，方便学生理解抽象知识，因此受到教师和学生们的欢迎。 此外，桌面式虚拟现实课件的接触性、受控性、人机交互等都有着很多传统媒体无法企及 的优势。利用桌面式虚拟现实系统进行教学有其优越的功能特点，在教育领域内有着巨大 的应用前景。 1.2.3 沉浸式虚拟现实系统 沉浸式虚拟现实系统（Immersive VR System）采用头盔显示，以数据手套和头部跟踪 器为交互装置，把参与者或用户的视觉、听觉和其他感觉封闭起来，使参与者暂时与真实 环境相隔离，使用户真正成为VR系统内部的一个参与者，并能利用这些交互设备操作虚 拟环境，产生一种身临其境、全心投入并沉浸其中的感觉。沉浸式虚拟现实系统能让人有 身临其境的真实感觉，因此常常用于各种培训演示及高级游戏等领域，如图1.4所示。常 见的沉浸式虚拟现实系统有基于头盔式显示器的虚拟现实系统、投影式虚拟现实系统和远 程系统。其中，基于头盔式显示器的虚拟现实系统采用头盔式显示器；投影式虚拟现实系 统通过投影式显示系统实现完全投入，从而把现实世界与之隔离，使参与者从听觉到视觉 都能投入虚拟环境中；远程系统是一种远程控制形式，常用于虚拟现实系统与机器人、无 人机等技术相结合的系统。 图1.4 沉浸式虚拟现实系统实例 沉浸式虚拟现实系统使用户完全融入并感知虚拟环境，获得存在感。一般有两种途径 实现系统功能：洞穴自动虚拟环境（Cave Automatic Virtual Environments，CAVE）和头戴 式显示器，同时配备运动传感器以协助进行自然交互。 CAVE 是一个虚拟现实空间，本质 上是一个立方体形状的空房间，其中每个表面——墙壁、地板和天花板都可以用作投影屏 幕，以创造一个高度身临其境的虚拟环境。头戴式显示器的外形通常是眼罩或头盔的形式， 把显示屏贴近用户的眼睛，通过光路调整焦距以在近距离中对眼睛投射画面。头戴式显示 器能以比普通显示器小得多的体积产生一个广视角的画面，通常视角都会超过90°。VR 头显使用头部跟踪的技术，当用户转过头时，VR头显会改变用户的视野，能为用户提供 身临其境的体验。 沉浸式虚拟现实系统的特点如下。 . 具有高度的实时性。 . 高度沉浸感。 . 具有强大的软硬件支持功能。 . 并行处理能力。 . 良好的系统整合性。 在过去的几十年中，沉浸式技术取得了巨大的发展，并且在继续进步。沉浸式虚拟 现实系统甚至被描述为 21 世纪的学习辅助工具。头戴式显示器（Head Mounted Displays, HMD）可以让用户获得完全身临其境的体验。到 2022 年，头戴式显示器的市场销售额预 计将超过 250 亿美元。当Facebook在 2014 年以 20 亿美元收购Oculus时，沉浸式虚拟现 实技术受到了极大的关注。2018年，Oculus Quest 发布，它是一款无线头戴式显示器，允 许用户更自由地移动。它的价格约为 400 美元，与上一代有线头显价格大致相同。索尼、 三星、HTC等其他大公司也在对沉浸式虚拟现实系统进行巨额投资。 1.2.4 增强式虚拟现实系统 增强式虚拟现实系统简称增强现实（Augmented Reality，AR）系统，它是一种将真 实世界信息和虚拟世界信息“无缝”集成的新技术，两种信息相互补充、叠加。在视觉化 的增强现实中，用户利用头盔显示器，把真实世界与计算机图形多重合成在一起，便可以 看到真实的世界围绕着用户。AR把真实环境和虚拟环境结合起来，在虚拟现实与真实世 界之间的沟壑上架起一座桥梁，既可减少构成复杂场景的开销（因为部分虚拟环境由真实 环境构成），又可对实际物体进行操作（因为部分物体是真实环境）。 增强现实的工作流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处 理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器 等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的 相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像 呈现给用户。用户可通过AR头显或智能移动设备上的交互配件，如话筒、眼动追踪器、 红外感应器、摄像头、传感器等设备采集控制信号，并进行相应的人机交互及信息更新， 实现增强现实的交互操作，如图1.5所示。 图1.5 增强式虚拟现实系统实例 增强式虚拟现实系统有以下三个主要特点。 . 真实世界和虚拟世界融为一体。 . 具有实时人机交互功能。 . 真实世界和虚拟世界是在三维空间中整合的。 常见的增强式虚拟现实系统有以下四种。 . 基于台式图形显示器的系统。 . 基于单眼显示器的系统（一个眼睛看到的是显示屏上的虚拟世界，另一只眼睛看到 的是真实世界）。 . 基于光学透视式头盔显示器的系统。 . 基于视频透视式头盔显示器的系统。 增强式虚拟现实系统的目的是简化用户生活，把虚拟信息带到用户周围的环境中，增 强用户对现实世界的感知和交互。常见的实例是医生在进行虚拟手术中，戴上可透视性头 盔式显示器，既可看到做手术现场的情况，也可以看到手术中所需的各种资料。AR技术 在教育、娱乐、艺术和科学等领域有巨大应用前景，目前它的全面影响刚开始显现。 1.2.5 分布式虚拟现实系统 分布式虚拟现实系统（Distributed VR System）是VR技术与互联网技术发展和结合 的产物，是一个在网络的虚拟世界中，位于不同物理位置的多个用户或多个虚拟世界，通 过网络连接成共享信息的系统。分布式 VR 设计的想法非常简单：模拟出的虚拟世界不是 在一个计算机系统上运行，而是在多个计算机系统上运行。这些计算机通过网络连接，使 用这些计算机的人能够实时交互，共享同一个虚拟世界。理论上，人们可以坐在伦敦、巴 黎、纽约的家中，在 VR 中以有意义的方式进行互动，共同体验虚拟经历，以达到协同工 作的目的，它将虚拟提升到一个更高的境界。 分布式虚拟现实的研究开发工作可追溯到20世纪80年代初。在分布式虚拟现实系统 中需要虚拟环境准确有效地远程呈现动画实体，很明显，要实现这一目标需要很高的网络 带宽，这在当时成为分布式虚拟现实系统发展的瓶颈。进入21世纪后，网络带宽的问题 得以解决，分布式虚拟现实系统应用研究成为主流。分布式虚拟现实系统可构建3D协作 环境，供分布式用户相互交互，并完成各种协作任务。现在，分布式虚拟现实系统在远程 教育、科学计算可视化、工程技术、建筑、电子商务、交互式娱乐、艺术等领域都有着极 其广泛的应用前景。利用它可以创建多媒体通信、设计协作系统、网络游戏、虚拟社区全 新的应用系统。 将分布式技术与虚拟现实技术结合，一方面是充分利用分布式计算机系统提供的强大 计算能力；另一方面是有些应用本身具有分布特性，如多人通过网络进行游戏和虚拟战争 模拟等。 分布式虚拟现实系统的特点如下。 . 各用户具有共享的虚拟工作空间。 . 伪实体的行为真实感。 . 支持实时交互，共享时钟。 . 多个用户可用各自不同的方式相互通信。 . 资源信息共享以及允许用户自然操纵世界中的对象。 目前，分布式虚拟现实系统主要被应用于远程虚拟会议、虚拟医学会诊、多人通过网 络进行游戏或虚拟战争模拟（见图1.6）等领域。 图1.6 用分布式VR系统的虚拟战争模拟 1.3 虚拟现实技术的发展历程与未来展望 近几年出现的低成本消费级虚拟现实产品更是将虚拟现实技术迅速推向市场，虚拟现 实在医疗、制造、军事等各行业获得深度开发与应用。核心技术延展性强，应用领域广泛， 使得虚拟现实的技术创新性也使其成为社会关注热点，虚拟现实可能成为下一个技术创新 虚拟现实 技术的发 展历程