在现实世界中,人们习惯于使用手来做动作,感知物质世界和表达思想。例如,见面打 招呼问好,分开时说再见,触摸物体的材质并感受物体的纹理等,每一个动作都是以手作为 支撑,手一直是人类抓取物体与外界进行交互的重要手段。随着科技手段的不断创新和信 息媒介的快速进步,人机交互技术已经正式进入社会化的应用发展阶段。人机交互技术根 据其时间维度和发展进程,可划分为“单击时代”“触摸时代”“声音时代”和“体感时代”四个 时段。“单击时代”也就是通常所说的鼠标、键盘的时代,自从1964 年,美国人道格拉斯·恩 格尔巴特发明了鼠标使得人机交互技术有了突破性的进展,至今为止,鼠标仍然是人机交互 的重要手段,在本书的第2章基础知识中便将Unity3D 中的鼠标、键盘等基本交互方式的 实现详细地进行了介绍。“触摸时代”起始于2007 年乔布斯发布iPhone开始,触摸屏幕的 出现,极大地提升了用户体验。“单击时代”和“触摸时代”共同构成了人机交互技术的过去 和现在。而智能终端的广泛应用,“语音时代”也随之到来,成为最普遍的交互方式之一。虽 然虚拟现实、增强现实、人工智能等技术的迅速发展,人们不断地探讨最新的交互方式,虽然 “体感时代”还并没有真正地到来,人们还不能够在虚拟的环境中形成自然的人机交互,但是 体感设备的发展已经促使其部分功能的逐渐完善和诸多领域的应用。 手势和语音、文字有着相同的功能,能够将人的想法、意图或想要完成的事情清楚地表 达出来,所以它是一种有效的交互手段,能自然、准确地进行人机交互。然而,在虚拟现实技 术发展的早期,由于技术不成熟,软硬件设备发展缓慢,主要是缺乏必要的人机交互接口,人 们只能通过键盘、鼠标、手柄这些外接设备来操纵计算机生成的虚拟物体,大大降低了操作 者的沉浸感、自然感,不仅不能激发使用者的兴趣而且也限制了操作者的活动能力。随着电 子技术的不断进步,基于如数据手套这样专用硬件设备的手势识别逐步过渡到以计算机视 觉为基础的手势识别。特别是随着HTCVive虚拟现实设备的发布,基于HTCVive虚拟 现实设备的研究也随即展开。HTCVive虚拟现实设备是应用程序的耳朵和眼睛,HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验:一个头戴式显示器、两个单手持 控制器、一个能于空间内同时追踪显示器与控制器的定位系统。其中HTCVive虚拟现实 158 设备组成如图5. 1所示。 图5.1 HTCVive虚拟现实设备 教学的重点和难点 .HTCVive虚拟现实设备开发环境的配置; .HTCVive虚拟现实设备和Unity3D 连接; .利用HTCVive虚拟现实设备内置的函数在Unity3D 环境中进行开关门操作并进 行相关的案例设计制作开发。 学习指导建议 .重点掌握通过HTCVive虚拟现实设备进行开关门交互操作; .通过了解虚拟现实设备、虚拟现实设备环境配置以及与Unity3D 进行的连接,进一 步练习结合动画、位置识别以及手部角色跟随等核心功能进行项目构建; .重点掌握使用HTCVive虚拟现实设备的方法,在项目中进行基础的交互设计,同 时进行相关编码练习,以熟练使用。 5. 1 HTCVive虚拟现实设备开发环境配置 视频讲解 5.1 HTCVve虚拟现实设备介绍 1.i HTCVive虚拟现实设备是由HTC 与Valve公司联合开发的一款VR 虚拟现实头盔 产品,通过一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制 器的定位系统致力于给使用者提供沉浸式体验,并且实现即时动态捕捉、影像辨识、麦克风 输入、语音辨识、社群互动等功能,从而更好地辅助体感游戏增强游戏体验。 由于有Valve公司的SteamVR 提供的技术支持,因此在Steam 平台上已经可以体验 利用Vive功能的虚拟现实游戏。因而更加拓宽了HTCVive的应用范围,在人工智能、人 机交互和体感互动等领域均受到了追捧,除了对于体感游戏的开发,在医疗应用、军事仿真、 人工智能、虚拟现实、贸易利用、机械加工等领域也蕴藏着潜在的价值,其独特的表达形式和 语言让更多的艺术家和工程师致力于创造和开发。HTCVive虚拟现实设备从最初给游戏 159 用户带来沉浸式体验,延伸到可以在更多领域施展想象力和应用开发潜力。一个最现实的 案例是,可以通过虚拟现实搭建场景,实现在医疗和教学领域的应用。例如,帮助医学院和 医院制作人体器官解剖,让使用者佩戴VR 头盔进入虚拟手术室观察人体各项器官、神经 元、心脏、大脑等,并进行相关临床试验。 HTCVive虚拟现实设备的硬件包括头戴式设备、头戴式设备连接线、串流盒、MiniDP 转DP 转接器、18WAC 适配器、0连接线。新一代的HTCViePro2 DP 连接线、USB3.v 虚拟现实设备除了在外形上的变化之外,其性能也进行了大幅度的优化,其分辨率从HTC Vive的2160×1200 像素提高到2880×1600 像素,屏幕采用低延迟的三星OLED 面板,大 大减少了VR 画面模糊感。并且HTCVivePro也找到了全新的无线方案,其全新无线适 配器采用英特尔公司的WiGig技术(60GHz 频段), 并且可以轻松安装在新头显上,让玩家 在VR 体验时可以更加轻松自在。 在以下的操作中均将采用HTCVivePro2 虚拟现实设备来进行。 1.基础参数 5.2 HTCVive虚拟现实设备的技术核心之一是沉浸式位置还原技术,利用其自带的头盔 设备以及定位器可以有效地获取使用者及其周围环境的信息,再加上其内置摄像头,就可以 精准还原用户位置并且精准检测到用户的动作变化,进而在可视界面内进行相关位置调整。 经过位置精准定位,以及动作实时捕捉检测后,通过头盔显示出虚拟场景,以及等比例还原 用户高度。再经过设备升级迭代后,HTCVivrtamVR1. ePo虚拟现实设备可以兼容Se0 和2.0追踪规格,可以通过基站扩展的方式,将定位空间增加到10×10 米。并且HTCVive Pro采用内置耳机、降噪麦克风和双摄像头,其中不仅耳机可以选择性降噪并且回馈身边真 实的声音,而且在目镜前方加入了两个传感器,进而能够辅助玩家在不摘头盔的情况下对周 围空间轮廓有一个把控。以下是HTCVive虚拟现实设备和HTCVivePro虚拟现实设备 的参数配置。HTCVive虚拟现实设备和HTCVivePro虚拟现实设备参数配置的比较如 表5. 1所示。 表5.参数配置的比较 1 HTCVivePro HTCVive 显示屏AMOLED OLED 分辨率2880×1600 像素(615PPI) 2160×1200 像素(448PPI) 刷新率90Hz 90Hz 平台SteamVR 、Viveport SteamVR 、Viveport 视野110 度110 度 定位区域100 平方米15×15 英尺(4.6×4.6米) 与PC 连接方式有线、无线(需适配器) 有线、无线(需适配器) 内置音频是,头戴耳机/嵌入式放大器是,DeluxeAudioStrap 内置麦克风是,双是,单 160 续表 HTCVivePro HTCVive 控制器 传感器 第一代Vive控制器,支持新一代Vive控 制器和兼容PC 的手柄 加速计、陀螺仪、Lighthouse激光定位系 统、双前置相机 第一代Vive控制器、兼容PC 的手柄 加速计、陀螺仪、Lighthouse激光定位系统、 前置相机 连接USB-C3.0、DisplayPort1.2蓝牙HDMI 、USB2.0、USB3.0 5.3 运行环境配置 1. (1)到官网下载Steam 客户端,Ste2所示。官网网址详见前言二维码。 am 官网如图5. 图5. 2 STEAM 官网 (2)单击“安装STEAM”按钮,下载应用程序,如图5. 3所示。 图5.下载应用程序 3 161 (3)下载完成后,双击文件夹内se出现如图5.team 安装界 面,开始进行应用程序安装。 tup安装程序后,4所示的S 图5. m 安装界面 4 Stea (4)单击“下一步”按钮后,进行Steam 环境选择,选择“简体中文”选项后,单击“下一 步”按钮, team 环境选择,Ste5所示。 完成Sam 环境选择如图5. 图5. m 环境选择 5 Stea (5)单击“下一步”按钮后,进行Steam 安装位置选择,在计算机内选择一个合理位置进 行Steam 软件安装,Ste6所示。 图标,运行Steam 软 am 安装位置选择如图5. (6)单击“安装”按钮后,开始进行Steam 安装,安装完成后双击 件后进行注册,完成后输入个人账户名称和密码后登录,7所示。 登录界面如图5. (7)登录成功后,在“商店”面板中的搜索框内输入SteamVR,输入完成后单击输入框 后面的放大镜按钮,进行SeSe8所示。 tamVR 的搜索与下载,tamVR 的搜索与下载如图5. 所示。 (8)搜索成功后,选择SamVR 选项,单击进入SamVR 程序,选择SamVR 如图5. tetete9 所示 ( 。 9)进入程序后单击“启动”按钮即可运行SamVR 程序,运行SamVR 如图5. tete10 162 图5. m 安装位置选择 6 Stea 图5.登录界面 7 图5.mVR 的搜索与下载 8 Stea 163 图5.选择S 9 teamVR 图5.运行S 10 teamVR (10)程序运行成功后,开始进行HTCVio2 虚拟现实设备连接,接线说明如图5. vePr11 所示,将HTCVivePro2 虚拟现实设备与主机正确连接后,启动SteamVR,连接成功后界面显 示如图5. 12 所示。 (11)连接成功之后,单击左上角 amVR 房间环境选择如图5. 按钮,SteamVR 设置如图5. 13 所示。单击后会出现房 间设置窗口,只需要根据当前环境情况选择环境即可,Ste14 所示。 (12)房间设置完成后,出现如图5.根据面板上的操作提示将 15 所示的建立定位面板, 头戴式显示器放置到可以见到定位器的位置即可建立好定位,单击“下一步”按钮即可。 164 图5.接线说明图5.连接成功显示 11 12 图5.mVR 设置 13 Stea 图5.mVR 房间环境选择 14 Stea (13)房间设置完成后,出现如图5.根据面板上的操作提示将头 16 所示校准空间面板, 戴式显示器放置到合适位置后,单击“校准中心点”按钮,进行空间位置校准。 (14)校准空间完成后, 17 所示校准地面面板, 出现如图5.根据面板上的操作提示将头 戴式显示器放置到地面上校准地面,单击“校准地面”按钮,进行地面位置校准。 165 图5.建立定位面板 15 图5.校准空间面板 16 图5.校准地面面板 17 166 (15)全部完成后,单击“完成”按钮即成功完成了HTCVivePro2 头盔硬件的接入,以 及部分环境配置。完成校准如图5. 18 所示。 图5.完成校准 18 (16)接入完成后,单击设置面板左上角 配对控制器。配对控制器如图5. 按钮,执行“设备”→“配对控制器”命令开始 19 所示。 (17)选择完成后根据面板提示,长按控制器菜单键和系统键至控制器开始闪烁蓝灯, 当蓝灯变绿时完成控制器配对。开始配对如图5. 20 所示。 图5.配对控制器图5.开始配对 19 20 (18)完成其中一个控制器配对后,按照同样的方法配对另一个控制器,全部配置完成 后,单击“完成”按钮,HTCVivePro虚拟现实设备的运行环境全部配置完成。配对选项如 图5. 21 所示。