多模态反馈技术
第5章
CHAPTER 5
5.1多模态反馈技术概述
传统的VR系统的反馈输出主要基于视频和音频的方式。随着智能技术和计算能力的迅猛发展，基于听觉、嗅觉、触觉、味觉等多模态融合输出成为新一代VR技术的重要优势，也代表着未来的发展趋势。融合视觉、听觉、触觉、嗅觉甚至味觉的多模态反馈方式，其信息表达效率和用户沉浸感都优于单一的视觉或者听觉模式。多模态感官与单一模态感官不同，这意味着两种或更多种感觉对刺激做出反应。这种多感官联合被称为通感，通感是一种神经学现象，指一种感觉形态刺激引起另一种感觉形态，从而产生感官互通的现象，文学记录最早见诸1880年《自然》杂志的一篇论文中，中国文化中的望梅止渴、画饼充饥等故事描述的也是这一现象。通感现象的存在，可以指导VR系统实现更具沉浸感的用户体验。在视觉反馈之外，其他模态的反馈，包括听觉、触觉、嗅觉、味觉，能够增强其他模态的感受，进而提供更真实的用户体验。
观看视频
5.2听觉
音频VR作为VR的组成部分和延伸，通常指的是真实空间的声音和预置的音频实时融合的技术。有研究表明，在VR场景下提供3D立体声效将提高用户对深度的感知能力，进而提高任务的完成效率。需要注意的是，音频VR在大多数情况下不能完全隔绝外界声音，即不能和真实世界相隔离。而构建和真实世界紧密结合的声音，就需要考虑地理位置，即人和周围3D空间的位置关系。
5.2.1听觉机制
人的耳朵包括外耳、中耳与内耳(见图5.1)。具体而言，各部分的结构与功能在于：
图5.1耳朵结构示意图
(1) 外耳包括耳廓和耳道。耳廓收集和过滤声音到耳道。耳道负责传导声音。
(2) 中耳包括耳膜和听小骨。耳膜，也叫鼓膜，将声音转换为机械振动。三块听小骨，也叫听骨链，包括锤骨、砧骨和镫骨，将振动传递到内耳。
(3) 内耳，包括耳蜗、听觉神经和前庭系统。耳蜗充满液体和非常敏感的毛状细胞。当受到声音刺激时，这些纤小的毛状细胞也开始运动。听觉神经连通耳蜗和大脑。前庭系统充满着控制人体平衡的细胞。
内耳外淋巴的振动引起膜蜗管中内淋巴、基底膜的振动，从而使螺旋器上的毛状细胞兴奋。螺旋器和其中所含的毛状细胞是真正的声音感受装置，听觉神经纤维就分布在毛状细胞下方的基底膜中； 机械能最后在这里转变成神经冲动，即毛状细胞的兴奋引起听觉神经纤维产生冲动，并经听觉神经纤维传到皮层的听觉神经中枢，从而引起听觉。此外，当鼓膜振动时，由中耳鼓室内的空气振动椭圆窗也可引起基底膜振动，但这一传导途径正常情况下并不重要，只在听小骨损坏时才显示出其作用。
自然界发出的声音是在真实的3D世界传播，所以是立体声。因为立体声的效果，人可以根据两个耳朵的声音输入，判断声源的方位。例如，从人左前方的声源发出的声音，首先传到左耳，然后才传到右耳； 同时，传向右耳的声音有一部分会被头部反射，因而右耳听到的声音强度比左耳小。人的大脑能够准确捕获两只耳朵对声音强度的微小差别，进而形成对声源方位的判断。
5.2.2VR系统中的声音输出
VR中高真实感的音频输出依赖于立体声道。为了实现立体声，我们一般需要多通道的声音输出设备，既有头戴式的，又有安装在3D空间的。在常见的手机、平板电脑和VR眼镜中，受限于硬件设备的尺寸，一般只有单声道。所有的声音都从一个扬声器放出来，也就缺少了这种立体感。换句话说，用现有的单声道手机想要实现高真实感的立体声是比较困难的。具体来说，一个高质量的音频VR系统需要三个组件： 基础硬件、嵌入式软件和智能音频增强算法。
(1) 基础硬件包括传感器和麦克风阵列。如惯性传感单元IMU和其他的头部追踪设备，用于实时跟踪头部的位置和方向。如果是头显，那么所有这些设备的装配都是在一个非常有限的空间内进行的，还要考虑到功耗低、重量轻等设计要求。
(2) 嵌入式软件。嵌入式软件的作用主要是负责和硬件之间的通信，这些指令包括收集、处理、分析和传输信息，特别是控制麦克风阵列的各通道声音输出。
(3) 智能音频增强算法。智能音频增强算法根据VR中的场景和交互的需要，计算特定的立体声效果所需要的麦克风阵列的各通道声音输出，然后传输给嵌入式软件，用于驱动麦克风阵列。
为了实现立体声的感觉，我们要深入研究头部相关传输函数(Head Related Transfer Function, HRTF)(见图5.2)。这个函数将人的头部看作声波传输过程中经过的一个滤波器，描述了人的生理结构(包括头、耳廓)对声波进行综合滤波的结果。为了实现VR中的立体感声音输出，需要对这个HRTF函数进行建模，才能合成在左右两耳感官正确的声波。
图5.2头部相关传输函数示意图
研究人员曾在一个户外公园场景，让参与者利用头戴式显示器进行声源寻找和自由探索两个任务。研究考虑了三种音频渲染条件： 一种简单的二维立体平移、一种典型的头部相关传输函数，以及一种个性化的头部相关传输函数渲染。研究表明，在产生高质量的声音渲染的条件下，用户对于视觉画面的关注程度降低了。
最近一项研究的核心思想是用一种新颖的反向材料优化算法来估计房间的声学特性(见图5.3)，并证明它能够有效地模拟材料对声音的衰变行为。这项研究允许在场景中添加新声源，例如一个与人交流的虚拟人物，并通过分析房间内物体材料对声音的衰变，更真实地产生叠加后的声音效果。类似于用真实感光线渲染新物体的视觉再现例子，这项研究可以在任何有声音的普通视频中进行录音/制作，并应用于VR的体验。
图5.3基于反向材料优化算法估计的房间声效渲染和分析
观看视频
5.3触觉
触觉是实现高真实感VR的重要感官之一。设想两位好友分别身处北京和厦门，通过VR的技术进行远程会面，当需要握手时，如果仅有视觉上的虚拟图像反馈，而缺少了握手的触觉反馈，那么真实感将大打折扣。本节，我们将探讨在VR中实现触觉反馈的技术。
5.3.1触觉机制
触觉是指分布于全身皮肤上的神经细胞接受来自外界的温度、湿度、压力、振动等方面的感觉。正常情况下，生物的触觉感受器(见图5.4)是遍布全身的，像人的皮肤，依靠表皮的游离神经末梢能感受温度、痛觉、触觉等多种感觉。正常皮肤内分布有感觉神经及运动神经，它们的神经末梢和特殊感受器广泛地分布在表皮、真皮及皮下组织内，以感知体内外的各种刺激，引起相应的神经反射，维持机体的健康。皮肤表面散布触点，触点的大小是不同的，有的直径可以达到0.5mm； 其分布也不规则，一般指腹处最多，其次是头部，而小腿及背部最少。
图5.4皮肤上的触觉感受器
触觉是动物重要的定位手段。大量的生物学实验表明了触觉在生物生命活动中的重要性，例如被剪掉胡须的猫会失去对洞穴尺寸的感知能力。人体表面皮肤中已鉴定为皮肤感觉感受器的有4种触觉小体以及毛根游离神经末梢。压觉感受器帕氏小体也存在于皮下各组织里。对于人来说，构成触(压)觉刺激的为身体表面压力的梯度，所以尖端的接触特别有效(尖端接触面积为0.5平方毫米时，触觉阈值最小)。另外也可以证明，逐渐加压或者长时间的刺激会导致感觉减弱。
5.3.2VR系统中的触觉输出
触觉是VR系统中的关键反馈通道。过去已经探索了几种将触觉反馈集成到VR系统中的方法。在许多情况下，触觉反馈系统是用户界面控件的一部分，例如操纵杆或机械跟踪系统中的集成力反馈或游戏手柄中的振动反馈。另外，还开发了可穿戴系统，例如震动背心、震动耳机和力反馈外骨骼，从而能够向用户提供触觉信息。
Phantom触觉界面可在用户指尖位置施加精确控制的力反馈。该设备能使用户与各种各样的虚拟对象进行交互并感受到它们，还可以用于控制远程操纵器。此前芬兰的一家公司Senseg推出了一款新的触控屏。该触控屏通过屏幕表面的静电场模拟手指和屏幕间的各种不同摩擦，让用户产生不同的材质纹理感觉，包括碎石、包装材料、砂纸等。该触控屏的反馈不依赖任何运动部件，与由触碰引发设备震动的传统方式有很大不同。
使用触觉反馈设备可以改善聋哑人士和听力障碍人士的VR体验(见图5.5)。这类人可以用自己的骨骼和肌肉感受到声波(音频低音波)。此外，一些研究表明，人们可以用肌肉和面部感觉到声音和触觉提示。
图5.5面向聋哑人士和听力障碍人士提供的面部触觉反馈设备
触觉直接影响用户与物体交互的舒适感，帮助用户在与物体交互时调整握力或感知周围环境和物体，避免危害健康。现有研究表明，皮肤不具有独立的湿度感应器。皮肤对湿度的感应来自温度、压力和材质等多种感官。研究人员设计了原型Mouillé： 当用户挤压、提起或刮擦它时，它可以在指尖上分别为硬质和软质物品提供不同程度的湿度感觉(见图5.6)。
图5.6湿度感觉调节机器 Mouillé
AIREAL是一种新颖的触觉技术(见图5.7)，可在自由空气中提供有效且富有表现力的触感，无须用户佩戴物理设备。结合交互式计算机图形，AIREAL使用户可以感觉到虚拟3D对象，体验自由的空气纹理并接收到在自由空间中使用的手势所带来的触觉反馈。AIREAL依靠柔性喷嘴引导产生空气涡流，提供具有75°视场的有效触觉反馈，并且在1米处的分辨率为8.5厘米。AIREAL是一种可扩展、廉价且实用的免费无线触觉技术，可用于多种应用程序，包括游戏、移动应用程序以及手势交互等。
图5.7虚拟3D感应技术 AIREAL
UltraHaptics系统旨在提供交互式表面上方的多点触觉反馈(见图5.8)。UltraHaptics采用聚焦超声波，通过显示屏将触觉反馈的离散点投射到用户的手上。研究者研究了超声波聚焦的理想特性，能够在空中建立多个局部的反馈点。用户实验表明，该系统可以以较小的间距识别具有不同触觉特性的反馈点，用户可以通过训练区分非接触点的不同振动频率。
图5.8多点触觉反馈UltraHaptics系统
另外，一些研究人员设计了一种手套，在手指和手掌上装有5个可膨胀气囊、2个温度室以及气动和热控制系统(见图5.9)。该系统通过将室温空气与热室和冷室空气混合，可以实现不同强度的热信号。除了模拟不同温度下的虚拟物体外，还可以模拟手与物体接触时的热瞬态过程，提供不同材料抓取物体时的热感觉，支持虚拟物体中用户的物质识别。
图5.9提供温度反馈的手套原型以及效果示意
一项研究还为精确的输入交互提供了指尖上的力反馈，研究者将用户的手指与他们的身体连接起来，用一个绳子作为手指运动的约束，从而获得物理支持。当触摸到绳子的最大延伸端点时，用户在手指上感知到物理支持，此时物理支持为触摸交互提供稳定输入和触觉指导(见图5.10)。这种力反馈可以帮助用户在静态和移动的情况下进行精确的触摸交互(例如走路)，它还可以告诉用户已经到达并单击了空中目标。这项工作的最终目标是在混合现实的移动环境中支持精确的触摸输入选择。
图5.10精确的指尖力反馈交互
最近还有一项研究提出了一种易于复制的手套系统，能够可靠地实现高真实感的抓取手势，同时提供了触觉反馈。该设计方案由15个惯性传感单元和Vive跟踪器进行手势定位和跟踪，同时基于物理仿真进行检测碰撞，获取抓取虚拟对象的接触点，并触发震动电机以提供触觉反馈，提供虚拟世界中的碰撞事件，如图5.11所示。
图5.11高真实感的抓取手势及触觉反馈
观看视频
5.4嗅觉
嗅觉对VR的体验有着非常重要的作用。嗅觉是人类和动物用来全面了解其环境的最重要的感觉通道之一。不同的气味与人类的生理、行为和心理变化有关，这些变化与嗅觉记忆有关。通过刺激人的嗅觉，可以使人对虚拟世界的感受变得更加真实。
5.4.1嗅觉机制
人类鼻子由左右两个鼻腔组成，这两个鼻腔通过鼻孔与外界相通，左右两个鼻孔由鼻中隔隔开(见图5.12)。整个鼻腔内壁以及鼻中隔表面都覆盖着黏膜，这些黏膜就是接受嗅觉刺激的重要生物组织。嗅觉感受器位于鼻腔顶部，叫作嗅黏膜，这里的嗅细胞受到某些挥发性物质的刺激就会产生神经冲动，冲动沿嗅神经传入大脑皮层而引起嗅觉。它们所处的位置不是呼吸气体流通的通路，而是被鼻甲的隆起保护着。带有气味的空气只能以回旋式的气流接触到嗅觉感受器，嗅觉是由物体发散在空气中的物质微粒作用于鼻腔上的感受细胞而引起的。
图5.12鼻子结构示意图
嗅觉由位于嗅觉细胞树突末端的嗅觉纤毛所接受，然后传送到细胞质，接着到达神经元的输出延伸物——轴突。轴突会穿越筛骨板与前脑叶下侧的两个嗅球会合，嗅球本身通过嗅脚与大脑相连； 嗅神经就是在此开始分支，往内嗅中枢和外嗅中枢分布，直到大脑的嗅觉区里。真实世界中大约有40万种气味，人的鼻子可以识别大约1万种气味。
5.4.2VR系统中的嗅觉输出
迄今为止，相比视觉和听觉，嗅觉没有很好的数字化呈现。例如，打开一个美食节目，我们还是只能看到画面和听到声音，至于最重要的气味，我们却感受不到。为什么？事实上，难点在于嗅觉和视听觉的作用机制是不一样的。视觉和听觉依靠的是对电磁波和声波的反应，可以很容易地用能量激发出光和声，但是嗅觉、触觉和味觉依靠的是与真实物质接触。相对来说触觉还好，是与宏观物质的机械作用，而嗅觉和味觉则需要与分子层级的化学物质相互作用才能感知到。
如果要实现VR中的嗅觉体验，常见的方法是像打印机的墨盒一样，先将气味对应的化学物质储存起来，待产生时再通过气流鼓吹等方式释放。在释放时，可以通过一定比例混合、控制释放的强度与速度等参数，从而模拟出不同的味道。这时，一台嗅觉发生设备更接近于一瓶可以释放出各种气味的香水瓶子。研究人员也制造过一种接近鼻子的嗅觉显示器，它可以通过一种轻便、时尚的日常穿戴设备(见图5.13)，缩短气味传递距离，直接将气味释放到佩戴者的鼻子上。
图5.13接近鼻子的嗅觉显示器
人类最多能辨别一万种气味，但通常闻到的气味也只有几百种。目前市面上在做嗅觉传递方面的公司大多都是通过某种设备，事先在该设备中保存了几百种气味，把感受到的气味转化为电信号，然后传递到储存气味的盒子中，再释放相似的气味。有一款产品叫Feelreal，它就包含所谓的“气味生成器”，其中包含9个独立芳香胶囊的可更换墨盒，如烧焦橡胶味、火药味、薰衣草味和薄荷味。不过，开发商计划提供多达255种味道以支持用户自行混搭和匹配。最近的一项研究还使用了流体动力学原理来计算制备虚拟的嗅觉环境。使用微型分布器和表面声波设备组成可穿戴式嗅觉发生器(见图5.14)，可穿戴式嗅觉发生器安装在头显下方，可迅速散发气味。
图5.14可穿戴的嗅觉显示器
对于电影来说，在剧情出现适合的气味时，带有香味的电影就可以控制观众对场景的印象。带有气味的游戏则能增强用户与游戏中的互动性。2013年4月1日，谷歌推出了Google Nose。通过该功能，用户可以搜索气味，谷歌通过搜索则将数据库中的气味通过设备释放出来。例如，用户搜索“四川大熊猫”，就可以闻到大熊猫的味道。然而这只是谷歌在愚人节开的一个小玩笑。然而，很多公司和研究人员正在将这个看似无厘头的玩笑变成真正的现实生活，例如，1960年上映的第一部结合气味来讲述故事情节的电影Scent of Mystery、允许一般用户自行制作的气味发生面罩Synesthesia Mask(见图5.15)、与智能手机结合的气味发生装置Scentee、可穿戴的个性化气体发生装置eScent等。嗅觉提示对带有硬件远程气味设备Scentee的移动设备上数字图像的情感感知有一定的影响。初步结果表明，气味的添加显著调节了人类对图像的情感感知。
图5.15气味发生面罩Synesthesia Mask
这种气味释放的方案优点是技术难度相对较低，大众接受度与安全性都很高。缺点是需要隔段时间就给气味盒添加气味，局限性也很大，如很难准确地把闻到的一种特定的味道分享给他人。而且设备体积不够小巧，只能在实验室或者电影院中当作体验项目。另外一种方法是直接通过脑机接口技术，将电信号激励设备与大脑对应的嗅觉区域神经相连接，依靠设备刺激大脑皮层中相应的嗅觉中枢，从而产生嗅觉。这种方式可以把嗅觉数字化，像视觉和听觉一样把嗅觉用数字编码的形式存储、传输、分享，真正让别人做到一模一样的“感同身受”。
观看视频
5.5味觉
味觉是指物质对人口腔内的味觉器官化学感受系统施加刺激并产生的一种味蕾上的感觉。味觉是人类的一种重要的感官，在VR中，如何让用户不仅看到食物，还要让用户品尝到味道，这是一件非常困难的事情。但毫无疑问，VR应用中，味觉也是多模态反馈的重要渠道之一。
5.5.1味觉机制
不同的味觉产生不同的味觉感受体，味觉感受体与呈味物质之间的相互作用也不尽相同。虽然我们描述味道通常会用酸甜苦辣，但是最基本的味觉是酸、甜、苦、咸4种。生活中还有许多的味道，都是由这4种基本味道组成的。当味觉刺激物随着溶液刺激到味蕾时，味蕾就将味觉刺激的化学能量转化为神经能，然后沿舌咽神经传至大脑翻译神经信号后返回，从而产生味觉。由于味道多种多样，舌头各部位对于不同味道的刺激感受也是不同的，分别是舌尖对甜、舌边前部对咸、舌边后部对酸、舌根对苦最敏感。婴儿有10000个味蕾，成人有几千个，味蕾数量随年龄的增大而减少，对呈味物质的敏感性也降低。味蕾大部分分布在舌头表面的乳状突起中，尤其是舌黏膜皱褶处的乳状突起中最为密集。味蕾一般由40~150个味觉细胞构成，大约10~14天更换一次，味觉细胞表面有许多味觉感受分子，不同物质能与不同的味觉感受分子结合而呈现不同的味道。人的味觉从呈味物质刺激到感受到滋味仅需1.5~4.0ms，比视觉13~45ms、听觉1.27~21.5ms、触觉2.4~8.9ms都快。
5.5.2VR系统中的味觉输出
为了给人提供味觉感知，主流方法是向不同位置的味蕾施加不同强度的电流和温度刺激，以此产生不同的味道。真实味觉的模拟，可以用于减肥、过敏、糖尿病管理、饮食疗法和远程用餐等多种情景，例如Project Nourished项目。美国詹姆斯·比尔德基金会(James Beard Foundation)最近推出了Aerobanques RMX项目，这个项目可以允许两个人在两个不同的地方通过VR的方式，实现共同聚餐。在品尝真实的食物的同时，他们也会在虚拟世界看到数字化的食物，达到共同聚餐的目的。但这样的聚餐也不便宜，每个人需要支付125美元的费用。
一家别致的英国酒吧推出了Vocktails，消费者会认为自己正在享用的白水是真正的酒水。一种特制的玻璃杯会把气味喷射到饮用者的脸上，并利用舌头上电脉冲来刺激味蕾，掩盖饮用物的真实气味和味道。这种玻璃杯专门用来混淆用户的视觉、嗅觉和味觉，这个玻璃杯能够让白水品尝起来就像是威士忌或酒水，实现类似酒精的味道。饮用者可以通过一款手机应用来控制相关的功能，通过手机应用来控制玻璃杯释放香味并刺激饮用者的味蕾，就能调配出各种鸡尾酒。这项发明围绕马蒂尼玻璃杯设计，并且在3D打印的杯座搭配了3个气味筒和3个微型气泵。这种“气味分子”可以改变饮用者对味道的感知。例如，用水果香味来模拟酒水，或者用柠檬香味模拟柠檬水。玻璃杯上的两个电极条设置在边缘，它们可以发出电脉冲刺激味蕾并模拟不同的味道，例如，180μA可以模拟酸味，40μA是咸味，80μA则是苦味。
2003年，Food Simulator在计算机图形学顶级会议SIGGRAPH中首次亮相。参与者在他们的嘴里放上连着吸管的一个由薄纱包裹着的电动机械设备(见图5.16)。向下咬的动作会触发这个设备快速地收缩，并向参与者的嘴里射出带有某种食品味道的化学物质。
图5.16用户体验产生味觉反馈的电动机械设备
2020年在人机交互会议CHI上，研究人员展示了一种类似棒棒糖的装置(见图5.17)。装置顶部有5个接触点，它们分别是5种不同的电解质凝胶： 红色的是甘氨酸，能制造甜味； 黄色的是柠檬酸，能制造酸味； 黑色的是氯化钠，能制造咸味； 棕色的是氯化镁，能制造苦味； 紫色的是谷氨酸钠，能制造鲜味。这些凝胶还各自连接了一个电阻，通过它们就可以调节电流，控制释放味道的浓度。让其中一些味道变浓，另一些味道变淡，从而组合出更丰富的口味。简单地理解，就像我们用三原色也能调出其他的颜色一样。
图5.17用于实现味觉反馈的特殊装置
5.6实践环节——添加音频反馈
在多模态反馈技术中，听觉(5.2节)是主流设备都支持的，因此本书案例在此采用听觉作为实践部分的练习。部分商业产品支持振动式的触觉反馈，有条件的读者亦可以将触觉反馈(5.3节)加入到案例中，预期可以进一步增强VR系统的用户体验。我们期待在未来，可以有额外的嗅觉和味觉体验。
本节将为目前已有的游戏内容加入音效。首先导入图5.18所示的音频文件。
图5.18音频资源
5.6.1主界面音效的添加
接着我们查看框架文件audioManager.ts第81行起定义的playSound()函数。该函数接收一个音频文件的文件名，播放资源目录“audio/sound/”中的同名音频文件，即我们刚刚导入的资源。我们只需要在进行相应过程的函数时调用该函数播放音频资源即可。
在homePanel.ts脚本的onBtnSettingClick()函数中，添加代码(并导入所依赖的库)： “AudioManager.instance.playSound("homePanelClick")；”。
5.6.2玩家音效的添加
(1) 添加玩家走路音效： 在playerModel.ts中声明变量： “private_stepIndex:number=0;”。接着在脚本中的onFrameRun()函数中，声明和定义如下函数：
1.public onFrameRun () {
2.this._stepIndex = this._stepIndex === 0 ? 1 : 0;
3.AudioManager.instance.playSound(Constant.SOUND.FOOT_STEP［this._stepIndex］);
4.}
接着通过动画编辑器在player01预制体body节点的run动画上004、014上绑定onFrameRun()函数。
(2) 添加玩家技能释放音效： 在player.ts的initArrow()函数中，添加代码
AudioManager.instance.playSound("loose");
(3) 添加玩家被击中时音效： 在player.ts的reduceBlood()函数中，添加代码
AudioManager.instance.playSound("hitPlayer");
(4) 添加玩家死亡时音效： 在player.ts的showDie()函数中，添加代码
AudioManager.instance.playSound("player01Die");
5.6.3怪物音效的添加
(1) 添加怪物被击中时音效： 在monster.ts的playHit()函数中，添加代码
AudioManager.instance.playSound('hitMonster');
(2) 添加怪物死亡时音效： 在monster.ts的showDie()函数中，添加代码
AudioManager.instance.playSound(${this.node.name}Die);
5.6.4怪物技能音效的添加
添加怪物技能音效： 在图5.19所包含的怪物技能脚本的init()函数中，按照技能对应的音频文件名，添加代码 AudioManager.instance.playSound('技能音频文件名')。具体的音频文件名包含energyBall、tornado、jetFire、laser、fireBall、fireBallBig。
图5.19需添加音效的技能代码
5.7小结
虽然视觉是我们最重要的感觉，但是五种感觉的共同存在才让我们感知到了鸟语花香，酸甜苦辣。从刺激源到感受器的刺激链条上，听觉和视觉是投入最小、效果最好的模态，也是现在VR技术里最关注的两个模态。其他感觉，如触觉、嗅觉、味觉等，模拟成本极高，近期比较难实现大规模、高真实感的体验。但终极的VR体验将包含所有的感觉，包括触觉、嗅觉、味觉，而相关行业和社区一直在不断探索相关的实现方式。若是要在VR的场景中复现一个逼真的用户体验，上述的多模态输出都是缺一不可的。
本章以听觉为例，展示了在应用中融入声音反馈的案例，期待在后续伴随硬件的发展，触觉、嗅觉等更多模态的反馈可以让消费者体验更真实的VR应用。
习题
1. 针对文中提到的多感官反馈，分析已有工作的方法和结果，阐述其优点及不足。
2. 针对本章中所涉及的听觉、触觉、嗅觉、味觉，为每一种感官模态提出一种适合的应用场景。
3. 结合两种甚至多种感官模态，提出一种适合的应用场景。
4. 尝试针对一种感官机制，设计可以产生该感官反馈的硬件发生装置，并通过互联网调研是否能够购买相应的零部件。建议参考相关的文献资料。
5. 面向移动端平台，分析哪种感官反馈最有可能得到大规模应用，并阐述原因。