前言 设想一下,当高铁线路选址人员进行实地考察时,面对幽深的峡谷,如果原建设方案中设计的大桥腾空而起,呈现在设计人员眼前,而且可在现场从不同的视角进行观察,必然能够更好地论证原选址方案的合理性。同样地,当游客来到一个文化遗址观赏古代遗留下来的壁画时,面对岩壁上褪色、缺损和脱落的壁画,不免心生遗憾。这时若采用某种显示模式,使呈现在游客眼前的壁画恢复原作的风貌,甚至使壁画中的人物鲜活地动起来,则可使游客眼前一亮,大大增强他们的文化体验感。上面介绍的场面正是增强现实的典型应用场景。通过运用增强现实技术,可以使车展中心无须耗费大量的精力去调集、陈列各种不同的豪车,随着销售员绘声绘色的讲解,一辆辆展车会实时地呈现在观众的眼前,其光影效果跟真实的展品一模一样,观众可以看到展车周围的现场实景,大大提升了展示效果的真实性。在不远的将来,增强现实技术还能让远程的朋友瞬间出现在眼前,相聚在同一间办公室,愉快地交谈和讨论问题。 以上应用场景通过将虚拟景物无缝地嵌入现实场景中,大大增强了虚拟景物存在的真实感,扩展了人们对现实场景的体验和认知。这种真实感体现在虚拟景物与现实场景的空间一致性、光照一致性和交互一致性。由于计算机与现实世界存在的巨大鸿沟,这种一致性需要通过复杂计算和设备的支持方可实现。 尽管国内外对增强现实技术的研究如火如荼,但迄今为止,增强现实技术的教科书并不多见。为此,我们编写了本书,作为高年级本科生、研究生,以及一般从事科研和开发的工程人员所使用的入门教材。 增强现实技术中所涉及的基本理论和算法涉及空间注册、相机定标理论及满足精度、速度和稳定性的实用算法。作为一本面向工程应用的书籍,我们不准备向读者介绍其中艰深的定标、跟踪、重建等理论,而仅对基本模型及计算策略进行比较详细的叙述,以便读者可以把握技术的现状,并将这些技术应用到与增强现实相关的工作中。此外,本书将从基础内容开始讲述相关算法,以免读者反复查阅参考文献。增强现实中的呈现设备也非常重要,但是涉及光学、电子、机械等多个学科的内容,因此不作为本书的主要内容。 本书汇聚了增强现实前沿的、核心的基础算法。全书共分为11章。第1章概述增强现实技术的全貌,介绍增强现实的基本概念、简史、呈现模式、应用领域及与虚拟现实的关系。第2章介绍空间几何的表示及其变换关系、相机的几何模型及如何通过单幅图像来恢复相机的内、外部参数。第3章讲述通过平面标志实现空间注册的增强现实方法,并介绍主要的实验工具,读者借此即可实现简单的增强现实算法。第4章讲述增强现实中如何通过空间点定位来实现空间注册与定位,并简要介绍常用的传感器技术及系统。第5章介绍图像中的特征检测、匹配的基础理论和方法,为基于视觉的空间注册技术奠定基础。第6章主要讲述基于视频序列的静态场景定标理论和方法,介绍相机的多视角几何模型及静态场景的有限重构技术,通过立体视觉、多视点几何及深度图等,重构现实场景中与虚拟物体发生关系的部分。第7章讲述虚实环境融合一致性的基本概念与特点,简要介绍真实感绘制技术、基于空间注册的遮挡处理及空间增强现实技术。第8章讨论真实场景光照重建的基本方法。第9章讲述虚实场景间的光影交互和融合,特别是虚实场景间阴影、镜面映射交互效果的模拟方法。第10章介绍增强现实中常用的图像融合方法,以获得画面视觉的良好效果。第11章简要介绍增强现实环境中的交互技术,讲述用户与虚拟物体的交互手段,以及虚拟物体与现实场景的交互方法。在每章的后面,概要地列出了相关主题在近年的研究成果,并给出了相关文献。为了让读者加深理解,每章的最后给出了一些习题。 本书可作为48课时的教学安排,也可作为32或64课时的教材。作者制作了相应的教学PPT,供教师授课时选用。本书采用分工合作的方式编写,第1、2、4、6、11章由山东大学软件学院秦学英撰写,第3、5、10章由山东大学计算机学院钟凡撰写,第7~9章由四川大学计算机学院刘艳丽和邢冠宇撰写。浙江大学CAD&CG国家重点实验室彭群生参与了本书的策划和组织,提出了许多重要的建议,并审定了全书的内容。在本书的编写过程中,姜新波、李佳宸参与了本书的插图绘制和文稿整理。 本书由科技部重点研发计划与自然科学基金委资助出版。在本书的编写过程中,得到了同行们的大力支持和指导,在此一并表示衷心感谢! 由于作者水平有限,书中的错误和疏漏在所难免,恳请读者批评指正。 作者2023年1月