认识增强现实技术
项目1
项目介绍
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合
的技术,它广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技
术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,
应用到真实世界中,使得虚拟信息和真实世界信息互为补充,从而实现对真实世界的
“增强”。
增强现实技术在医疗、教育、工业上的各种实际应用,已经证明了该技术作为一种独
特且重要的工具对人类社会产生了深远影响。有学者认为增强现实技术将会成为“更加日
常化的移动设备应用的一部分”。同时,移动增强现实技术的普及和低成本也有助于企业
采用增强现实技术来实现稳定增长。增强现实技术将在制造/ 资源、科技、媒体、通信、
政府(包括军事)、零售、建筑/ 房地产、医疗保健、教育、交通运输、金融服务、公共
事业等各方面都得到应用。
通过本项目的学习,学生可以了解增强现实技术在国内外发展的概况及其核心组成技
术,了解增强现实技术的应用领域及其发展趋势,对增强现实技术建立起一个较为完整的
知识框架。
知识目标
● 了解增强现实技术的定义。
● 了解增强现实技术的特点。
● 了解增强现实技术在国内外发展的状况。
● 了解增强现实技术和虚拟现实技术的区别。
● 了解增强现实技术的核心技术。
● 熟悉增强现实技术的应用领域。
增强现实引擎技术
2
职业素养目标
● 培养学生对新技术、新知识的探索精神。
● 培养学生利用新技术服务社会的职业意识。
● 培养学生的创造力,使其善于发现和挖掘身边的技术应用场景。
职业能力目标
● 建立增强现实技术知识框架。
● 能够熟练阐述增强现实技术应用场景。
项目重难点
项 目 内 容工 作 任 务建议学时知 识 点重 难 点重要程度
认识增强现实
技术
探索增强现实技术4 增强现实技术概述
增强现实技术的特点
以及核心技术
★★★★★
探索增强现实技术
的应用场景
4 增强现实技术在不同
行业领域的应用
增强现实技术的应用
领域
★★★★☆
任务1.1 探索增强现实技术
任务要求
本任务主要是通过支付宝AR 扫“福”活动操作对增强现实技术进行探索,
从而理解增强现实技术的概念和特点,理解增强现实技术与虚拟现实技术的区
别,熟悉国内外增强现实技术发展过程,理解其核心技术。
建议学时
4 课时。
任务知识
知识点1 增强现实技术概述
一般认为,增强现实技术的出现源于虚拟现实(Virtual Reality,VR)技术的发展,
项目1  认识增强现实技术
3
但二者存在明显的差别。传统VR 技术给予用户一种在虚拟世界中完全沉浸的效果,是
另外创造一个世界;而AR 技术则把计算机带入用户的真实世界中,通过听、看、摸、
闻虚拟信息,来增强对现实世界的感知,实现了从“人去适应机器”到“技术以人为
本”的转变。
支付宝于2017 年春节首次推出的红包活动是“扫福集福”。每年到了春节时期,
支付宝都会发起集福活动,给全国人民和海内外华人带来浓浓的中国年味道,深受广大
网民的喜爱,人们的参与度非常高。该活动至今已举办了7 年,也增加了不少新的玩
法,但通过AR 扫福获取福卡的活动一直保留至今。
1. 增强现实基本概念
增强现实是将计算机生成的虚拟对象、场景或系统提示信息叠加到真实场景中,从
而实现对现实信息的“增强”。增强现实技术是促使真实世界信息和虚拟世界信息进行
综合的一种较新的技术,力图在计算机等技术的基础上,对原本在真实世界中比较难以
体验的实体信息实施模拟仿真处理,然后将虚拟信息内容叠加在真实世界的信息上,并
加以有效应用,由于虚拟信息在这一过程中能够被人类感官所感知,从而实现了一定
程度上超越现实的感官体验。真实环境和虚拟对象之间重叠之后,能够在同一画面及
空间中同时存在。由此,增强现实可以给真实环境提供补充信息,而不是取代真实环
境。在一定程度上,增强现实可以被视作一种混合现实(Mixed Reality,MR),介于完
全虚拟与完全真实之间。本书所讲的增强现实是广泛意义上的概念,其中也包含了混合
现实。
增强现实技术不仅能够有效地体现真实世界的内容,也能够显现虚拟信息内容,这
些内容是相互补充和叠加的。在视觉化的增强现实应用中,用户需要借助头盔显示器
才能体验到真实世界和计算机图形的融合。增强现实技术中主要包括多媒体、三维建
模以及场景融合等多种技术,它所提供的信息内容能在多个方面增强人类能够感知的
信息。
2. 增强现实技术的特点
增强现实技术的特点主要有以下三个方面。
1)虚实融合
增强现实技术的目标就是要使用户感
受到虚拟对象呈现的时空与真实世界是一致
的,做到虚中有实,实中有虚。
虚实融合中的“虚”,指的是用于增强
的信息,它可以是在融合后的场景中与真实
环境共存的虚拟对象。如图1-1 所示,可以
看到虚拟重构的咖啡杯碟、蜡烛、台灯等对
象,也可以看到真实场景中的桌面、人物等
元素,而且虚实对象融合得非常自然。
2)实时交互
实时交互是指用户与附加在真实世界之上的虚拟信息间能够产生自然交互。增强现
图1-1 AR 技术塑造的虚实融合的场景
增强现实引擎技术
4
实中的虚拟元素可以通过计算机的控制,实现与真实场景的互动。首先,虚拟对象可以
随着真实场景的物理属性变化而变化,增强的信息不是独立出来的,而是与用户当前的
状态融为一体。其次,实时交互是用户与虚拟元素的实时互动,也就是说,不管用户身
处何地,增强现实都能迅速识别现实世界的事物,然后在设备中进行合成,并通过传感
技术将可视化的信息反馈给用户。换言之,实时交互使得用户能在真实环境中借助交互
工具与增强信息进行互动。
3)三维注册
三维注册是指计算机生成的虚拟信息合理地叠加到摄像机捕捉的真实环境的图像或
视频上,以保证用户可以得到准确的增强信息。
三维注册需要定位计算机生成的虚拟对象在真实环境中呈现的位置和方向,相当于
虚拟现实系统中跟踪器的作用,主要强调虚拟对象和现实环境一一对应,维持正确的定
位。计算机首先得到用户在真实三维空间中的位置信息,然后实时创建和调整虚拟信息
所要呈现的位置,当用户位置发生变化时,计算机也要实时地获取变化后的位置信息,
再次计算出虚拟信息应该呈现的正确位置。
三维注册技术的本质就是根据用户在真实三维空间中的位置信息,实时创建和调
整计算机生成的增强信息。信息的精准性取决于传感器在真实世界中所获取的信息。
借助三维注册技术,虚拟信息能够实时且正确地显示在终端设备上,从而增强用户的
感知能力。
3. 增强现实技术与虚拟现实技术的区别
增强现实技术发展自虚拟现实技术,两者有一定的共同点,但又有着明显区别。
虚拟现实技术强调把用户与真实环境完全隔离开来,从而使用户完全沉浸于计算机
生成的虚拟环境中;而增强现实技术则强调虚拟物体与真实环境之间的相互融合,它强
调通过虚拟信息对真实环境进行补充,以增强用户对真实环境的感知。
在虚拟现实系统中,注册精度主要是指虚拟环境与用户实际感官知觉的匹配程度;
而在增强现实系统中,注册精度则主要是指虚拟物体与真实环境之间的全方位配准程
度。例如,一位新手在马场以20km/h 的速度练习骑马,在虚拟现实系统中,可以让他
感觉到自己是以80km/h 的速度疾驰,而在增强现实系统中,却只能让他感受到实际的
运动速度是20km/h 的速度。也就是说,虚拟现实系统仅强调感官上的匹配,用户进行
了骑行的动作,在虚拟现实系统中可以实现飞奔的感觉,但在速度上却并不要求与真实
情况一致,而增强现实系统则要求所有维度必须一致。
增强现实技术就是在现实世界里增加虚拟信息,借助计算机图形技术和可视化技术
产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确“放置”在真实环
境中,再借助显示设备将虚拟对象与真实环境融为一体,从而呈现给用户一种感官效果
真实且得到增强的新环境。虚拟现实技术则是一种被完全虚拟出来的世界,只是尽量给
用户真实的感受。从字面上来看,虽说都有“现实”两个字,但是两者的核心技术大不
相同,增强现实技术是将虚拟信息与场景结合,虚拟现实技术的核心则是运算技术。
简单来说,虚拟现实技术所呈现的是完全虚拟的环境,需要借助智能设备来体验;
而增强现实技术是在现实环境中添加虚拟元素,让用户能够在真实环境中看到它们。
项目1  认识增强现实技术
5
知识点2 增强现实技术的发展
2021 年,元宇宙热潮席卷全球。很多人也将2021 年定义为“元宇宙发展元年”。
所谓元宇宙,目前仍没有一个公认的定义,比较有代表性的看法认为,它应该是一种平
行于现实世界而又独立于现实世界的虚拟空间,是映射现实世界的在线虚拟世界,是越
来越真实的数字虚拟世界。
随着元宇宙概念的爆火,作为其沉浸式体验的一种终端设备,AR 眼镜也受到了国
内外各大科技巨头以及风险投资公司的青睐。未来,随着6G、衍射光波导、SLAM 等
AR 核心技术的迭代升级,人类也将迎来虚实结合的数字生活空间,AR 眼镜作为新一
代移动智能终端,将为人们开启前所未有的生活方式,为世界带来更多可能性。
1. 国外发展状况
如同元宇宙概念一样,很多新兴事物都源自于小说,AR 技术也不例外。
1901 年,美国作家莱曼·弗兰克·鲍姆(Lyman Frank Baum)在科幻小说The
Master Key 中,首次描绘出了AR 应用场景。在这部小说中,一位叫罗伯特的小男孩
偶然触碰到了“电之万能钥匙”,由此他可以得到三件礼物,其中一件是一副神奇的眼
镜。戴上这副眼镜之后,眼前看到的人的额头上就会显现一个用以标识该人品行的标
记:如果是好人,会显示G(Good);如果是坏人,则会显示E(Evil)。
这部小说描绘的场景就是现在的AR 应用场景,那副神奇的眼镜不仅能够在现
实中叠加虚拟信息,而且还能进行物体识别,甚至还能实现至今都无法做到的品行
识别。
1996 年,暦本纯一(Jun Rekimoto)开发了NaviCam 增强
现实原型系统,并且改进了二维矩阵标识的设计思想。标识是
一种用于虚实场景融合的真实物体,计算机可以通过该物体确
定数字信息的呈现位置。这种二维矩阵标识是第一种能够实现
摄像机六自由度跟踪的标识物,至今仍在使用,如图1-2 所示。
2009 年12 月,平面媒体杂志Esquire 首次应用 AR 技术,
当把这一期杂志的封面对准笔记本电脑的摄像头时,封面上的
小罗伯特·唐尼就会跳出来和读者聊天,并开始推广自己即将上映的电影《大侦探福尔
摩斯》,如图1-3 所示。这是平面媒体第一次尝试AR 技术来进行营销,期望能够让更
多人重新青睐纸媒。
2015 年, 现象级AR 手游Pokémon GO 是由任天堂公司、Pokémon 公司授权,
Niantic 负责开发和运营的一款AR 手游。在这款 AR 类的宠物养成对战游戏中,玩家需
要捕捉现实世界中出现的宠物小精灵,进行培养、交换以及战斗,如图1-4 所示。
Magic Leap 是AR 领域内一家著名的创业公司,曾于2015 年在YouTube 上发布了
一条视频,迄今为止也是AR 领域内最火爆的视频之一。在该视频中,空旷的篮球场
上,一条巨大的鲸鱼自地板一跃而出,溅起的水花似乎都能触摸得到,而围观的学生们
则惊恐地尖叫,视频截图如图1-5 所示。
图1-2 常见的二维标识
增强现实引擎技术
6
图1-3 应用AR 技术的Esquire 杂志封面图1-4 AR 手游Pokémon GO
图1-5 Magic Leap 发布的视频截图
2021 年10 月28 日,美国著名社交媒体平台Facebook 在Connect 大会上宣布,
Facebook 正式宣布公司改名为Meta,将业务聚焦于发展元宇宙。此举在全球科技界引
起广泛的关注。
苹果CEO 库克在2023 年的苹果全球开发者大会(WWDC)上发表演讲提出:
“Mac 将我们带入个人计算时代(Personal Computing),iPhone 将我们带入移动计算时代
(Mobile Computing),Apple Vision Pro 将带我们进入空间计算时代(Spatial Computing)。”
空间计算将带来一种全新的人机交互模式,即在真实3D 空间中的人机交互。空间计算
拥有引发新一轮应用浪潮的潜力,就像当初各种程序自PC 端向智能移动设备迁移那样。
当人机交互方式发生改变之后,应用也会随之而变。基于Vision Pro 空间计算能力加持
下的全新交互方式,应用开发将迎来革命性的创新时刻,进而使得多个领域的工作流程
得以优化升级。
项目1  认识增强现实技术
7
2. 国内发展状况
党的二十大报告指出,加快实施创新驱动发展战略,加快实现高水平科技自立自强,
以国家战略需求为导向,集聚力量进行原创性引领性科技攻关,坚决打赢关键核心技术攻
坚战,加快实施一批具有战略性全局性前瞻性的国家重大科技项目,增强自主创新能力。
国内有关增强现实技术的研究比国外起步晚,不少科研院所也加入了研究行列,经
过多年的发展,取得了长足的进展。北京航空航天大学、北京理工大学光电信息技术与
颜色工程研究所、浙江大学计算机辅助设计与图形学国家重点实验室、电子科技大学
移动计算机研究中心、国防科技大学等高校开展了增强现实技术的系统研究,在增强现
实技术、摄像机校准算法、跟踪注册算法等方面取得了一定成果。其中,北京理工大学
很早就将增强现实技术应用到文物复原中,并在2002 年提出,2006 年正式实施完成运
用增强现实技术重建圆明园的计划,在之后的研究中,北京理工大学还将增强现实技术
应用到模拟军事演练中;国防科技大学对基于增强现实技术的虚拟实景空间的研究与实
现;华中科技大学对基于增强现实的遥控操作关键技术进行了研究,提出了一种基于视
觉的增强现实跟踪注册方法和基于实时标定策略的虚实配准方法,设计了一种基于标识
焦点与全局单应性矩阵相结合的三维注册方法;浙江大学以基于定位标记的视频检查为
基础,从增强现实环境中的阴影生成方法和光线检测算法入手,提出以场景管理为核心
的增强现实软件框架ARSGF。
我国高度重视虚拟现实、增强现实的技术产业发展,结合产业发展的客观规律,在
产业布局、顶层设计、应用发展和核心技术攻关等阶段,通过一系列相关政策的制定,
不断支持鼓励虚拟现实赋能各产业和重点场景,为我国增强现实产业的发展保驾护航。
在“十四五”期间,虚拟现实和增强现实产业被列为数字经济重点产业,继续释放政策
红利。2016 年被称为虚拟现实“元年”,国家为支持虚拟现实和增强现实技术为代表的
新一代信息技术的发展,出台了诸多政策,来促进我国增强现实、虚拟现实产业的发
展。其相关政策和主要内容见表1-1 所示。
表1-1 我国发布的增强现实方面的相关政策
时 间文 件 名 称主 要 内 容
2016 年
《国民经济和社会发展第
十三个五年规划纲要》
大力推进虚拟现实等新兴领域创新和产业化
《“十三五”国家战略性
新兴产业发展规划》
加快虚拟现实、增强现实、全息成像、裸眼3D、交互娱乐引擎
开发等核心技术研发,通过专利布局保护创新
2017 年
《产业关键共性技术发展
指南(2017 年)》
该指南将虚拟现实领域的近眼显示技术、GPU 渲染技术、感知交
互技术、通信传输技术、内容生产技术列入其中
2018 年
《关于加快推进虚拟现实
产业发展的指导意见》
分2020 年和2025 年两个阶段提出了我国虚拟现实产业的发展目
标,到2020 年建立比较健全的虚拟现实产业链条,到2025 年使
我国虚拟现实产业整体实力进入全球前列。从核心技术、产品供
给、行业应用、平台建设、标准构建和安全保障等6 大方面提出
了发展虚拟现实产业的重点任务
2019 年
《2019 年教育信息化和
网络安全工作要点》
推动大数据、虚拟现实、人工智能等新技术在教育教学中的深入
应用
增强现实引擎技术
8
时 间文 件 名 称主 要 内 容
2021 年
《中华人民共和国国民经
济和社会发展第十四个
五年规划和2035 年远景
目标纲要》
虚拟现实和增强现实产业被列为数字经济重点产业,具体表现
在:推动三维图形生成、动态环境建模、实时动作捕捉快速渲染
处理等技术创新,发展虚拟现实整机,感知交互、内容采集制
作等
《职业教育示范性虚拟仿
真实训基地建设指南》
旨在指导职业教育示范性虚拟仿真实训基地培育项目单位高效
率、高质量开展建设工作,切实推进虚拟现实技术与职业教育教
学的深度融合,赋能职业教育高质量发展。明确提出虚拟仿真实
训环境的建设要求,要基于先进行业企业的生产环境和生产设
备,吸收新理念、新技术、新工艺、新规范、新标准,建设与实
际职业情境对接的虚拟仿真实训环境
2022 年
《虚拟现实与行业应
用融合发展行动计划
(2022—2026 年)》
到2026 年,三维化、虚实融合沉浸影音关键技术重点突破,新
一代适人化虚拟现实终端产品不断丰富,产业生态进一步完善,
虚拟现实在经济社会重要行业领域实现规模化应用,形成若干具
有较强国际竞争力的骨干企业和产业集群,打造技术、产品、服
务和应用共同繁荣的产业发展格局。提出五大重点任务:推进关
键技术融合创新、提升全产业链条供给能力、加速多行业多场景
应用落地、加强产业公共服务平台建设、构建融合应用标准体系
2023 年
《元宇宙产业创新发展
三年行动计划(2023—
2025 年)》
主要内容可以简要概括为:五大任务、14 项具体措施和四项工程。
五大任务:“构建先进元宇宙技术和产业体系”“培育三维交互的
工业元宇宙”“打造沉浸交互数字生活应用”“构建系统完备产业
支撑”“构建安全可信产业治理体系”;
14 项具体措施包括:“加强关键技术集成创新”“丰富元宇宙产品
供给”“构筑协同发展产业生态”“探索推动工业关键流程的元宇
宙化改造”等,它们紧紧围绕五大任务,进一步明确细化了各自
的发力方向和突破点;
四项工程:“提升关键技术”“培育产业生态”“工业元宇宙赋
能”“强化产业基础”,它们从技术、生态、赋能、产业基础等不
同维度,进一步谋划布局产业突破口,为带动示范任务一、二、
三、四的实践落地提供了重要的支撑平台
党的二十大报告指出,我们要坚持教育优先发展、科技自立自强、人才引领驱动,
加快建设教育强国、科技强国、人才强国,坚持为党育人、为国育才,全面提高人才自
主培养质量,着力造就拔尖创新人才,聚天下英才而用之。以腾讯、华为、字节跳动、
小米、商汤科技为代表的中国知名企业也纷纷加入增强现实技术的研究行列,组织专门
机构或部门来探索相关技术、算法和行业应用解决方案。以雷鸟创新、Rokid、Nreal 为
代表的AR 眼镜硬件提供商也不断推出新的产品,不仅在国内取得不错的行业应用和销
售业绩,也把业务推广到海外,这也是中国科技力量提升的体现。
在国内增强现实技术的应用也得到快速发展,以央视春晚为代表的科技感和观赏性
十足的舞台效果让亿万观众有了一个全新的体验,其中增强现实等3D 互动技术的应用,
使舞台空间变化、意向环境等呈现在电视屏幕上,给电视观众带来了前所未有的视觉
冲击。2023 年杭州第19 届亚运会则成为增强现实技术应用的理想舞台。通过将虚拟世
界与现实世界的元素相结合,增强现实技术在亚运会中的应用不仅提升了观众的观赛体
续表  
项目1  认识增强现实技术
9
验,也开创了体育赛事的新时代。在本届亚运会中,增强现实技术的应用让观众能够更
加轻松地参观场馆。通过手机或其他智能设备,观众可以获取场馆的3D 模型,并根据
增强现实导航指引找到自己的座位。同时,观众还可以实时获取比赛信息、运动员数据
等,以便更好地了解赛事情况。除了在现场观赛之外,观众还可以通过增强现实技术与
社交媒体进行互动。通过扫描二维码或使用特定的AR 应用程序,观众可以在手机或智
能设备上参与各种增强现实游戏和互动活动。这不仅增加了观众的参与感,还为亚运会
增添了趣味性。
知识点3 增强现实系统的核心技术
增强现实技术是将原本在真实世界中的实体信息,通过计算机技术叠加到真实世界
中,被人类感官所感知,从而达到超越现实的感官体验。为了获得更好的感官体验,必
须由各种各样技术来支持,增强现实系统的核心技术主要有显示技术、跟踪注册技术、
标定技术和人机交互技术等。
1. 显示技术
人类从周围环境中获取的信息80% 是从视觉中获取的,视觉是最直观的交互方式,
增强现实技术的最终目标是为用户呈现一个虚实融合的世界。因此,显示技术在增强现
实系统的关键技术中占有非常重要的地位。增强现实的目的就是通过虚拟信息与真实场
景的融合,使用户获得丰富的信息和感知体验。想要将虚实融合后的效果逼真地展示出
来,必须要有高效率的显示技术。
目前,根据显示设备的不同,增强现实系统的显示技术分为头盔显示器显示技术、
计算机屏幕显示技术、手持式移动显示技术、投影显示技术。
1)头盔显示器显示技术
由于虚拟现实系统需要用户可以沉浸体验虚幻世界,所采用的显示设备主要是头盔
显示器(Head-Mounted Display,HMD),用以增强用户的视觉沉浸感。增强现实技术
的研究者也采用了类似的显示技术,这就是广泛应用的透视型HMD。透视型HMD 由
三个部分组成,即真实环境显示通道、虚拟环境显示通道和图像融合显示通道。虚拟环
境显示通道和沉浸式头盔显示器的显示原理是一样的,而图像融合显示通道主要与用户
交互,它和周围真实世界的表现形式有关。增强现实中的头盔显示器与虚拟现实中的头
盔显示器不同,虚拟现实中的头盔显示器将现实世界隔离,只能看到虚拟世界中的信息,
而增强现实中的头盔显示器将现实世界和虚拟信息两个通道的画面叠加后显示给用户。
这类设备的主要功能是将用户所在环境中的真实信息与计算机生成的虚拟信息融
合,根据具体实现原理又划分为两大类,分别是基于视频合成技术的透视型头盔式显
示器(Video See-Through HMD,VST-HMD)和基于光学原理的透视型头盔式显示器
(Optical See-Through HMD,OST-HMD)。
视频透视型头盔显示器通过头盔上一个或多个摄像机来获取真实世界的实时影像,
利用其中的图像处理模块和虚拟渲染模块进行融合,最终将虚实融合后的效果在头盔显
示器上显示出来,其结构示意图如图1-6 所示。
增强现实引擎技术
10
图1-6 视频透视型头盔显示器结构示意图
在视频透视型头盔显示器中,摄像机与人眼的实际视点在物理上不可能完全一致,
可能导致用户看到的视频影像与真实影像会存在偏差,因此,对于视频透视型头盔显示
器来说,最大的难点在于摄像机与用户观察视点的匹配。
光学透视型头盔显示器根据光的反射原理,通过在用户的眼前放置一块光学融合
器完成虚实场景的融合,为用户产生虚拟物体和真实场景相互融合的画面,其结构示
意图如图1-7 所示。与视频透视型头盔显示器相比,光学透视型头盔显示器在显示增
强画面时,不需要经过图像融合的过程,用户看到的影像就是当前的真实场景与虚拟
信息的叠加。
图1-7 光学透视型头盔显示器结构示意图
光学透视型头盔显示器的缺点是虚实融合得到的真实感较差,因为光学融合器既允
许真实环境中的光线通过,又允许虚拟环境中的光线通过,这导致计算机生成的虚拟物
体不能够完全遮挡住真实场景中的物体,使注册的虚拟物体呈现出半透明的状态,从而
破坏了真实场景与虚拟场景融合的真实感。光学透视型头盔显示器也有许多优点,如结
构简单、价格低廉、安全性好,以及不需要视觉误差补偿等。
头盔显示器能够呈现出很好的视觉体验,但由于其佩戴在用户头部,体积大,较笨
重,长时间佩戴会令佩戴者感觉不适。