第5章 云计算和边缘计算 本章讲述云计算和边缘计算,包括云计算、边缘计算概述、边缘计算的基本结构和特点、边缘计算的基础资源架构技术、边缘计算软件架构、边缘计算应用案例、边缘计算安全与隐私保护和APAX5580/AMAX5580边缘智能控制器。 5.1云计算 云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网提供动态易扩展,以及经常是虚拟化的资源。 5.1.1云计算概述 云是网络、互联网的一种比喻说法。因此,云计算甚至可以让用户体验每秒10万亿次的计算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过计算机、手机等方式接入数据中心,按自己的需求进行运算。 美国国家标准与技术研究院(NIST)对云计算的定义为: 云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源(资源包括网络、服务器、存储、应用软件、服务)共享池,这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。 云计算是继19世纪80年代大型计算机到客户端云计算—服务器的大转变之后的又一种巨变。 云计算是分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage)、虚拟化(Virtualization)、负载均衡(Load Balance)、热备份冗余(High Available)等传统计算机和网络技术发展融合的产物。 5.1.2云计算的基本特点 云计算是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将与互联网更相似,这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同之处在于,它是通过互联网进行传输的。 云计算具有如下特点。 1) 超大规模 “云”具有相当的规模,谷歌云计算已经拥有100多万台服务器,亚马逊、国际商业机器公司(IBM)、微软、雅虎等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。 2) 虚拟化 云计算支持用户在任意位置使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无须了解也不用担心应用运行的具体位置。只需要一台笔记本电脑或者一个手机,用户就可以通过网络服务来实现需要的一切,甚至包括超级计算这样的任务。 3) 高可靠性 “云”使用数据多副本容错、计算节点同构可互换等措施保障服务的高可靠性,使用云计算比使用本地计算可靠。 4) 通用性 云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。 5) 高可扩展性 “云”的规模可以动态伸缩,满足应用和用户规模增长的需要。 6) 按需服务 “云”是一个庞大的资源池,用户可按需购买; 云可以像自来水、电、煤气那样计费。 7) 极其廉价 由于“云”的特殊容错措施,可以采用极其廉价的节点构成云,“云”的自动化集中式管理使大量企业无须负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。 云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。 8) 潜在的危险性 云计算除了提供计算服务外,还提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别像银行这样持有敏感数据的商业机构),选择云计算服务应保持足够的警惕。一旦商业机构用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。云计算中的数据对于数据所有者以外的其他用户是保密的,但是对于提供云计算的商业机构而言,这些数据对他们确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务,特别是选择国外机构提供的云计算服务时,不得不考虑的一个重要的前提。 5.1.3云计算的总体架构 云计算推动了IT领域自20世纪50年代以来的3次变革浪潮,对各行各业数据中心基础设施的架构演进及上层应用与中间件层软件的运营管理模式产生了深远的影响。在云计算发展早期,Google、Amazon、Facebook等互联网企业在其超大规模Web搜索、电子商务及社交等创新应用的牵引下,率先提出了云计算的技术和商业架构理念,并树立了云计算参考架构的标杆与典范。但是在那个时期,多数行业与企业IT的数据中心仍然采用传统的以硬件资源为中心的架构,即便是已进行了部分云化的探索,也多为新建的孤岛式虚拟化资源池(如基于VMware的服务器资源整合),或者仅仅对原有软件系统的服务器进行虚拟化整合改造。 随着云计算技术与架构在各行各业信息化建设和数据中心的演进变革,以及更加广泛和全面的落地部署与应用,企业数据中心IT架构正在面临一场前所未有的,以“基础设施软件定义与管理自动化”“数据智能化与价值转换”以及“应用架构开源化及分布式无状态化”为特征的转化。 从架构视角来看,云计算正在推动全球IT的格局进入新一轮“分久必合、合久必分”的历史演进周期,通过分离回归融合的过程从3个层面进行表述,企业IT架构的云化演进路径如图51所示。 图51企业IT架构的云化演进路径 1. 基础设施资源层融合 面向企业IT基础设施运维者的数据中心计算、存储、网络资源层,不再体现为彼此独立和割裂的服务器、网络、存储设备,以及小规模的虚拟化资源池,而是通过引入云操作系统,在数据中心将多个虚拟化集群资源池统一整合为规格更大的逻辑资源池,甚至进一步在地理上分散,但相互间通过多协议标签交换(MultiProtocol Label Switching,MPLS)/虚拟私人网络(Virtual Private Network,VPN)专线或公网连接的多个数据中心以及多个异构云中的基础设施资源整合为统一的逻辑资源池,并对外抽象为标准化、面向外部租户(公有云)和内部租户(私有云)的基础设施服务,租户仅需制定其在软件定义的API参数中所需资源的数量、服务级别协议(Service Level Agreement,SLA)/服务质量(Quality of Service,QoS)及安全隔离需求,即可从底层基础设施服务中以全自动模式弹性、按需、敏捷地获取到上层应用所需的资源配备。 2. 数据层融合 面向企业日常业务经营管理者的数据信息资产层,不再体现为散落在各个企业、消费者IT应用中,如多个看似关联不大的结构化事务处理记录(关系型数据库)数据孤岛,非结构化的文档、媒体以及日志数据信息片段,而是通过引入大数据引擎,将这些结构化与非结构化的信息进行统一汇总,汇聚存储和处理,基于多维度的挖掘分析与深度学习,从中迭代训练出对业务发展优化及客户满意度提升有关键价值的信息,从而将经营管理决策从纯粹依赖人员经验积累转变到更多依赖基于大数据信息内部蕴藏的智慧信息,来支撑更科学、更敏捷的商业决策。除大数据之外,数据层融合的另一个驱动力,来自传统商业数据库在处理高并发在线处理及后分析处理扩展性方面所遭遇的不可逾越的架构与成本的瓶颈,从而驱动传统商业闭源数据库逐步被Scale Out架构的数据库分表分库及水平扩展的开源数据库所替代。 3. 应用平台层融合 面向企业IT业务开发者和供应者的应用平台层,在传统IT架构下,根据具体业务应用领域的不同,呈现出条块化分割、各自为战的情况,各应用系统底层的基础中间件能力,以及可重用的业务中间件能力,尽管有众多可共享重用的机会点,但重复建设的情况非常普遍(如ERP系统和SCM系统都涉及库存管理),开发投入浪费相当严重。各业务应用领域之间由于具体技术实现平台选择的不同,也无法做到通畅的信息交互与集成; 而企业IT应用开发本身,也面临着在传统瀑布式软件开发模型下开发流程笨重、测试验证上线周期长、客户需求响应慢等痛点。 因此,人们开始积极探索基于云应用开发平台实现跨应用领域基础公共开发平台与中间件能力去重整合,节省重复投入,同时通过在云开发平台中集成透明的开源中间件替代封闭的商业中间件平台套件,特别通过引入面向云原生应用的容器化应用安装、监控、弹性伸缩及生命周期版本灰度升级管理的持续集成与部署流水线,推动企业应用从面向高复杂度、厚重应用服务的瀑布式开发模式,逐步向基于分布式、轻量化微服务的敏捷迭代、持续集成的开发模式演进。以往复杂、费时的应用部署与配置,乃至自动化测试脚本,如今都可以将这些动作从生产环境的上线部署阶段,前移到持续开发集成与测试阶段。应用部署与环境依赖可以被固化在一起,在后续各阶段以及多个数据中心及应用上下文均可以批量复制,从而将企业应用的开发周期从数月降低到数周,大大提升了企业应用相应客户需求的敏捷度。 综上所述,企业IT架构云计算演进中上述3个层次的融合演进,最终目的只有一个,那就是推动企业IT走向极致的敏捷化、智能化以及投入产出比的最优化,使得企业IT可以更好地支撑企业核心业务,进而带来企业业务敏捷性、核心生产力与竞争力的大幅提升,以便更加从容地应对来自竞争对手的挑战,更轻松地应对客户需求的快速多变。 那么,云计算新发展阶段具体的架构形态究竟是怎样的呢?是否存在一个对于所有垂直行业的企业数据中心基础设施云化演进,以及无论对于公有云、私有云及混合云场景都普遍适用的一个标准化云平台架构呢?答案无疑是肯定的。 尽管从外在表象上来看,私有云与公有云在商业模式、运营管理集成存在显著差别,然而从技术架构视角来看,宏观上不妨可将云计算整体架构划分为云运营(Cloud BSS)、云运维(Cloud OSS)以及云平台系统(IaaS/PaaS/SaaS)三大子系统,这三大子系统相互间毫无疑问是完全面向服务的体系结构(ServiceOriented Architecture,SOA)解耦的关系,云平台和云运营支撑子系统很明显是可以实现在公有云和私有云场景下完全重用的,仅在云运营子系统部分,对于公有云和私有云/混合云存在一定差异。 因此,只需要将这部分进一步细分解耦打开,即可看到公有云、私有云可以共享的部分,如基础计量计费,身份识别与访问管理(Identity and Access Management,IAM)认证鉴权,私有云所特有的信息技术基础架构库(Information Technology Infrastructure Library,ITIL)流程对接与审批、多层级租户资源配额管理等,以及公有云所特有的批价、套餐促销和在线动态注册等。 由此可以看到,无论是公有云、私有云,还是混合云,其核心实质是完全相同的,都是在基础设施层、数据层,以及应用平台层上,将分散的、独立的多个信息资产孤岛,依托相应层次的分布式软件实现逻辑上的统一整合,然后基于此资源池,以Web Portal或者API为界面,向外部云租户或者内部云租户提供按需分配与释放的基础设施层、数据层以及应用平台服务,云租户可以通过Web Portal或者API界面给出其从业务应用的需求视角出发,向云计算平台提出自动化、动态、按需的服务能力消费需求,并得以满足。 综上所述,一套统一的云计算架构完全可以同时覆盖于公有云、私有云、混合云等所有典型应用场景。 5.1.4云计算的总体分层架构 云计算架构应用上下文的相关角色包括云租户/云服务消费者、云应用开发者、云服务运营者/提供者、云设备/物理基础设施提供者。 1. 云租户/云服务消费者 云租户是指这样一类组织、个人或IT系统,其消费由云计算平台提供的业务服务(如请求使用云资源配额,改变指配给虚拟机的CPU处理能力,增加Web网站的并发处理能力等)组成。该云租户/云服务消费者可能会因其与云业务的交互而被计费。 云租户也可被看作一个云租户/云服务消费者组织的授权代表。 2. 云应用开发者 云应用发者负责开发和创建一个云计算增值业务应用,该增值业务应可以拖管在云平台运营管理者环境内运行,或者云租户(服务消费者)来运行。典型场景下云应用开发者依托于云平台的API能力进行增值业务的开发,但也可能调用由业务支撑系统(Business Support System,BSS)和运营支撑系统(Operation Support System,OSS)系统负费开放的云管理API能力。 云业务开发者全程负责云增值业务的设计、部署并维护运行时主体功能及其相关的管理功能。 3. 云服务运营者/提供者 云服务运营者/提供者承担着向云租户/云服务消费者提供云服务的角色,云服务运营者/提供者的定义来源于其对OSS/BSS管理子系统拥有直接的或者虚拟的运营权。同时,作为云服务运营者以及云服务消费者的个体,也可以成为其他对外转售云服务提供者的合作伙伴,消费其云服务,在此基础上加入增值服务,并将增值后的云服务对外提供。 4. 云设备/物理基础设施提供者 云设备提供者提供各种物理设备,包括服务器、存储设备、网络设备、一体机设备,利用各种虚拟化平台,构筑成各种形式的云服务平台。这些云服务平台可能是某个地点的超大规模数据中心,也可能是由地理位置分布的区域数据中心组成的分布式云数据中心。 云设备/物理基础设施提供者可能是云服务运营者/提供者,也可能就是一个纯粹的云设备提供者,他将云设备租用给云服务运营者/提供者。 这里,特别强调云设备/物理基础设施提供者必须能够做到不与唯一的硬件设备厂商绑定。 云计算总体分层架构如图52所示。 5.1.5云计算的关键技术 云计算是一种新型的超级计算方式,以数据为中心,是一种数据密集型的超级计算。云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。如果要实现这个目标,需要分布式海量数据存储、虚拟化技术、云平台技术、并行编程技术、数据管理技术等关键技术的支持。 1. 分布式海量数据存储 随着信息化建设的不断深入,信息管理平台已经完成了从信息化建设到数据积累的职能转变,在一些信息化起步较早、系统建设较规范的行业,如通信、金融、大型生产制造等领域,海量数据的存储、分析需求的迫切性日益明显。 以移动通信运营商为例,随着移动业务和用户规模的不断扩大,每天都会产生海量的业务、计费以及网关数据,然而庞大的数据量使得传统的数据库存储已经无法满足存储和分析 图52云计算总体分层架构 需求,主要面临如下的问题。 1) 数据库容量有限 关系型数据库并不是为海量数据而设计的,在设计之初并没有考虑到数据量能够庞大到PB级。为了继续支撑系统,不得不进行服务器升级和扩容,成本高昂,让人难以接受。 2) 并行取数困难 除了分区表可以并行取数外,其他情况都要对数据进行检索才能将数据分块,并行读数效果不明显,甚至增加了数据检索的消耗。虽然可以通过索引来提升性能,但实际业务证明,数据库索引的作用有限。 3) 对J2EE应用来说,JDBC的访问效率太低 由于Java的对象机制,读取的数据都需要序列化,读数速度很慢。 4) 数据库并发访问数太多 数据库并发访问数太多,导致产生I/O瓶颈和数据库的计算负担太重两个问题,甚至出现内存溢出、崩溃等现象,但数据库扩容成本太高。 为了解决以上问题,使分布式存储技术得以发展,在技术架构上,可以分为解决企业数据存储和分析使用的大数据技术、解决用户数据云端存储的对象存储技术,以及满足云端操作系统实例需要用到的块存储技术。 对于大数据技术,理想的解决方案是把大数据存储到分布式文件系统中,云计算系统由大量服务器组成,同时为大量用户服务,此云计算系统采用分布式存储的方式存储数据,用冗 余存储的方式(集群计算、数据冗余和分布式存储)保证数据的可靠性。冗余的方式通过任务分解和集群,用低配计算机替代超级计算机的性能保证低成本,这种方式保证分布式数据的高可用、高可靠和经济性,即为同一份数据存储多个副本。在云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现——HDFS。 GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 对于对象存储,大家非常熟悉的云盘就是基于该技术实现的。用户可以将照片、文本、视频直接通过图形界面进行云端上传、浏览和下载。其实,上传等操作的界面最终都通过Webservice与后台的对象存储系统打交道,前端界面更多的是在用户、权限以及管理层面上提供支持。其主要特点如下。 (1) 所有的存储对象都有自身的元数据和一个URL,这些对象在尽可能唯一的区域复制3次,而这些区域可以被定义为一组驱动器、一个节点、一个机架等。 (2) 开发者通过一个RESTful HTTP API与对象存储系统相互作用。 (3) 对象数据可以放置在集群的任何地方。 (4) 在不影响性能的情况下,集群通过增加外部节点进行扩展。 (5) 数据无须迁移到一个全新的存储系统。 (6) 集群可增加新的节点。 (7) 故障节点和磁盘可无宕机调换。 (8) 在标准硬件上运行,普通的x86服务器即可接入。 2. 虚拟化技术 虚拟化技术是云计算系统的核心组成部分之一,是将各种计算及存储资源充分整合和高效利用的关键技术。云计算的虚拟化技术不同于传统的单一虚拟化,它是涵盖整个IT架构的,包括资源、网络、应用和桌面在内的全系统虚拟化。通过虚拟化技术可以实现将所有硬件设备、软件应用和数据隔离开来,打破硬件配置、软件部署和数据分布的界限实现IT架构的动态化,实现资源集中管理,使应用能够动态地使用虚拟资源和物理资源,提高系统适应需求和环境的能力。 虚拟化技术具有如下特点。 1) 资源分享 通过虚拟机封装用户各自的运行环境,有效实现多用户分享数据中心资源。 2) 资源定制 用户利用虚拟化技术配置私有的服务器,指定所需的CPU数目内存容量、磁盘空间,实现资源的按需分配。 3) 细粒度资源管理 将物理服务器拆分成若干虚拟机,可以提高服务器的资源利用率,减少浪费,而且有助于服务器的负载均衡和节能。 基于以上特点,虚拟化技术成为实现云计算资源池化和按需服务的基础。 3. 云平台技术 云计算资源规模庞大,服务器数量众多且分布在不同的地点,同时运行着数百种应用。如何有效地管理这些服务器保证整个系统提供不间断的服务是对用户巨大的挑战。 云平台技术能够使大量的服务器协同工作,方便进行业务部署,快速发现和修复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。 云平台的主要特点是用户不必关心云平台底层的实现。用户使用平台,或开发者使用云平台发布第三方应用,只需要调用平台提供的接口就可以在云平台中完成自己的工作。利用虚拟化技术,云平台提供商可以实现按需提供服务,这一方面降低了云的成本,另一方面保证了用户的需求得到满足。云平台基于大规模的数据中心或者网络,因此云平台可以提供高性能的计算服务,并且对于云平台用户而言,云的资源几乎是无限的。 4. 并行编程技术 目前两种最重要的并行编程模型是数据并行和消息传递,数据并行编程模型的编程级别比较高,编程相对简单,但它仅适用于数据并行问题; 消息传递编程模型的编程级别相对较低,但消息传递编程模型有更广泛的应用范围。 数据并行编程模型是一种较高层次上的模型,它给编程者提供一个全局的地址空间,一般这种形式的语言本身就提供了并行执行的语义。因此对于编程者来说,只需要简单地指明执行什么样的并行操作和并行操作的对象就实现了数据并行的编程。 例如,对于数组运算,为使数组B和C的对应元素相加后送给A,则通过语句A=B+C或其他的表达方式就能够实现,使并行机对B、C的对应元素并行相加,并将结果并行赋给A,因此数据并行的表达是相对简单和简洁的,它不需要编程者关心并行机是如何对该操作进行并行执行的。数据并行编程模型虽然可以解决一大类科学与工程计算问题,但对于非数据并行类的问题,如果通过数据并行的方式来解决,一般难以取得较高的效率。 消息传递是各并行执行的部分之间通过传递消息来交换信息、协调步伐、控制执行,消息传递一般是面向分布式内存的,但是它适用于共享内存的并行机。消息传递为编程者提供了更灵活的控制手段和表达并行的方法,一些用数据并行方法很难表达的并行算法都可以用消息传递模型来实现灵活性和控制手段的多样化,这是消息传递并行程序能提供高执行效率的重要原因。 消息传递编程模型一方面为编程者提供了灵活性,另一方面,它也将各个并行执行部分之间复杂的信息交换和协调、控制任务交给了编程者,这在一定程度上增加了编程者的负担,这是消息传递编程模型的编程级别低的主要原因。虽然如此,但消息传递的基本通信模式是简单和清楚的,大家学习和掌握这些部分并不困难。 因此,目前大量的并行程序设计仍然采用消息传递编程模型。 云计算采用并行编程模型。在并行编程模型下,并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中,通过统一接口,用户的大型计算任务被自动并发和分布执行,即将一个任务自动分成多个子任务,并行地处理海量数据。 5. 数据管理技术 云计算系统对大数据集进行处理、分析并向用户提供高效的服务。因此首先,数据管理技术必须高效地管理大数据集; 其次,如何在规模巨大的数据中找到特定的数据,也是云计算数据管理技术待解决的问题。 应用于云计算的最常见的数据管理技术是Google的BigTable数据管理技术,由于它采用列存储的方式管理数据,如何提高数据的更新速率以及进一步提高随机读速率是未来云计算数据管理技术必须解决的问题。 Google提出的BigTable技术是建立在GFS和MapReduce之上的一个大型的分布式数据库,BigTable实际上是一个很庞大的表,它的规模可以超过1PB(1024TB),它将所有数据都作为对象来处理,形成一个巨大的表格。 Google对BigTable给出了如下定义: BigTable是一种为了管理结构化数据而设计的分布式存储系统,这些数据可以扩展到非常大的规模,如在数千台商用服务器上达到PB规模的数据,现在有很多Google的应用程序建立在BigTable之上,如Google Earth等,而基于BigTable模型实现的Hadoop HBase也在越来越多的应用中发挥作用。 5.1.6云计算的服务模式 根据现在较常用,也是比较权威的美国国家标准技术研究院(National Institute of Standards and Technology,NIST)的定义,云计算主要分为3种服务模式,分别是SaaS、PaaS和IaaS,并且这3种服务模式主要是从用户体验的角度出发的。 云计算的服务模式和类型如图53所示。 图53云计算的服务模式和类型 对于普通用户而言,面对的主要是SaaS这种服务模式,而且几乎所有的云计算服务最终的呈现形式都是SaaS。 1. SaaS SaaS是一种通过网络提供软件的模式,用户无须购买软件,而是向提供商租用基于Web的软件管理企业经营活动。相对于传统的软件,SaaS解决方案有明显的优势,包括较低的前期成本、便于维护、快速展开使用、由服务提供商维护和管理软件,并且提供软件运行的硬件设施,用户只需拥有接入互联网的终端即可随时随地使用软件。SaaS软件被认为是云计算的典型应用之一。 SaaS主要有如下功能。 1) 随时随地访问 在任何时候、任何地点,只要接上网络,用户就能访问SaaS服务。 2) 支持公开协议 通过支持公开协议(如HTML4、HTML5),SaaS能够方便用户使用。 3) 安全保障 SaaS供应商需要提供一定的安全机制,不仅要使存储在云端的用户数据处于绝对安全的境地,而且要在客户端实施一定的安全机制(如HTTPS)保护用户。 4) 多租户 通过多租户(MultiTenant)机制,不仅能更经济地支持庞大的用户规模,而且能提供一定的可指定性,以满足用户的特殊需求。 用户消费的服务完全是从网页(如Netfix、MOG、Google Apps、Box.net、Dropbox或者苹果公司的iCloud)进入这些分类。 一些用作商务的SaaS应用包括Citrix公司的GoToMeeting、Cisco公司的WebEx,以及Salesforce公司的CRM、ADP等。 2. PaaS 将服务器平台或者开发环境作为服务进行提供就是PaaS。所谓PaaS,实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。因此,PaaS也是SaaS模式的一种应用。但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。 在云计算应用的大环境下,PaaS具有如下优势。 1) 开发简单 因为开发人员能限定应用自带的操作系统、中间件和数据库等软件的版本,如SLES11、WAS7和DB29.7等这样将非常有效地缩小开发和测试的范围,从而极大地降低开发测试的难度和复杂度。 2) 部署简单 首先,如果使用虚拟器件方式部署能将本来需要几天的工作缩短到几分钟,能将本来几十步的操作精简到轻轻一击鼠标即可完成; 其次,能非常简单地将应用部署或者迁移到公有云上,以应对突发情况。 3) 维护简单 因为整个虚拟器件都来自同一个独立软件商(Independent Software Vendor,ISV)所以任何软件的升级和技术支持都只要和一个ISV联系就可以了,不仅避免了常见的沟通不当现象,而且简化了相关流程。 PaaS具有如下主要功能。 1) 有好的开发环境 通过SDK和IDE等工具让用户能在本地方便地进行应用的开发和测试。 2) 丰富的服务 PaaS平台会以API的形式将各种各样的服务提供给上层应用。 3) 自动的资源调度 自动的资源调度也就是可伸缩特性,它不仅能优化系统资源,而且能自动调整资源帮助运行于其上的应用更好地应对突发流量。 4) 精细的管理和监控 通过PaaS能够提供对应用层的管理和监控,如能够观察应用运行的情况和具体数值(如吞吐量和响应时间)更好地衡量应用的运行状态,还能够通过精确计量应用所消耗的资源来更好地计费。 涉足PaaS市场的公司在网上提供了各种开发和分发应用的解决方案,如虚拟服务器和操作系统,既节省了用户在硬件上的费用,也让分散的工作室之间的合作变得更加容易。这些解决方案包括网页应用管理、应用设计、应用虚拟主机、存储、安全以及应用开发协作工具等。 一些大的PaaS提供商有Google(App Engine)、微软(Azure)、Salesforce(Heroku)等。 3. IaaS IaaS使消费者可以通过互联网从完善的计算机基础设施获得服务。基于互联网的服务(如存储和数据库)是IaaS的一部分。在IaaS模式下,服务提供商将多台服务器组成的“云端”服务(包括内存、I/O设备、存储和计算能力等)作为计量服务提供给用户,其优点是用户只需提供低成本硬件,按需租用相应的计算能力和存储能力即可。 IaaS具有如下主要功能。 1) 资源抽象 使用资源抽象的方法,能更好地调度和管理物理资源。 2) 负载管理 通过负载管理,不仅使部署在基础设施上的应用能更好地应对突发情况,而且还能更好地利用系统资源。 3) 数据管理 对云计算而言,数据的完整性、可靠性和可管理性是对IaaS的基本要求。 4) 资源部署 资源部署也就是将整个资源从创建到使用的流程自动化。 5) 安全管理 IaaS的安全管理的主要目标是保证基础设施和其提供的资源被合法地访问和使用。 6) 计费管理 通过细致的计费管理能使用户更灵活地使用资源。 过去如果用户想在办公室或者公司的网站上运行一些企业应用,需要去买服务器,或者其他昂贵的硬件来控制本地应用,让业务运行起来。但是使用IaaS,用户可以将硬件外包到其他地方。涉足IaaS市场的公司会提供场外服务器、存储和网络硬件,用户可以租用,这样就节省了维护成本和办公场地并可以在任何时候利用这些硬件运行其应用。 一些大的IaaS提供商有亚马逊、微软、VMware、Rackspace和Red Hat。不过这些公司都有自己的专长,如亚马逊和微软提供的不只是IaaS,还会将其计算能力出租给用户来管理自己的网站。 5.1.7云计算的应用市场 云计算时代,除了现有IT公司积极参与外,将会有新的公司借机崛起。正是因为意识到云计算是一场改变IT格局的变革,众多跨国IT公司和初创企业开始在云计算领域扎根。 众多IT公司从不同领域和角度参与到云计算变革中来,Intel、AMD、Cisco、Microsoft、Oracle、SAP、IBM、HP、Dell、VMware、Citrix、Redhat、Novel1、Amazon、Yahoo、Google、Sun,几乎囊括了所有的重量级IT企业,而在全球与云计算相关的中小公司更是如雨后春笋般不断出现。 1. 云物联 物联网就是物物相连的互联网,这有两层意思: 第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络; 第二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。 物联网的两种业务模式: M2M应用集成(M2M Application Integration,MAI),内部MaaS; M2M即服务(M2M as a Service,MaaS),MMO,多租户模型。 随着物联网业务量的增加,对数据存储和计算量的需求将带来对“云计算”能力的要求: (1) 云计算: 从计算中心到数据中心在物联网的初级阶段,售点广告(Point of Purchase,PoP)即可满足需求。 (2) 在物联网高级阶段,可能出现移动虚拟网络运营商(Mobile Virtual Network Operator,MVNO)/大型多人在线(Massive Multiplayer Online,MMO)营运商,需要虚拟化云计算技术,SOA等技术的结合实现互联网的泛在服务: 一切即服务(everyThing as a Service,TaaS)。 2. 云安全 云安全(Cloud Security)是一个从“云计算”演变而来的新名词。云安全的策略构想是: 使用者越多,每个使用者就越安全,因为如此庞大的用户群,足以覆盖互联网的每个角落,只要某个网站被挂马或某个新木马病毒出现,就会立刻被截获。 “云安全”通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,推送到服务端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。 3. 云存储 云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。 4. 云游戏 云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端,用户的游戏设备不需要任何高端处理器和显卡,只需要基本的视频解压能力就可以。 5.2边缘计算概述 边缘计算(Edge Computing)又译为边缘运算,是一种分散式运算的架构,将应用程序、数据资料与服务的运算,由网络中心节点移往网络逻辑上的边缘节点来处理。边缘计算是将原本完全由中心节点处理大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。边缘节点更接近于用户终端装置,可以加快资料的处理与传送速度,减少延迟。在这种架构下,资料的分析与知识的产生,更接近于数据资料的来源,因此更适合处理大数据。 5.2.1边缘计算简介 对于边缘计算的定义,目前还没有统一的结论。 太平洋西北国家实验室(PNNL)将边缘计算定义为: 一种把应用、数据和服务从中心节点向网络边缘拓展的方法,可以在数据源端进行分析和知识生成。 ISO/IEC JTC1/SC38对边缘计算给出的定义为: 一种将主要处理和数据存储放在网络的边缘节点的分布式计算形式。 边缘计算产业联盟对边缘计算的定义是: 在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的开放平台,就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。作为连接物理和数字世界的桥梁,实现智能资产、智能网关、智能系统和智能服务。 边缘计算的不同定义表述虽然各有差异,但内容实质已达共识: 在靠近数据源的网络边缘某处就近提供服务。 综合以上定义,边缘计算是指数据或任务能够在靠近数据源头的网络边缘侧进行计算和执行计算的一种新型服务模型,允许在网络边缘存储和处理数据,和云计算协作,在数据源端提供智能服务。网络边缘侧可以理解为从数据源到云计算中心之间的任意功能实体,这些实体搭载着融合网络、计算、存储、应用核心能力的边缘计算平台。 边缘计算作为云计算模型的扩展和延伸,直面目前集中式云计算模型的发展短板,具有缓解网络带宽压力、增强服务响应能力、保护隐私数据等特征; 同时,边缘计算在新型的业务应用中的确起到了显著的提升、改进作用。 在智慧城市、智能制造、智能交通、智能家居、智能零售以及视频监控系统等领域,边缘计算都在扮演着先进的改革者形象,推动传统的“云到端”演进为“云边端”的新兴计算架构,这种新兴计算架构无疑更匹配今天万物互联时代各种类型的智能业务。 对物联网而言,边缘计算技术取得突破,意味着许多控制将通过本地设备实现而无须交由云端,处理过程将在本地边缘计算层完成,这无疑将大大提升处理效率,减轻云端的负荷。由于更加靠近用户,还可为用户提供更快的响应,将需求在边缘端解决。 在国外,以思科为代表的网络公司以雾计算为主。思科已经不再成为工业互联网联盟的创立成员,但却集中精力主导OpenFog开放雾联盟。 无论是云、雾还是边缘计算,本身只是实现物联网、智能制造等所需要计算技术的一种方法或者模式。严格地讲,雾计算和边缘计算本身并没有本质的区别,都是在接近于现场应用端提供的计算。就其本质而言,都是相对于云计算而言的。 全球智能手机的快速发展,推动了移动终端和“边缘计算”的发展,而万物互联、万物感知的智能社会,则是与物联网发展相伴而生,边缘计算系统因此应运而生。 在国内,边缘计算联盟(Edge Computing Consortium,ECC)正在努力推动OICT[运营(Operational)、信息(Information)、通信(Communication Technology)]的融合。而其计算对象,则主要定义了如下4个领域。 (1) 设备域。出现的纯粹的IoT设备,与自动化的I/O采集相比较而言,有不同但也有重叠部分。那些可以直接用于顶层优化,而并不参与控制本身的数据,可以直接放在边缘侧完成处理。 (2) 网络域。在传输层面,直接的末端IoT数据与来自自动化产线的数据,其传输方式、机制、协议都会有不同。因此,这里要解决传输的数据标准问题。在OPC UA架构下可以直接访问底层自动化数据,但是,对于Web数据的交互而言,这里会存在IT与OT之间的协调问题,尽管有一些领先的自动化企业已经提供了针对Web方式数据传输的机制,但是,大部分现场的数据仍然存在这些问题。 (3) 数据域。数据传输后的数据存储、格式等这些数据域需要解决的问题,包括数据的查询与数据交互的机制和策略问题都是在这个领域里需要考虑的问题。 (4) 应用域。这个可能是最难以解决的问题,针对这一领域的应用模型尚未有较多的实际应用。 边缘计算联盟对于边缘计算的参考架构的定义,包含设备、网络、数据与应用4个领域,平台提供者主要提供在网络互联(包括总线)、计算能力、数据存储与应用方面的软硬件基础设施。 事实上自动化以“控制”为核心。控制是基于“信号”的,而“计算”则是基于数据进行的,更多是指“策略”“规划”。因此,它更多聚焦于“调度、优化、路径”。就像对全国的高铁进行调度的系统一样,每增加或减少一个车次都会引发调度系统的调整,它是基于时间和节点的运筹与规划问题。边缘计算在工业领域的应用更多是这类“计算”。 简单地说,传统的自动控制基于信号的控制,而边缘计算则可以理解为“基于信息的控制”。 值得注意的是,边缘计算、雾计算虽然说的是低时延,但是50ms、100ms这种周期对于高精度机床、机器人、高速图文印刷系统的100μS这样的“控制任务”而言,仍然是有非常大的延迟的,边缘计算所谓的“实时”,从自动化行业的视角来看,依然被归在“非实时”的应用里的。 IT与OT事实上也是相互渗透的,自动化厂商都已经开始在延伸其产品中的IT能力,包括Bosch、SIEMENS、GE这些大的厂商在信息化、数字化软件平台方面,包括像贝加莱、罗克韦尔等都在提供基础的IoT集成、Web技术的融合方面的产品与技术。事实上IT技术也开始在其产品中集成总线接口、HMI功能的产品,以及工业现场传输设备网关、交换机等产品。 边缘计算/雾计算要落地,尤其是在工业中,“应用”才是最为核心的问题,所谓的IT与OT的融合,更强调在OT侧的应用,即运营的系统所要实现的目标。 在工业领域,边缘应用场景包括能源分析、物流规划、工艺优化分析等。就生产任务分配而言,需根据生产订单为生产进行最优的设备排产排程,这是制造执行系统(Manufacturing Execution System,MES)的基本任务单元,需要大量计算。这些计算是靠具体MES厂商的软件平台,还是“边缘计算”平台——基于Web技术构建的分析平台,在未来并不会存在太多差别。从某种意义上说MES系统本身是一种传统的架构,而其核心既可以在专用的软件系统,也可以存在于云、雾或者边缘侧。 5.2.2边缘计算发展历史 边缘计算是在高带宽、时间敏感型、物联网集成这个背景下发展起来的技术,边缘(Edge)这个概念最早是由ABB、B&R、Schneider、KUKA等自动化/机器人厂商所提出的,其本意是涵盖那些“贴近用户与数据源的IT资源”,这是属于从传统自动化厂商向IT厂商延伸的一种设计。 20世纪90年代,Akamai公司首次定义了内容分发网络(Content Delivery Network,CDN),这一事件被视为边缘计算的最早起源。在CDN的概念中,提出在终端用户附近设立传输节点,这些节点被用于存储缓存的静态数据,如图像和视频等。边缘计算通过允许节点参与并执行基本的计算任务,进一步提升了这一概念。 1997年,计算机科学家Brian Noble成功地将边缘计算应用于移动技术的语音识别,两年后边缘计算又被成功应用于延长手机电池的使用寿命,这一过程在当时被称为“Cyber foraging”,也就是当前苹果Siri和谷歌语音识别的工作原理。 1999年,点对点计算(Peer to Peer Computing)出现。 2006年,亚马逊公司发布了EC2服务,从此云计算正式问世,并开始被各大企业纷纷采用。 在2009年发布的“移动计算汇总的基于虚拟机的Cloudlets案例”中,时延与云计算之间的端到端关系被详细介绍和分析,并提出了两级架构的概念: 第一级是云计算基础设施,第二级是由分布式云元素构成的Cloudlet。这一概念在很多方面成为现代边缘计算的理论基础。 2013年,“雾计算”由思科(Cisco)带头成立的OpenFog组织正式提出,其中心思想是提升互联网可扩展性的分布式云计算基础设施。 2014年,欧洲电信标准协会(ETSI)成立移动边缘计算规范工作组,推动边缘计算标准化,旨在为实现计算及存储资源的弹性利用,将云计算平台从移动核心网络内部迁移到移动接入边缘。 ETSI在2016年提出把移动边缘计算的概念扩展为多接入边缘计算(MultiAccess Edge Computing,MEC),将边缘计算从电信蜂窝网络进一步延伸至其他无线接入网络,如WiFi。 自此,MEC成为一个可以运行在移动网络边缘的执行特定任务计算的云服务器。在计算模型的演进过程中,边缘计算紧随面向数据的计算模型的发展。数据规模的不断扩大与人们对数据处理性能、能耗等方面的高要求正成为日益突出的难题。 为了解决上述难题,在边缘计算产生之前,学者们在解决面向数据传输、计算和存储过程的计算负载和数据传输带宽的问题中,已经开始探索如何在靠近数据的边缘端增加数据处理功能,即开展由计算中心处理的计算任务向网络边缘迁移的相关研究,其中典型的模型包括: 分布式数据库模型、P2P(Peer to Peer)模型、CDN模型、移动边缘计算(Mobile Edge Computing,MEC)模型、雾计算(Fog Computing)模型。 1. 分布式数据库模型 分布式数据库系统通常由许多较小的计算机组成,这些计算机可以被单独放置在不同的地点。每台计算机不仅可以存储数据库管理系统的完整复制副本或部分复制副本,还可以具有自己的局部数据库。通过网络将位于不同地点的多台计算机互相连接,共同组成一个具有完整且全局的、逻辑上集中、物理上分布的大型数据库系统。分布式数据库由一组数据构成,这组数据分布在不同的计算机上,计算机可以成为具有独立处理数据管理能力的网络节点,这些节点执行局部应用,称为场地自治。同时,通过网络通信子系统,每个节点能执行全局应用。 在集中式数据库系统计算基础上发展起来的分布式数据库系统具有如下特性。 1) 数据独立性 集中式数据库系统中的数据独立性包括数据逻辑独立性和数据物理独立性两个方面,即用户程序与数据全局逻辑结构和数据存储结构无关。在分布式数据库系统中还包括数据分布独立性,即数据分布透明性。数据分布透明性是指用户不必关心以下数据问题: 数据的逻辑分片、数据物理位置分布的细节、数据重复副本(冗余数据)一致性问题以及局部场地上数据库支持哪种数据模型。 2) 数据共享性 数据库是多个用户的共享资源,为了保证数据库的安全性和完整性,在集中式数据库系统中,对共享数据库采取集中控制,同时配有数据库管理员负责监督,维护系统正常运行。在分布式数据库系统中,数据的共享有局部共享和全局共享两个层次。局部共享是指在局部数据库中存储局部场地各用户常用的共享数据。全局共享是指在分布式数据库系统的各个场地同时存储其他场地的用户常用共享数据,用以支持系统全局应用。因此,对应的控制机构具有集中和自治两个层次。 3) 适当增加数据冗余度 尽量减少数据冗余度是集中式数据库系统的目标之一,这是因为冗余数据不仅浪费存储空间,而且容易造成各数据副本之间的不一致性。集中式数据库系统不得不付出一定的维护代价来减少数据冗余度,以保证数据一致性和实现数据共享。相反,在分布式数据系统中却希望适当增加数据冗余度,即将同一数据的多个副本存储在不同的场地。适当增加数据冗余度可以提升分布式数据系统的可靠性、可用性,即当某一场地出现故障时,系统可以对另一场地上的相同副本进行操作,以避免一处发生故障而造成整个系统的瘫痪。 4) 数据全局一致性和可恢复性 在分布式数据库系统中,各局部数据库不仅要达到集中式数据库的一致性、并发事务的可串行性和可恢复性要求,还要保证达到数据库的全局一致性、全局并发事务的可串行性和系统的全局可恢复性要求。 2. P2P模型 对等网络(P2P)是一种新兴的通信模式,也被称为对等连接或工作组。对等网络定义每个参与者都可以发起一个通信对话,对等节点所有参与者具有同等的能力。在对等网络上的每台计算机具有相同的功能,没有主从之分,没有专用服务器,也没有专用工作站,任何一台计算机既可以作为服务器,又可以作为工作站。 3. CDN模型 CDN是在现有的Internet中添加一层新的网络架构,更接近用户,被称为网络边缘。网站的内容被发布到最接近用户的网络“边缘”,用户可以就近取得所需的内容,从而缓解Internet网络拥塞状况,提高用户访问网站的响应速度,从技术上全面解决网络带宽小、用户访问量大、网点分布不均等造成的网站响应速度慢的问题。 从狭义角度讲,CDN以一种新型的网络构建方式,在传统的IP网中作为特别优化的网络覆盖层用于大宽带需求的内容分发和存储。 从广义角度讲,CDN是基于质量与秩序的网络服务模式的代表。 近年来,主动内容分发网络(Active Content Distribution Network,ACDN)以一种新的体系结构模型被研究人员提出。ACDN改进了传统的CDN,根据需要将应用在各服务器之间进行复制和迁移,成功地帮助内容提供商避免了一些新算法的研究设计。 4. 移动边缘计算模型 移动边缘计算通过将传统电信蜂窝网络和互联网业务深度融合,大大降低了移动业务交付的端到端时延,进而提升用户体验,无线网络的内在能力成功发掘。 通常的移动边缘终端设备被认为不具备计算能力,于是人们提出在移动边缘终端设备和云计算中心之间建立边缘服务器,将终端数据的计算任务放在边缘服务器上完成。而在移动边缘计算模型中,终端设备是具有较强的计算能力的。由此可见,移动边缘计算模型是边缘计算模型的一种,非常类似于边缘计算服务器的架构和层次。 5. 雾计算模型 雾计算是在2011年由哥伦比亚大学的斯特尔佛教授(Prof. Stolfo)首次提出的,旨在利用“雾”阻挡黑客入侵。2012年,雾计算被思科公司定义为一种高度虚拟化的计算平台,中心思想是将云计算中心任务迁移到网络边缘设备上。 雾计算作为对云计算的补充,提供在终端设备和传统云计算中心之间的计算、存储、网络服务。 由于概念上的相似性,雾计算和边缘计算在很多场合被用来表示相同或相似的一个意思。两者的主要区分是雾计算关注后端分布式共享资源的管理,而边缘计算在强调边缘基础设施和边缘设备的同时,更关心边缘智能的设计和实现。 5.2.3边缘计算发展契机 从生态模式的角度看,边缘计算是一种新的生态模式,它将网络、计算、存储、应用和智能5类资源汇聚在网络边缘用以提升网络服务性能、开放网络控制能力,进而促进类似于移动互联网的新模式、新生态的出现。 边缘计算的技术理念可以适用于固定互联网、移动通信网、消费物联网、工业互联网等不同场景,形成各自的网络架构增强,与特定网络接入方式无关。 随着网络覆盖的扩大、带宽的增强、资费的下降,万物互联触发了新的数据生产模式和消费模式。同时,工业互联网蓬勃兴起,实现IT技术与OT技术的深度融合,迫切需要在工厂内网络边缘处加强网络、数据、安全体系建设。 1. 云计算的不足 传统的云计算模式是在远程数据中心集中处理数据。由于物联网的发展和终端设备收集数据量的激增,会产生如下一些问题。 (1) 对于大规模边缘的多源异构数据处理要求,无法在集中式云计算线性增长的计算能力下得到满足。物联网的感知层数据处于海量级别,数据具有很强的冗余性、相关性、实时性和多源异构性,数据之间存在着频繁的冲突与合作。融合的多源异构数据和实时处理要求,给云计算带来了无法解决的巨大挑战。 (2) 数据在用户和云数据中心之间的长距离传输将导致高网络时延和计算资源浪费。云服务是一种聚合度很高的集中式服务计算,用户将数据发送到云端存储并处理,将消耗大量的网络带宽和计算资源。 (3) 大多数终端用户处于网络边缘,通常使用的是资源有限的移动设备,它们具有低存储和计算能力以及有限的电池容量,所以有必要将一些不需要长距离传输到云数据中心的任务分摊到网络边缘端。 (4) 云计算中数据安全性和隐私保护在远程传输和外包机制中将面临很大的挑战,使用边缘计算处理数据则可以降低隐私泄露的风险。 以智能家居为例,不仅越来越多的家庭设备开始使用云计算来控制,而且还通过云计算实现家庭局域网内设备之间的互动,这使得过度依赖云平台的局域网设备会出现以下问题。 (1) 一旦网络出现故障,即使家里仍然有电,设备也不能很好地控制。例如,通过手机控制家里的设备,手机在外网是需要通过透传的。当手机在局域网内时,一般是直接控制设备的。但如果是智能单品之间实现联动的话,通常联动逻辑是在云上的。当发生网络故障的时候,联动的设备通常就容易失控。 (2) 如果是通过云控制家庭设备,那么需要定时检查云端的状态来实现对家电的控制,这时设备接受响应的时间,一方面取决于设备连接的网络速率,另一方面取决于云平台上设备检查状态的周期,这两方面使得响应时间是不可控的。 (3) 在很多智能家居方案中,没有局域网内的控制,所以通常要通过云服务来实现局域网之内的设备联动。对开关速度要求不高的空调、电视等产品,用户是感受不到时延带来的不好体验的。但随着智能家居的普及,如越来越多的灯光设备如果通过智能控制实现的话,即便是一点点的时延,用户也可以立即感受到。 2. 万物互联 2012年12月,思科公司提出万物互联的概念,这是未来互联网连接以及物联网发展的全新网络连接架构,其增加并完善了网络智能化处理功能以及安全功能,是在物联网基础上的新型互联的构建。万物互联是以万物有芯片、万物有数据、万物有传感器、万物皆在线、万物有智慧为基础的,产品、流程、服务各环节紧密相连,人、数据和设备之间自由沟通的全球化网络。在万物互联环境下,无处不在的感知、通信和嵌入式系统,赋予物体采集、计算、思考、协作和自组织、自优化、自决策的能力。离度灵活、人性化、数字化的生产与服务模式通过产品、机器、资源和人的有机联系得以实现。 3. 用户的转型 在传统的云计算模式中,终端用户通常扮演的角色是数据消费者,如在网络浏览器观看视频或文件、浏览图像、管理系统中的文档。但是,终端用户的角色正在发生变化,从数据消费者到数据生产者和消费者,这意味着人们在边缘设备上生成物联网数据。 4. 网络架构云化演进 通信运营商根据网络建设部署与运营经验,统一构建基于网络功能虚拟化(Network Function Virtualization,NFV)、软件定义网络(Software Defined Network,SDN)、云计算为核心技术的网络基础设施,推进支撑网络的云化演进、匹配网络转型部署,NFV将成为5G网络各网元的技术基础,以实现全云化部署。以数据中心(Data Center,DC)为中心的三级通信云DC布局,将在网络云化架构中被采用,通过在不同层级的分布式部署和构建边缘、本地、区域,统一规划云化资源池完成面向固网、物联网、移动网、企业专线等多种接入的统一承载和统一服务。 5. IT技术与OT技术的深度融合驱动行业智能化发展 以大数据、机器学习、深度学习为代表的智能技术已经在语音识别、图像识别等方面得到应用,在模型、算法、架构等方面取得了较大进展。智能技术已率先应用于制造、电力、交通、医疗、电梯、物流、公共事业等行业,随着预测性维护、智能制造等新应用的演进,行业智能化势必驱动边缘计算发展。 5.2.4边缘计算发展现状 在满足未来万物互联的需求上,边缘计算的优点尤为突出,这激发了国内外学术界和产业界的研究热情,主要的三大阵营在边缘计算发展上各有优势。 (1) 互联网企业试图将公有云服务能力扩展到边缘侧,希望以消费物联网为主要阵地。 (2) 工业企业试图发挥自身工业网络连接和工业互联网平台服务的领域优势,以工业互联网为主要阵地。 (3) 通信企业以边缘计算为契机,开放接入侧网络能力,进入消费物联网和工业互联网领域,希望盘活网络连接设备的价值。 从2016开始,业界从学术研究、标准化、产业联盟、商业化落地4个方向齐力推动边缘计算的发展。 当今,边缘计算市场仍然处于初期发展阶段。主宰云计算市场的互联网公司(国外的亚马逊、谷歌、微软,国内的百度、腾讯、阿里巴巴等)、行业领域厂商(富士康、小米等)正在成为边缘计算商业化落地的领先者。传统电信运营商在5G蓬勃发展的大环境中,借助软件定义网络和网络云化等技术,也发力于边缘计算商业化落地。 亚马逊携AWS Greengrass进军边缘计算领域,该服务将AWS扩展到设备上,这样它们除了同时可以使用云来进行管理、分析数据和持久的存储,还可以在本地处理它们生成的数据。 微软公司将在物联网领域进行大量投入,边缘计算项目是其中之一。微软公司发布了Azure IoT Edge解决方案,该方案通过将云分析扩展到边缘设备以支持离线使用。边缘的人工智能应用也是微软公司希望聚焦的领域。 谷歌公司宣布了两款新产品,分别是硬件芯片Edge TPU和软件堆栈Cloud IoT Edge,旨在帮助改善边缘联网设备的开发。依靠谷歌云强大的数据处理和机器学习能力,可以通过Cloud IoT Edge扩展到数十亿台边缘设备,如风力涡轮机、机器人手臂和石油钻塔,这些边缘设备对自身传感器产生的数据可进行实时操作,并在本地进行结果预测。 在新兴的边缘计算领域,涌现出Scale Computing、Vertiv、华为、富士通、惠普和诺基亚等商业化的开拓者。 Intel、戴尔、IBM、思科、惠普、微软、通用电气和AT&T等公司也在投资布局边缘计算。 目前,不断涌现和发展的物联网、5G等新技术正推动着中国数字化转型的新一轮变革。为克服数据中心高能耗等一系列问题,边缘计算获得了越来越多的关注,在国内各行业的应用日渐广泛。 5.3边缘计算的基本结构和特点 边缘计算中的“边缘”是一个相对的概念,指从数据源到云计算中心数据路径之间的任意计算资源和网络资源。边缘计算允许终端设备将存储和计算任务迁移到网络边缘节点中,如基站(Base Station,BS)、无线接入点(Wireless Access Points,WAP)、边缘服务器等,在满足终端设备计算能力扩展需求的同时,还能有效地节约计算任务在云服务器和终端设备之间的传输链路资源。 5.3.1边缘计算的基本结构 基于“云边端”协同的边缘计算基本架构,由4层功能结构(核心基础设施、边缘计算中心、边缘网络和边缘设备)组成。 (1) 核心基础设施提供核心网络接入(如互联网、移动核心网络)和用于移动边缘设备的集中式云计算服务和管理功能。其中,核心网络主要包括互联网络、移动核心网络、集中式云服务和数据中心等。而云计算核心服务通常包括基础设施即服务、平台即服务和软件即服务3种服务模式。通过引入边缘计算架构,多个云服务提供商可同时为用户提供集中式的存储和计算服务,实现多层次的异构服务器部署,改善集中式云业务大规模计算迁移带来的挑战,同时还能够为不同地理位置上的用户提供实时服务和移动代理。 互联网厂商把边缘计算中心称为边缘云,主要用于计算、存储、网络转发资源,是整个“云边端协同”架构中的核心组件之一。 (2) 边缘计算中心可搭载多租户虚拟化基础设施,从第三方服务提供商到终端用户以及基础设施提供商,自身都可以使用边缘中心提供的虚拟化服务。多个边缘中心按分布式拓扑部署,各边缘中心在自主运行的同时又相互协作,并且和云端连接进行必要的交互。 (3) 边缘网络通过融合多种通信网络来实现物联网设备和传感器的互联。从无线网络到移动中心网络再到互联网络边缘计算设施,通过无线网络,数据中心网络和互联网实现了边缘设备、边缘服务器、核心设施之间的连接。 (4) 边缘设备不只扮演了数据消费者的角色,而且作为数据生产者参与到了边缘计算结构的4个功能结构层中。 5.3.2边缘计算的基本特点 边缘计算具有如下基本特点。 1) 连接性 边缘计算是以连接性为基础的。由于所连接物理对象的多样性以及应用场景的多样性,要求边缘计算具备丰富的连接功能,如各种网络接口、网络协议、网络拓扑、网络部署与配置、网络管理与维护。此外,在考虑与现有各种工业总线互联互通的同时,连接性需要充分借鉴吸收网络领域先进的研究成果,如时间敏感网络(TimeSensitive Networking,TSN)、SDN、NFV、Network as a Service、无线局域网(Wireless Local Area Network,WLAN)、NBIoT和5G等。 2) 数据入口 作为物理世界到数字世界的桥梁,边缘计算是数据的第一入口。边缘计算通过拥有大量、实时、完整的数据,可基于数据全生命周期进行管理与价值创造,实现更好的支撑预测性维护、资产效率与管理等创新应用; 另外,作为数据第一入口,边缘计算面临数据实时性、不确定性、多样性等挑战。 3) 约束性 边缘计算产品需要适配工业现场相对恶劣的工作条件与运行环境,如防电磁、防尘、防爆、抗振动、抗电流或电压波动等。在工业互联场景下,对边缘计算设备的功耗、成本、空间也有较高的要求。边缘计算产品需要考虑通过软硬件集成与优化,以适配各种条件约束,支撑行业数字化多样性场景。 4) 分布性 边缘计算实际部署天然具备分布式特征,这要求边缘计算支持分布式计算与存储、实现外布式资源的动态调度与统一管理,支撑外布式智能,具备外布式安全等能力。 5) 融合性 OT与IT的融合是行业数字化转型的重要基础,边缘计算作为“OICT”融合与协同的关键承载,需要支持在连接、数据、管理、控制、应用和安全等方面的协同。 6) 邻近性 由于边缘计算的部署非常靠近信息源,因此边缘计算特别适用于捕获和分析大数据中的关键信息。此外,边缘计算还可以直接访问设备,容易直接衍生特定的商业应用。 7) 低时延 由于移动边缘技术服务靠近终端设备或者直接在终端设备上运行,时延被大大降低,这使得反馈更加快速,从而改善了用户体验,减少了网络在其他部分中可能发生的拥塞。 8) 大带宽 由于边缘计算靠近信息源,可以在本地进行简单的数据处理,不必将所有数据或信息都上传至云端,这使得网络传输压力下降,网络堵塞减少,网络速率因此大大提高。 9) 位置认知 当网络边缘是无线网络的一部分时,无论是WiFi还是蜂窝网络,本地服务都可以利用相对较少的信息来确定每个连接设备的具体位置。 5.4边缘计算的基础资源架构技术 作为一种新型的服务模型,边缘计算将数据或任务放在靠近数据源头的网络边缘侧进行处理。网络边缘侧可以是从数据源到云计算中心之间的任意功能实体,这些实体搭载着融合网络、计算、存储、应用核心能力的边缘计算平台,为终端用户提供实时、动态和智能的服务计算。同时,数据就近处理的理念为数据安全和隐私保护提供了更好的结构化支撑。 边缘计算模型的总体架构主要包括核心基础设施、边缘数据中心、边缘网络和边缘设备。从架构功能角度划分,边缘计算包括基础资源(计算、存储、网络)、边缘管理、边缘安全以及边缘计算业务应用,边缘计算功能模块如图54所示。 图54边缘计算功能模块 边缘计算的业务执行离不开通信网络的支持,其网络既要满足与控制相关业务传输时间的确定性和数据完整性,又要能够支持业务的灵活部署和实施。时间敏感网络和软件定义网络技术是边缘计算网络部分的重要基础资源。异构计算支持是边缘计算模块的技术关键。 随着物联网和人工智能的蓬勃发展,业务应用对计算能力提出了更高的要求。计算需要处理的数据种类日趋多样化,边缘设备既要处理结构化数据,又要处理非结构化数据。 因此,边缘计算架构需要解决不同指令集和不同芯片体系架构的计算单元协同起来的异构计算,满足不同业务应用的需求,同时实现性能、成本、功耗、可移植性等的优化均衡。目前,业界以公服务提供商为典型案例,已经实现部署了云上AI模型训练和推理预测的功能服务。将推理预测放置于边缘计算工程应用的热点,既满足了实时性要求,又大幅度减少了占用云端资源的无效数据。 边缘存储以时序数据库(包含数据的时间戳等信息)等分布式存储技术为支撑,按照时间序列存储完整的历史数据,需要支持记录物联时序数据的快速写入、持久化、多维度的聚合等查询功能。 5.4.1边缘计算与前沿技术的关联和融合 边缘计算是通过把计算、存储、带宽、应用等资源放在网络的边缘侧,减小传输时延和带宽限制的新兴技术。这项技术为物联网、云计算等技术提供了前所未有的连接性、集中化以及智能化,满足了敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的需求,将是实现分布式自治、工业控制自动化的重要支撑。 1. 边缘计算和云计算 边缘计算不是替代云计算,而是互补协同,也可以说边缘计算是云计算的一部分。边缘计算和云计算的关系可以比喻为集团公司的地方办事处与集团总公司的关系。边缘计算与云计算各有所长,云计算擅长把握整体,聚焦非实时、长周期数据的大数据分析,能够在长周期维护、业务决策支撑等领域发挥优势; 边缘计算则专注于局部聚焦实时、短周期数据的分析,能更好地支撑本地业务的实时智能化处理与执行。云边协同将放大边缘计算与云计算的应用价值; 边缘计算既靠近执行单元,更是云端所需的高价值数据的采集单元,可以更好地支撑云端应用的大数据分析; 反之云计算通过大数据分析、优化输出的业务规则或模型,可以下发到边缘侧,边缘计算基于新的业务规则进行业务执行的优化处理。 边缘计算不是单一的部件,也不是单一的层次,而是涉及边缘Iaas、边缘PaaS和边缘SaaS的端到端开放平台。 云边协同架构如图55所示,该图清晰地给出了云计算和边缘计算的互补协同关系。边缘IaaS与云端IaaS实现资源协同; 边缘PaaS和云端PaaS实现数据协同、智能协同、应用管理协同、业务编排协同; 边缘SaaS与云端SaaS实现服务协同。 目前,对云计算的概念都是基于集中式的资源管控提出的,即使采用多个数据中心互联互通的形式,依然将所有的软硬件资源视为统一的资源进行管理、调度和售卖。 随着5G、物联网时代的到来以及云计算应用的逐渐增加,集中式的云已经无法满足终端侧“大连接、低时延、大带宽”的资源需求。结合边缘计算的概念,云计算将必然发展到下一个技术阶段: 将云计算的能力拓展至距离终端更近的边缘侧,并通过“云边端”的统一管控实现云计算服务的下沉,提供端到端的云服务。边缘云计算的概念随之产生。 《边缘云计算技术及标准化白皮书(2018)》把边缘云计算定义为: 基于云计算技术的核心和边缘计算的能力,构筑在边缘基础设施之上的云计算平台。同时,边缘云计算是形成边缘位置的计算、网络、存储、安全等能力的全面的弹性云平台,并与中心云和物联网终端形成“云边端三体协同”的端到端的技术架构。通过将网络转发存储、计算、智能化数据分析等工作放在边缘处理,可以降低响应时延、减轻云端压力、降低带宽成本,并提供全网调度、算力分发等云服务。 边缘云计算的基础设施包括但不限于: 分布式互联网数据中心(Internet Data Center,IDC)、运营商通信网络边缘基础设施、边缘侧客户节点(如边缘网关、家庭网关等)等边缘设备及其对应的网络环境。 边缘云作为中心云的延伸,将云的部分服务或者能力(包括但不限于存储、计算、网络、AI、大数据、安全等)扩展到边缘基础设施之上。中心云和边缘云相互配合,实现中心—边缘协同、全网算力调度、全网统一管控等能力,真正实现“无处不在”的云。 边缘云计算在本质上是基于云计算技术的,为“万物互联”的终端提供低时延、自组织、可定义、可调度、高安全、标准开放的分布式云服务。边缘云可以最大限度地与中心云采用统一架构、统一接口、统一管理,这样能够降低用户开发成本和运维成本,真正实现将云计算的范畴拓展至距离产生数据源更近的地方,弥补传统架构的云计算在某些应用场景中的不足。 2. 边缘计算和人工智能 人工智能革命是从弱人工智能,到强人工智能,最终达到超人工智能的过程。现在,人们已经掌握了弱人工智能。 边缘计算可以加速实现人工智能就近服务于数据源或使用者。尽管目前企业不断将数据传送到云端进行处理,但随着边缘计算设备的逐渐应用,本地化管理变得越来越普遍,企业上云的需求或将面临瓶颈。由于人们需要实时地与他们的数字辅助设备进行交互,因此等待数千米(或数十千米)以外的数据中心是行不通的。 图55云边协同架构 人工智能仍旧面临优秀项目不足、场景落地缺乏的问题。另外,随着人工智能在边缘计算平台中的应用,加上边缘计算与物联网“云边端”协同推进应用落地的需求不断增加,边缘智能成为边缘计算新的形态,打通物联网应用的“最后一千米”。 1) 边缘智能应用领域 (1) 自动驾驶领域。在汽车行业,安全性是最重要的问题。在高速驾驶情况下,实时性是保证安全性的首要前提。由于网络终端机时延的问题,云端计算无法保证实时性。车载终端计算平台是自动驾驶计算发展的未来。另外,随着电动化的发展,低功耗对于汽车行业变得越来越重要。 (2) 安防、无人机领域。相比于传统视频监控,AI视频监控最主要的变化是把被动监控变为主动分析与预警,解决了需要人工处理海量监控数据的问题。安防、无人机等终端设备对算力及成本有很高的要求。随着图像识别与硬件技术的发展,在终端完成智能安防的条件日益成熟。 (3) 消费电子领域。对于包括手机、家居电子产品在内的消费电子行业,实现智能的前提是要解决功耗、安全隐私等问题。 2) 边缘智能产业生态 边缘智能产业生态架构已经形成,主要有3类玩家。 (1) 第一类: 算法玩家。从算法切入,如提供计算机视觉算法、自然语言处理(Natural Language Processing,NLP)算法等。 (2) 第二类: 终端玩家。从硬件切入,如提供手机、PC等智能硬件。拥有众多终端设备的海康威视在安防领域深耕多年,是以视频为核心的物联网解决方案提供商,其在发展过程中,将边缘计算和云计算加以融合,更好地解决物联网现实问题。 (3) 第三类: 算力玩家。从终端芯片切入,如开发用于边缘计算的AI芯片等。 3. 边缘计算和5G 5G技术以“大容量、大带宽、大连接、低时延、低功耗”为诉求。国际电信联盟(International Telecommunications Union,ITUR)对5G定义的关键指标包括: 峰值吞吐率10Gb/s、时延1ms、连接数百万、移动速度500km/h。 5G具有如下特点。 1) 高速度 相对于4G,5G要解决的第一个问题就是高速度。只有提升网络速度,用户体验与感受才会有较大提高,网络才能在面对VR和超高清业务时不受限制,对网络速度要求很高的业务才能被广泛推广和使用。因此,5G的第一个特点就定义了速度的提升。 2) 泛在网 随着业务的发展,网络业务需要无所不包,广泛存在。只有这样才能支持更加丰富的业务,才能在复杂的场景上使用。 泛在网有两个层面的含义: 广泛覆盖和纵深覆盖。广泛覆盖是指在社会生活的各个地方需要广覆盖。高山峡谷如果能覆盖5G,可以大量部署传感器,进行环境、空气质量,甚至地貌变化、地震的监测。纵深覆盖是指虽然已经有网络部署,但是需要进入更高品质的深度覆盖。5G的到来,可把以前网络品质不好的卫生间、地下车库等环境都用5G网络广泛覆盖。 3) 低功耗 5G要支持大规模物联网应用,就必须有功耗的要求。如果能把功耗降下来,让大部分物联网产品一周充一次电,甚至一个月充一次电,就能大大改善用户体验,促进物联网产品的快速普及。 4) 低时延 5G的新场景是无人驾驶、工业自动化的高可靠连接。要满足低时延的要求,需要在5G网络架构中找到各种办法,降低时延。边缘计算技术也会被采用到5G的网络架构中。 5) 万物互联 在传统通信中,终端是非常有限的,在固定电话时代,电话是以人群定义的。而手机时代,终端数量有了巨大爆发,手机是按个人应用定义的。到了5G时代,终端不是按人来定义的,因为每个人可能拥有数个终端,每个家庭也可能拥有数个终端。 社会生活中大量以前不可能联网的设备也会进行联网工作,更加智能。井盖、电线杆、垃圾桶这些公共设施以前管理起来非常难,也很难做到智能化,而5G可以让这些设备都成为智能设备,利于管理。 6) 重构安全 传统的互联网要解决的是信息高速、无障碍的传输,自由、开放、共享是互联网的基本精神,但是在5G基础上建立的是智能互联网。智能互联网不仅要实现信息传输,还要建立起一个社会和生活的新机制与新体系。智能互联网的基本精神是安全、管理、高效、方便。安全是5G之后的智能互联网第一位的要求。如果5G无法重新构建安全体系,那么会产生巨大的破坏力。 在5G的网络构建中,在底层就应该解决安全问题,从网络建设之初,就应该加入安全机制,信息应该加密,网络并不应该是开放的,对于特殊的服务需要建立起专门的安全机制。网络不是完全中立、公平的。 4. 边缘计算和物联网 由无数类型的设备生成的大量数据需要推送到集中式云以保留(数据管理)、分析和决策,然后,将分析的数据结果传回设备。这种数据的往返消耗了大量网络基础设施和云基础设施资源,进一步增加了时延和带宽消耗问题,从而影响关键任务的物联网使用。例如,在自动驾驶的连接车中,每小时产生大量数据,数据必须上传到云端进行分析,并将指令发送回汽车,低时延或资源拥塞可能会延迟对汽车的响应,严重时可能导致交通事故。 边缘计算驱动物联网发展的优势包括以下方面。 (1) 边缘计算可以降低传感器和中央云之间所需的网络带宽(即更低的时延),并减轻整个IT基础架构的负担。 (2) 在边缘设备处存储和处理数据,而不需要网络连接来进行云计算,这消除了高带宽的持续网络连接。 (3) 通过边缘计算,端点设备仅发送云计算所需的信息而不是原始数据,这有助于降低云基础架构的连接和冗余资源的成本。当在边缘分析由工业机械生成的大量数据并且仅将过滤的数据推送到云时,这是有益的,从而显著节省IT基础设施。 (4) 利用计算能力使边缘设备的行为类似于云类操作。应用程序可以快速执行,并与端点建立可靠且高度响应的通信。 (5) 通过边缘计算实现数据的安全性和隐私性。敏感数据在边缘设备上生成、处理和保存,而不是通过不安全的网络传输,并有可能破坏集中式数据中心。边缘计算生态系统可以为每个边缘提供共同的策略,以实现数据的完整性和隐私保护。 (6) 边缘计算并不能取代对传统数据中心或云计算基础设施的需求,相反,它与云共存,因为云的计算能力被分配到端点。 5.4.2边缘存储架构 下面介绍边缘存储架构。 1. 边缘存储 边缘存储就是把数据直接存储在数据采集点或者靠近的边缘计算节点中,如MEC服务器或CDN服务器,而不需要将数据通过网络即时传输到中心服务器(或云存储)的数据存储方式。边缘存储一般采用分布式存储,也称之为去中心化存储。 下面介绍几种边缘存储案例。 (1) 在安防监控领域,智能摄像头或网络视频录像机直接保存数据,即时处理,不需要将所有数据传输至中心机房再处理。 (2) 家庭网络存储服务器,用户更偏向将私人数据存储在自己家中,而不是通过网络上传到提供存储服务的第三方公司,这样第三方公司不会接触到敏感数据,保证隐私保护和安全性。 (3) 自动驾驶采集的数据往往可以在车载单元或路侧单元中进行预处理,再将处理后的少量数据传输给后台服务中心或云。 为什么目前主要使用的还是中心存储,而不是边缘存储呢?一个很重要的原因是数据处理在中心,边缘设备的处理能力还不够; 另外一个原因是缺乏成熟可行的技术方案连接和同步边缘节点,无法使得边缘端更多地承担数据采集、处理和存储的任务。 随着芯片技术的发展,边缘端设备的运算能力和处理速度都得到大幅度提升,设备成本大大降低,在靠近数据的边缘端已经可以进行较好的数据处理。同时,随着边缘存储技术的飞速发展,能够很好地解决端设备的局部互联问题,可以在边缘进行连接和处理。 2. 边缘存储的优势 边缘存储具有如下优势。 1) 网络带宽和资源优化 对于以云为核心的存储架构,所有的数据都需要传输到云数据中心,带宽的需求是极大的。同时,并不是所有数据都需要长期保存。例如,电子监控的视频数据仅保存数天、数周或数月; 而智能工厂中机器采集的原始数据的特点是数据频率高、规模大,但有价值的数据相对较少。如果将这些数据存储在云上,会带来网络带宽资源浪费、访问瓶颈以及成本上升等一系列问题。 在某些情况下,由于带宽限制或不一致,数据传输质量会受到影响,出现丢包或超时等问题。针对这种情况,可以利用边缘存储来缓存数据,直到网络状况改善后再回传信息。此外,还可以利用边缘存储动态优化带宽和传输内容质量。例如,在边缘录制高质量的视频,而在远程查看标准质量的视频,甚至可以在网络带宽不受限制时将录制的高质量视频同步到后端系统或云存储中。 通过边缘存储和云存储的有机结合,可以将一部分数据的存储需求从中心转移到边缘,更加合理有效地利用宝贵的网络带宽,并根据网络带宽的情况灵活优化资源的传输,使得现有网络可以支撑更多边缘计算节点的接入并降低总体拥有成本。 2) 分布式网络分发 由于边缘节点分布式的特点,可以利用边缘存储建立分发网络,分发加速的效果将好于当前站点有限的内容分发网络(Content Delivery Network,CDN)。例如,分享一部分存储用于分发,那么观看的热门电视剧就可以被邻居直接下载使用,极大地节省网络带宽; 另外,也可以通过分享存储资源获取部分收益。 当边缘存储进入实用阶段时,更容易建立去中心化的应用。基于地域的社区将可以不通过中心服务器或服务商进行交互,也更容易建立基于社区的私有网络。 3) 可靠性更强 当数据存储和处理完全是中心化的时候,任何的网络问题或数据中心本身的问题都会导致服务中断,影响巨大。当边缘计算节点具备一定的处理能力,且数据存储在端或边缘之后,对网络的要求大大降低,一部分的网络中断只会影响小部分功能,因为很多处理运算同样可以在本地进行。同时,当边缘的点对点网络建立起来后,网络的冗余性会进一步解决部分网络中断的问题,容错性得到极大的加强。 4) 安全与隐私兼顾 虽然云计算极大地方便了人们的生活,但也出现了一些关于数据安全和隐私的隐忧,这是家庭安防、智能家居发展缓慢的原因之一。边缘存储结合点对点网络技术可以帮助解决这个问题。在新的解决方案里,用户不需要把数据存储到网上,而是保存在家庭的网络附属存储(Network Attached Storage,NAS)中,所有数据都是可以加密存储的,通过P2P网络可以建立端设备和家庭数据服务器的点到点连接,让数据私密传送,同时兼顾安全与隐私。 5.5边缘计算软件架构 在“云边端”的系统架构中,针对业务类型和所处边缘位置的不同,边缘计算硬件选型设计往往也会不同。例如,边缘用户端节点设备采用低成本、低功耗的ARM或者英特尔的Atom处理器,并搭载如Movidius或者现场可编程门阵列(Field Programmable Gate Array,FPGA)异构计算硬件进行特定计算加速; 以SDWAN为代表的边缘网络设备衍生自传统的路由器网关形态,采用ARM或者Intel XeonD处理器; 边缘基站服务器采用Intel至强系列处理器。相对硬件架构设计,系统软件架构却大同小异,主要包括与设备无关的微服务、容器及虚拟化技术、云端无服务化套件等。 以上技术应用统一了云端和边缘的服务运行环境,减少了硬件基础设施的差异带来的部署及运维问题。而在这些技术背后依靠的是云原生软件架构在边缘侧的演化。 边缘计算软件架构如图56所示。 图56边缘计算软件架构 5.5.1微服务 下面介绍微服务的架构组成和边缘计算中的微服务。 1. 微服务的架构组成 微服务架构如图57所示。 图57微服务架构 微服务架构主要由以下几部分组成。 (1) 客户端。支持不同类型设备的接入,如运行在浏览器里面的单页程序、移动设备和物联网设备等。 (2) 身份认证。为客户端的请求提供统一的身份认证,然后请求再转发到内部的微服务。 (3) 微服务接口(API)网关。作为微服务的入口,提供同步消息和异步消息两种访问方式。同步消息使用REST(Representational State Transfer)依赖于无状态HTTP。异步消息使用高级消息队列协议(Advanced Message Queuing Protocol,AMQP)、消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)等应用。 (4) 编排管理。注册、管理、监控所有的微服务,发现和自动恢复故障。 (5) 服务发现。维护所有微服务节点列表,提供通信路由查找。 此外,每个微服务都由一个私有数据库来保存数据。微服务的业务功能的生命周期应尽量精简、无状态。 2. 边缘计算中的微服务 云端数据中心根据实时性、安全性和边缘侧异构计算的需求,将微服务灵活地部署到边缘的用户设备、网关设备或小型数据中心,这体现了分布式边缘计算比传统集中式云计算拥有更大优势,而微服务是算力和IT功能部署的载体和最小单位。在边缘设备注册到云服务器提供商以后,这种微服务的部署对于终端用户是非常容易甚至无感的。 亚马逊、微软Azure云服务提供商都给出了使用边缘计算加快机器学习中神经网络推理的案例。机器学习根据现有数据所学习(该过程称为训练)的统计算法,对新数据做出决策(该过程称为推理)。在训练期间,将识别数据中的模式和关系以建立模型,该模型让系统能够对之前从未遇到过的数据做出明智的决策。在优化模型过程中会压缩模型大小,以便快速运行。训练和优化机器学习模型需要大量的计算资源,因此与云是天然良配。但是,推理需要的计算资源要少得多,并且往往在有新数据可用时实时完成。要想确保物联网应用程序能够快速响应本地事件,必须能够以非常低的时延获得推理结果。 在云计算领域,传统IT软件的微服务化已经得到了充分的演化,趋于成熟。如前所述,边缘计算是传统的工业领域的OT、通信领域的CT(Communications Technology)和IT的融合,而大部分的OT和CT的软件是基于整体式架构根据定制的需求开发的。传统OT和CT软件的微服务化是目前边缘计算产品落地的重要方面之一。 5.5.2边缘计算的软件系统 传统云计算是将微服务部署于虚拟机中,OpenStack提供了云平台的基础设施。边缘计算是云平台的延伸,但缺少云数据中心的高性能务器物理设施来部署和运行完整的虚拟化环境。于是,轻量级的容器取代了虚拟机成为边缘计算平台的标准技术之一。 2017年,谷歌公司开发的Kubernetes成为边缘计算平台标准的容器管理编排平台。 从软件架构角度上来看,一个简化的边缘系统由边缘硬件、边缘平台软件系统和边缘容器系统组成,边缘系统如图58所示。 图58边缘系统 1. 边缘的硬件基础设施 边缘硬件包括边缘节点设备、网络设备和小型数据中心,比较多样化。与传统物联网设备采集数据和简单数据处理不同,边缘硬件需要运行从云端部署的IT微服务。因此,边缘硬件一般具有一定的计算能力,使用微处理芯片(CPU)而不是物联网设备使用的微控制器(MCU)。因为边缘计算可以应用到各种领域,如工业、运输、零售、通信、能源等,所以硬件系统也是多种多样的,从低功耗树莓派(Raspberry)系,到英特尔的酷睿系统,甚至强系统。微软的Azure物联网云支持多达1000种设备的认证。 云端的基础设施被抽象成计算节点、网络节点和存储节点,以屏蔽底层基础设施的差异化。而边缘硬件往往使用异构的计算引擎进行加速以满足低功耗、实时性和定制化计算的需求,最常见的是使用FPGA、Movidius、NPU对机器学习神经网络推理的加速。而这些异构计算加速引擎很难在云端进行大规模部署和运维。 边缘设备硬件更加靠近数据源和用户侧,设备和系统的安全比云数据中心更具有挑战性。与传统物联网设备一样,集成基于硬件的信任根可以极大地保障边缘系统的安全,同时可以极大地降低网络通信的开销,提高微服务的实时性。 以Docker为主的容器技术是边缘设备上微服务的运行环境,并不需要特殊的虚拟化支持。然而,硬件虚拟化可以为Docker容器提供更加安全的隔离。 2. 容器技术 云服务提供商使用虚拟化或者容器来构建平台及服务。容器架构如图59所示。 图59容器架构 应用程序和依赖的二进制库被打包运行在独立的容器中。在每个容器中,网络、内存和文件系统是隔离的。容器引擎管理所有的容器。所有的容器共享物理主机上的操作系统内核。 如上所述,以Docker为主的容器技术逐渐成为边缘计算的技术标准,各大云计算厂商都选择容器技术构建边缘计算平台的底层技术栈。 边缘计算的应用场景非常复杂。从前面的分析可以清晰地看到边缘计算平台并不是传统意义上的只负责数据收集转发的网关。更重要的是,边缘计算平台需要提供智能化的运算能力,而且能产生可操作的决策反馈,用来反向控制设备端。过去,这些运算只能在云端完成。现在需要将Spark、TensorFlow等云端的计算框架通过剪、合并等简化手段迁移至边缘计算平台,使得能在边缘计算平台上运行云端训练后的智能分析算法。 因此,边缘计算平台需要一种技术在单台计算机或者少数几台计算机组成的小规模集群环境中隔离主机资源,实现分布式计算框架的资源调度。 边缘计算所需的开发工具和编程语言具有多样性。目前,计算机编程技术呈百花齐放的趋势,开发人员运用不同的编程语言解决不同场景的问题已经成为常态,所以在边缘计算平台需要支持多种开发工具和多种编程语言的运行时环境。因此,在边缘计算平台使用一种运行时环境的隔离技术便成为需求。 容器技术和容器编排技术逐渐成熟。容器技术是在主机虚拟化技术后最具颠覆性的计算机资源隔离技术。通过容器技术进行资源的隔离,不仅CPU、内存和存储的额外开销非常小,而且容器的生命周期管理也非常快捷,可以在毫秒级的时间内开启和关闭容器。 5.6边缘计算应用案例 本节详细介绍来自互联网厂商、工业企业、通信设备企业和运营商的边缘计算典型工程案例,帮助读者从理论学习迈向实践。 互联网厂商工程应用开发,致力于多通信运营商边缘资源的统一接入,通过虚拟化和智能调度,提高资源利用率,降低使用成本; 同时,根据边缘基础设施的参考标准,支撑“云边端”算力的全局统一调度,为AI提供低时延和最优的边缘算力。 工业企业充分发挥自身工业网络连接和工业互联网平台服务的领域优势,加速推进工业物联网网关商业应用进程,规范工业互联网中的数据采集、转换、处理和传输,达到不同厂商品牌工业设备数据、工厂OT组网和通信协议的转化兼容和互联。 通信设备企业和通信运营商通过联动互联网厂商的业务服务,开放接入侧网络能力。 边缘计算已经被大量应用在许多实际的商业场景中,目前已知的应用场景包括但不限于表51中所列出的场景。 表51边缘计算在商业中的应用场景 场 景 类 型场 景 特 点场 景 举 例 边缘CDN低时延; 缓存控制; 同CDN功能联动; 高并发页面内容修改; 自定义缓存控制; URL重写; 动态回源; API网关智能设备联动 边缘安全安全产品库边边缘部署; 同节点安全功能联动; 丰富的处理动作; 容器运行环境安全黑白名单; 访问控制; 反爬取; 人机识别; 安全接入 AI边缘边缘部署AI模型; AI模型保护; AI硬件加速图片审计; 反恐审计; 人脸识别; 鉴黄识别; 新零售智能管控; 智能驾驶; 智能家庭 网络和IoT设备边缘; 智能工业互联网边缘支持IoT协议; 私有化部署; 数据脱敏工业机器管理; 无人机视觉分析; 人流监控; 智能工厂; 智能医疗 5.6.1智慧城市和无人零售 智慧城市是指利用各种信息技术或创新理念,集成城市的组成系统和服务,以提升资源运用的效率,优化城市管理和服务,改善市民生活质量。智慧城市把新一代信息技术充分应用在城市的各行各业中,基于支持社会下一代创新的城市信息化高级形态,实现信息化、工业化与城镇化深度融合,有助于缓解“大城市病”,提高城镇化质量,实现精细化和动态管理,并提升城市管理成效和改善市民生活质量。 智慧城市体系包括智慧物流体系、智慧制造体系、智慧贸易体系、智慧能源应用体系、智慧公共服务体系、智慧社会管理体系、智慧交通体系、智慧健康保障体系、智慧安居服务体系和智慧文化服务体系。 智慧城市需要信息的全面感知、智能识别研判、全域整合和高效处置。智慧城市的数据汇集热点包括地区、公安、交警等数据,运营商的通信类数据,互联网的社会群体数据,IoT设备的感应类数据。智慧城市服务需要通过数据智能识别出各类事件,并根据数据相关性对事态进行预测。基于不同行业的业务规则,对事件风险进行研判。整合公安、交警、城管、公交等社会资源,对重大或者关联性事件进行全域资源联合调度。实现流程自动化和信息一体化,提高事件处置能力。 在智慧城市的建设过程中,边缘云计算的价值同样巨大。 边缘云计算架构分为采集层、感知层和应用层。 (1) 采集层。海量监控摄像头采集原始视频并传输到就近的本地汇聚节点。 (2) 感知层。视频汇聚节点内置来自云端的视觉AI推理模型及参数,完成对原视频流的汇聚和AI计算,提取结构化特征信息。 (3) 应用层。城市大脑可根据各个汇聚节点上报的特征信息,全面统筹规划形成决策,还可按需实时调取原始视频流。 这样的“云边端”3层架构的价值在于以下几方面。 (1) 提供AI云服务能力。边缘视频汇聚节点对接本地的监控摄像头,可对各种能力不同的存量摄像头提供AI云服务能力。云端可以随时定义和调整针对原始视频的AI推理模型,可以支持更加丰富、可扩展的视觉AI应用。 (2) 视频传输稳定可靠。本地的监控摄像头到云中心的距离往往比较远,专网传输成本过高,而公网直接传输难以保证质量。在“先汇聚后传输”的模型下,结合汇聚节点(CDN)的链路优化能力,可以保证结构化数据和原始视频的传输效果。 (3) 节省带宽。在各类监控视频上云的应用中,网络链路成本较高。智慧城市服务对原始视频有高清码率和7×24h采集的需求,网络链路成本甚至可占到总成本的50%以上。与数据未经计算全量回传云端相比,在视频汇聚点进行AI计算可以节省50%~80%的回源带宽,极大地降低了成本。 与用户自建汇聚节点相比,使用基于边缘云计算技术的边缘节点服务(Edge Node Service,ENS)作为视频汇聚节点具有以下的优势。 (1) 交付效率高。ENS全网建设布局,覆盖CDN的每个地区及运营商,所提供的视频汇聚服务,各行业视频监控都可以复用,在交付上不需要专门建设,可直接使用本地现有的节点资源。 (2) 运营成本低。允许客户按需购买、按量付费,提供弹性扩容能力,有助于用户降低首期投入,实现业务的轻资产运营。 5.6.2自动驾驶汽车 1. 边缘计算在自动驾驶汽车中的应用场景 自动驾驶汽车具有“智慧”和“能力”两层含义。所谓“智慧”是指汽车能够像人一样智能地感知、综合、判断、推理、决断和记忆; 所谓“能力”是指自动驾驶汽车能够确保“智慧”有效执行,可以实施主动控制,并能够进行人机交互与协同。自动驾驶是“智慧”和“能力”的有机结合,二者相辅相成,缺一不可。 为实现“智慧”和“能力”,自动驾驶技术一般包括环境感知、决策规划和车辆控制3部分。类似于人类驾驶员在驾驶过程中,通过视觉、听觉、触觉等感官系统感知行驶环境和车辆状态,自动驾驶系统通过配置内部和外部传感器获取自身状态及周边环境信息。内部传感器主要包括车辆速度传感器、加速传感器、轮速传感器、横摆角速度传感器等。主流的外部传感器包括摄像头、激光雷达、毫米波雷达及定位系统等,这些传感器可以提供海量的全方位行驶环境信息。为有效利用这些传感器信息,需要利用传感器融合技术将多种传感器在空间和时间上的独立信息、互补信息以及冗余信息按照某种准则组合起来,从而提供对环境的准确理解。决策规划子系统代表自动驾驶技术的认知层,包括决策和规划两个方面。决策体系定义了各部分之间的相互关系和功能分配,决定了车辆的安全行驶模式; 规划体系用以生成安全、实时的无碰撞轨迹。车辆控制子系统用以实现车辆的纵向车距、车速控制和横向车辆位置控制等,是车辆智能化的最终执行机构。环境感知和决策规划对应自动驾驶系统的“智慧”,而车辆控制则体现了其“能力”。 随着自动驾驶等级的提升,并且配备的车内和车外高级传感器的增多,一辆自动驾驶汽车每天可以产生大约25TB的原始数据。这些原始数据需要在本地进行实时的处理、融合、特征提取,包括基于深度学习的目标检测和跟踪等高级分析,同时需要利用车用无线通信技术(Vehicle to Everything,V2X)提升对环境、道路和其他车辆的感知能力,通过3D高清地图进行实时建模和定位、路径规划和选择、驾驶策略调整,进而安全地控制车辆。由于这些计算任务都需要在车内终结来保证处理和响应的实时性,因此需要性能强大可靠的边缘计算平台来执行。考虑到计算任务的差异性,为了提高执行效率并降低功耗和成本,一般需要支持异构的计算平台。 随着自动驾驶的技术发展,算法不断完善,算法固化可以做专用集成电路(Application Specific Integrated Circuit,ASIC)专用芯片,将传感器和算法集成到一起,实现在传感器内部完成边缘计算,进一步降低后端计算平台的计算量,有利于降低功耗、体积。 自动驾驶除了包括车载计算单元,还涉及RSU、MEC和CDN等边缘服务器。随着5G技术的商用,特别是对于车路协同解决方案(V2X),将满足其对于超大带宽和超高可靠性的需求。同时,原本在数据中心中运行的负载可以卸载到网络边缘侧,如高清3D地图更新、实时交通路况的推送、深度学习模型训练和大数据分析等从而进一步降低传输时延、提高响应速度。 2. 自动驾驶的边缘计算架构 自动驾驶的边缘计算架构依赖于边云协同和LTE/5G提供的通信基础设施和服务。边缘侧主要指车载边缘计算单元、RSU或MEC服务器等。其中车载单元是环境感知、决策规划和车辆控制的主体,但依赖于RSU或MEC服务器的协作,如RSU给车载单元提供了更多关于道路和行人的信息。但是有些功能运行在云端更加合适甚至无法替代,如车辆远程控制、车辆模拟仿真和验证、节点管理、数据的持久化保存和管理等。 自动驾驶边缘计算平台的特点主要包括如下几点。 1) 负载整合 目前,每辆汽车搭载60~100多个电子控制单元,用来支持娱乐、仪表盘、通信、引擎和座位控制等功能。例如,一款豪华车拥有144个电子控制单元(Electronic Control Unit,ECU),其中约73个使用控制器局域网(Controller Area Network,CAN)总线连接、61个使用本地互联网络(Local Interconnect Network,LIN),剩余10个使用FlexRay,这些不同ECU之间互联的线缆长度加起来有4000多米。这些线缆不仅增加成本和重量,对其进行安装和维护的工作量和成本也非常高。 随着电动汽车和自动驾驶汽车的发展,包括AI、云计算、车联网等新技术不断应用于汽车行业中,汽车控制系统的复杂度越来越高。同时,人们对于数字化生活的需求逐渐扩展到汽车上,如4K娱乐、虚拟办公、语音与手势识别、手机连接车载信息娱乐系统IVI(InVehicle Infotainment)等。所有这些都促使汽车品牌厂商不断采用负载整合的方式来简化汽车控制系统,集成不同系统的人机接口(Human Machine Interface,HMI),缩短上市时间。具体而言,就是将自动数据采集系统(Automatic Data Acquisition System,ADAS)、IVI、数字仪表、平视显示器(Head Up Display,HUD)和后座娱乐系统等不同属性的负载,通过虚拟化技术运行在同一个硬件平台上,自动驾驶负载整合如图510所示。 图510自动驾驶负载整合 同时,基于虚拟化和硬件抽象层(Hardware Abstraction Layer,HAL)的负载整合,更易于实现云端对整车驾驶系统进行灵活的业务编排、深度学习模型更新、软件和固件升级等。 2) 异构计算 自动驾驶边缘平台集成了多种不同属性的计算任务,如精确地理定位和路径规划、基于深度学习的目标识别和检测、图像预处理和特征提取、传感器融合和目标跟踪等。而这些不同的计算任务在不同的硬件平台上运行的性能和能耗比是不一样的。一般而言,对于目标识别和跟踪的卷积运算而言,GPU相对于数字信号处理器(Digital Signal Processor,DSP)和CPU的性能更好、能耗更低。而对于产生定位信息的特征提取算法而言,使用DSP则是更好的选择。 因此,为了提高自动驾驶边缘计算平台的性能和能耗比,降低计算时延,采用异构计算是非常重要的。异构计算针对不同计算任务选择合适的硬件实现,充分发挥不同硬件平台的优势,并通过统一上层软件接口来屏蔽硬件多样性。 3) 实时性 自动驾驶汽车对系统响应的实时性要求非常高,如在危险情况下,车辆制动响应时间直接关系到车辆、乘客和道路安全。 4) 连接性 车联网的核心是连接性,希望实现车辆与一切可能影响车辆的实体实现信息交互,包括车人通信、车网通信、车辆之间通信和车路通信等。 5.6.3智能工厂 1. 边缘计算在智能工厂中的应用场景 面对全球化的市场竞争格局和互联网消费文化的兴起,制造业企业不仅需要对产品、生产技术甚至业务模式进行创新,并以客户和市场需求来推动生产,而且需要提升企业的业务经营和生产管理水平,优化生产运营,提高效率和绩效,降低成本,保障可持续性发展,以应对日新月异的市场变革,包括市场对大规模、小批量、个性定制化生产的需求。 在这种背景下,智能制造成为企业必不可少的应对策略和手段。制造生产环境的数字化与信息化,以及在其基础上对生产制造进行进一步的优化升级,则是实现智能制造的必由之路。 在过去的十多年里,被广泛接纳的ISA95垂直分层的5层自动化金字塔一直被用于定义制造业的软件架构。在这个架构中,企业资源计划(Enterprise Resource Planning,ERP)系统处于顶层,MES紧接其下,SCADA系统处于中层,可编程逻辑控制器(Programmable Logic Controller,PLC)和分布式控制系统(Distributed Control System,DCS)置之其下,而实际的输入/输出信号在底部。 随着智能制造的发展,工业自动化和信息化、OT和IT不断融合,制造业的系统和软件架构也发生了变化。智能制造系统架构如图511所示。 图511智能制造系统架构 传统的设备控制层具备了智能,它能够进行数据采集和初步的数据处理,同时通过标准的实时总线,大量的设备过程状态、控制、监测数据被释放出来,接入上一层。由于制造业对于控制实时性以及数据安全性等的考量,将所有数据直接接入公有云是不现实的。此时,边缘计算却能够发挥巨大的作用,融合的自动化和控制层一般部署在边缘计算节点(Edge Computing Node,ECN)上,而企业应用如ERP、仓库管理系统(Warehouse Management System,WMS)可能运行在边缘侧,也可能运行在私有云或公有云上。 对于智能工厂而言,设备的连接是基础,数据收集和分析是关键手段,而把分析所得的信息用于做出最佳化的决策,优化生产和运营是最终的目的。因此,实现数据的管理和分析在这个优化过程中至关重要。 边缘计算的技术和架构在智能制造中的发展中一般需要经历3个阶段。 1) 连接未连接的设备 目前,在制造业企业内存在大量独立的棕地设备,这些设备每天产生TB级的数据。但由于来自不同的供应商且协议接口互不兼容,无法将这些设备数据采集出来并处理,从而不能释放出这些数据的价值,如预防性维护、整体设备利用率分析(Overall Equipment Effectiveness,OEE)。因此,很重要的一步是要将工厂内大量存在的棕地设备通过协议转换为标准的协议和信息模型,以便接入SCADA、MES,或接入边缘计算节点,进一步进行数据处理或缓存。 2) 智慧边缘计算 通过棕地设备的互连和协议转换,大量制造的数据被释放出来,为引入大数据和机器学习等先进的分析算法提供了充足的来源。这些分析算法运行在边缘计算节点上,为设备带来了智慧。例如,产品缺陷检测的深度学习模型通过大量标注数据训练出来,下发部署在ECN上。当接收到新的数据时,ECN自动运行这个检测算法,准确判断出产品是否有缺陷,在提高生产效率的同时,也降低了人工成本。 3) 自主系统 在这个阶段,ECN不仅具有智慧分析能力,而且能做出决策并实施闭环控制。此外,它还能通过训练自主学习和升级算法,并根据数据来源或生产场景,自动调整运行代码或算法。 2. 智能制造的边缘计算架构 在智能制造场景下的边缘计算对软件定义系统有很强的需求,在ECN上一般使用虚拟机或容器技术来运行多项业务,即所谓负载整合。负载之间的数据和控制信息相互隔离,实时性应用和非实时性应用相互隔离,保证各负载之间的安全性和完整性。同时,需支持负载的远程动态调度和编排,从而在可用的硬件资源上达到负载平衡。例如,对于运动控制应用,将软PLC、HMI、机器视觉应用等通过虚拟机或容器技术运行在同一个ECN上。 智能制造边缘计算节点基础架构如图512所示,其中的任务或负载可以运行在同一个节点上,也可以根据实际情况分布在多个不同节点上通过标准协议总线连接起来。例如,数据管理和数据存储运行在一个节点上,而高级学习和分析功能运行在另一个节点上。 图512智能制造边缘计算节点基础架构 1) 数据管理 数据管理功能涵盖了边缘计算节点上关于数据流的相关操作,具体包括以下几方面。 (1) 数据接入。用于接入智能控制器采集的设备参数、状态等结构化或半结构化数据; 也包括各种高级传感器(如摄像头、振动传感器等)获取的数据。同时实现不同协议的对接,如Modbus、MQTT、OPC UA等。 (2) 数据路由和传输。用于对等边缘计算节点之间或向中心节点的数据共享或数据聚合。 (3) 数据函数。接入的数据可以通过调用预定义函数或用户自定义的函数进行数据清洗、过滤、格式转换等处理,或通过预定义的简单边界条件触发报警等。 (4) 本地存储。本地存储包括持久和非持久存储。对于非持久存储,至少需要32GB的动态随机存取存储器(Dynamic Random Access Memory,DRAM)作为主存储,用于数据缓存和分析功能,一般需要支持ECC特性,保证数据读写的可靠性; 对于持久性存储,需要考虑边缘侧工业运行环境的要求,一般使用固态硬盘(Solid State Drive,SSD)。 2) 高级数据分析 数据分析包括大数据分析,在传统的商务行业特别是在电子商务中已有多年的应用和实践。随着智能制造的兴起和发展,工业分析或工业大数据在工业环境里的应用具有加速发展之势,如对设备的预测性维护、产品质量的监管、生产流程优化等。 3) 功能安全FuSa 在现代工业控制领域中,可编程电子硬件、软件系统的大量使用,大大提升了自动化程度。但由于设备设计的缺失,以及开发制造中风险管理意识的不足,这些存在设计缺陷的产品大量流入相关行业的安全控制系统中,已经造成了人身安全、财产损失和环境危害等。为此,各国历来对石化过程安全控制系统、电厂安全控制系统、核电安全控制系统全领域的产品安全性设计技术非常重视,并且将电子、电气及可编程电子安全控制系统相关的技术发展为一套成熟的产品安全设计技术,即“功能安全”技术。 4) 时间敏感网络 随着智能制造进程的推进,制造业现场设备间的互联互通变得越来越重要,迫切需要有一种具备时间确定性且通用的以太网技术。而在IEEE 802.1标准框架下制定的TSN子协议标准,就是为以太网协议建立“通用”的时间敏感机制,以确保网络数据传输的时间确定性,为不同协议(异构)网络之间的互操作提供可能性。TSN仅仅是关于以太网通信协议模型中的第二层,即数据链路层(MAC层)的协议标准,这个标准涉及的技术内容非常多,在协议实施时并非每一种都需要用到。 在智能制造边缘计算应用中,一般在与智能控制设备进行直接通信时,需要具备支持TSN的以太网节点,这个节点至少能够支持IEEE 1588时钟协议。而对于主要以数据存储和分析的节点而言,只需具备标准千兆网络的TCP/IP即可。 5) 实时性 在工业场景下,机器操作越快意味着越高的商业收益。机器操作可以达到毫秒甚至微秒级,要求连接必须能够匹配实时的通信需求。 在OT系统中,实时性主要是满足如实时控制等功能需求。 在IT系统中,实时性主要是要满足如实时信息处理等功能需求。 边缘设备域作为IT与OT融合的节点,要同时满足上述两方面的要求。实时控制需要利用在自动数据采集和生产过程监测中收集的数据来控制执行机构,处理的时延在毫秒级甚至微秒级。实时信息处理会利用传感器、控制器等多种信息源采集的数据,利用智能计算与信息处理、机器视觉、人工智能技术来优化控制模型,为生产决策提供支持。在时延要求方面,比实时控制更宽松,但所需要处理的计算量将超过前者。例如,工业系统检测、控制、执行的实时性高,部分场景实时性要求在10ms以内。如果数据分析和控制逻辑全部在云端实现,则难以满足业务的实时性要求。 6) 运行环境 对于靠近工业现场部署的边缘计算节点,需要达到长时间稳定运行,具体要求包括宽温设计、防尘、无风扇运行、具备加固耐用的外壳或者机箱等。而部署在企业机房或者温度控制环境内的分析边缘节点要求与传统服务器一致。 5.7边缘计算安全与隐私保护 边缘计算开创了一种新的计算模式,为解决时延和网络带宽负载问题带来极大的便利。但本地边缘设备的智能化,使得边缘计算的安全与隐私保护面临着新的挑战。 5.7.1安全概述和目标 边缘计算作为万物互联时代新型的计算模型,将原有云计算中心的部分或全部计算任务迁移到数据源的附近执行,提高数据传输性能,保证处理的实时性,同时降低云计算中心的计算负载,为解决目前云计算中存在的问题带来极大的便利。但与此同时,边缘计算作为一种新兴事物,面临着许多的挑战,特别是安全和隐私保护方面。 例如,在家庭内部部署万物互联系统,大量的隐私信息被传感器捕获,如何在隐私保护下提供服务; 在工业自动化领域,边缘计算设备承担部分计算及控制,如何有效抵抗恶意用户攻击; 边缘计算设备之间需要进行敏感数据交互,而不需要云计算中心的参与,如何防止信息泄露和滥用等。 安全是指达到抵抗某种安全威胁或安全攻击的能力,横跨云计算和边缘计算,需要实施端到端的防护。作为信息系统的一种计算模式,边缘计算存在信息系统普遍存在的共性安全问题,主要包括以下几方面。 (1) 应用安全: 拒绝服务攻击、越权访问、软件漏洞、权限滥用、身份假冒等。 (2) 网络安全: 恶意代码入侵、缓冲区溢出、窃取、篡改、删除、伪造数据等。 (3) 信息安全: 数据丢失或泄露、数据库破解、备份失效、隐私失密等。 (4) 系统安全: 计算机硬件损坏、操作系统漏洞、恶意内部人员等。 同时,作为一种新的计算模式,边缘计算在上述安全问题上具有自己的特殊性,将会产生新的安全问题。 (1) 边缘计算是一种分布式架构,很多数据由各处的计算资源共同处理,中间还有一些数据需要通过网络传输,由于边缘设备更靠近万物互联的终端设备,网络环境更加复杂,并且边缘设备对于终端具有较高的控制权限,因此更容易受到恶意软件感染和安全漏洞攻击,受到攻击时的损失就更大,这些问题使得网络边缘侧的访问控制与威胁防护的广度和难度大幅提升。 (2) 边缘计算采用广泛的技术,包括无线传感器网络、移动数据采集、点对点特设网络、网格计算、移动边缘计算、分布式数据存储和检索等,在这种异构多域网络环境下,需要设计统一的用户接入、身份认证、权限管理方案,并在不同安全之间实现安全策略的一致性转换和执行。 (3) 物联网中实时性应用可以依赖边缘计算的实现,如自动驾驶、工业控制等这些应用对时延性要求很高,在对数据安全保护的同时不可避免地将引入时延,如何在保证高效传输处理的同时保证数据安全和隐私是边缘计算面临的特殊性问题。 在智慧城市、车联网、智能家居、智能楼宇、植入式医疗设备、摄像头等物联网应用和产品中安全问题更加突出。安全已经成为阻碍云计算和物联网发展得更快的最大因素。 边缘计算是物联网的延伸和云计算的扩展,三者的有机结合将为万物互联时代的信息处理提供较为完美的软硬件支撑平台,为能源、交通、制造等行业带来飞跃式发展。但将类似云计算的功能带到网络的边缘同样会带来一些安全问题,如异构边缘数据中心之间的协作安全,本地与全球范围内的服务迁移安全等。 边缘计算是行业数字化转型的重要抓手,它与云计算的协同互动,将改变行业信息化的未来。在边缘计算安全研究方面,可以参考现有的一些研究基础。例如,同样作为数据中心,边缘计算安全和云计算安全存在相似的地方,现有的针对云计算安全提出的解决方案可以为研究边缘计算安全方案提供一定指导。另外,各种密码技术如安全加密、数字签名、杂凑函数等技术趋于成熟,也为未来边缘计算安全研究提供技术和工具支撑。 面对攻击时,保证边缘计算系统提供服务的安全性和系统自身的安全性,是边缘计算系统需要达到的安全目标。 边缘计算设备是一个集连接、计算、存储和应用的开放平台,其作为一个小型数据中心,需要达成类似云计算数据中心的数据安全和访问控制。边缘计算设备贴近数据源侧,使得资源受限设备的一些安全问题迁移到边缘设备上,需要在物联网终端设备和边缘中心之间实现有效的身份认证和信任管理。越来越多的企业和个人在选择计算服务时,更加注重安全的保护,因此边缘计算安全与隐私保护问题将是影响未来边缘计算发展的一个关键因素,需要引起广泛的重视。 5.7.2安全威胁分析 边缘计算模式下,设备不仅是数据的消费者,也是数据的生产者。边缘设备不仅可以从云端请求服务和数据,还可以执行来自物联网终端和云端的计算任务。边缘可以执行计算卸载、数据存储、缓存和处理,以及将云的请求和服务传递给物联网用户。边缘计算的本质是物联网的延伸和云计算的扩展,为现有计算模式带来便利的同时,不可避免地会引入一些安全威胁。 边缘计算与云计算的对比如表52所示。 表52边缘计算与云计算的对比 参数云计算边 缘 计 算 服务节点位置互联网内本地网络边缘 终端和服务器的距离多跳单跳/多跳 时延高低 位置信息不提供可提供 地理分布中心化分布式、密集 服务器节点数量很少很多 最后一公里连接专线/无线主要是无线 移动性有限的支持支持 工作环境室内户外/室内 部署中心化中心化或者分布在需要的区域 硬件大量的存储空间和计算资源有限的存储、计算和无线接口 目前,云计算面临多种类型的安全威胁,如网络攻击、渗透等传统网络安全威胁,资源虚拟化技术引入的越权访问、反向控制、内存泄漏等基础设施安全威胁,由于云的公共服务特性,拒绝服务攻击是恶意用户对云计算网络安全方面的主要攻击类型。 相较于云计算,首先,边缘计算一般可位于室内也可位于户外,分布相对分散,是一种分布式计算,更贴近网络边缘侧,环境更加复杂,并且更多使用无线技术进行传输,不仅会面临上述威胁,而且会带来新的问题,如边缘设备相互协作时的数据安全如何保证,分布式环境下统一的身份管理等。其次,云计算中隐私泄露的突出表现为数据泄露和滥用、用户喜好行为分析; 而在边缘计算中,边缘设备可以提供终端位置信息,导致在使用服务的过程中很容易暴露用户的位置隐私信息。最后,云计算具有大量的存储和计算资源,在面临一些传统的网络攻击时,如拒绝服务攻击、网络端口扫描等可以通过部署防火墙,入侵检测和防御设备来应对; 而边缘计算中心计算资源、存储能力有限,部分适用于云计算的防御措施无法直接部署在边缘设备上,使得边缘计算中的安全防御具有更高的挑战性。 边缘计算安全威胁分析如图513所示。 图513边缘计算安全威胁分析 设备域主要考虑自然灾害和设备运行过程中面临的安全问题。网络域主要完成设备的海量和实时连接,很容易受到拒绝服务攻击,来自虚假中心、恶意节点的威胁。数据域主要完成数据聚合和数据分析,并为应用域提供数据计算结果,如何实现数据的安全与隐私保护是边缘计算安全需要重点关注的内容。应用域支持行业应用本地化入驻,支持边缘业务高效运营与可视化管理,越来越多的应用从云计算迁移到边缘中心,这对边缘中心的身份管理和访问控制造成一定的安全威胁。 5.8APAX5580/AMAX5580边缘智能控制器 下面讲述台湾研华公司生产的一款功能强大的边缘智能控制器。 5.8.1APAX5580边缘智能控制器 APAX5580是台湾研华公司生产的一款功能强大的边缘智能控制器,采用英特尔酷睿i7/i3/赛扬CPU,它是与APAX I/O模块相结合的理想开放式控制平台,通过不同接口可完成灵活的I/O数据采集,实时I/O控制以及网络通信,支持冗余电源输入以实现鲁棒的电源系统,它还内置了一个用于无线通信和研华iDoor技术的标准mini PCIe插槽。APAX5580是数据网关、集中器和数据服务器应用程序的最佳解决方案,它与I/O的无缝集成可以节省成本并完成各种自动化项目。APAX5580边缘智能控制器外形如图514所示。 图514APAX5580边缘智能控制器外形 5.8.2AMAX5580边缘智能控制器 AMAX5580是APAX5580的升级版,采用英特尔酷睿(Intel Core)i7/i5/赛扬CPU,它是与AMAX5000系列EtherCAT工业以太网插片IO模块相结合的理想开放式控制平台,通过不同接口可完成灵活的I/O数据采集,实时I/O控制以及网络通信。AMAX5580边缘智能控制器外形如图515所示。 图515AMAX5580边缘智能控制器外形 5.8.3APAX5580/AMAX5580边缘智能与I/O一体化控制器 主要特点 下面介绍APAX5580/AMAX5580边缘智能与I/O一体化控制器的主要特点。 1. 嵌入式计算平台 (1) Intel第四代Haswell架构Celeron M,Core i7/i3高性能CPU。 (2) 电源输入和UPS电源供电。 (3) 内嵌的工业级固态硬盘mSATA。 (4) 适合工业控制柜导轨式安装。 2. 模块化I/O数据采集与通信接口 (1) 模块化本地I/O,可支持768点本地I/O及更多的远程I/O。 (2) 最多可扩展24个串口(RS232/422/485)。 (3) 支持iDoor现场总线(EtherCAT、CANopen和PROFINET)。 3. 开放的操作系统支持 (1) 基于Windows & Linux。 (2) 支持CODESYS RTE实时控制系统(50μs)。 (3) 远程管理与云端服务。 (4) 可无缝连接数据库。 (5) 整合现场总线。 (6) 集成SUSI设备管理。 4. 开放式架构集成工控专用软件 (1) IEC611313 CODESYS软逻辑软件。 (2) 支持高级语言编程开发工具。 (3) 整合数据库与协议转换网关。 (4) 整合物联网软件WebAccess连入云端。 (5) 丰富的图形化界面集成HMI/SCADA。 (6) 相对湿度: 10%~95%RH@40℃,无冷凝。 5.8.4APAX5580/AMAX5580边缘智能控制器的优势 APAX5580/AMAX5580边缘智能控制器具有以下优势。 (1) 将逻辑控制、运动控制、协议转换、数据采集、组态软件、远程/无线传输的软硬件功能高度集成,提升多级系统信息交换速度,确保产线设备联动与信息系统交互快速响应。 (2) 一件代替多件,降低产线控制基础硬件成本。 (3) 开放架构不仅支持OT软件也支持IT软件嵌入,快速解决生产信息孤岛。 (4) 内部自带四大软件: PLC编程、运动控制、组态软件和上云服务,节省IT与OT工程师开发周期。 5.8.5APAX5580/AMAX5580的应用软件 下面介绍APAX5580/AMAX5580的应用软件。 1. CODESYS CODESYS是世界领先的基于PC的控制软件,支持IEC611313和实时现场总线,如EtherCAT、PROFINET、以太网/IP和Modbus,它将本地和远程可视化功能集成在一个软件中,可以缩短时间、降低成本。 2. WebAccess WebAccess作为Advantech物联网解决方案的核心,是HMI和SCADA软件基于Web浏览器的完整软件包。HMI和SCADA的所有软件功能包括动画图形显示、实时数据、控制、趋势、警报和日志,它们都可以在标准的Web浏览器中使用。WebAccess是基于最新的互联网技术构建的,由于其开放的体系结构,在垂直领域的应用程序可以很容易地进行集成。 5.8.6APAX5580/AMAX5580边缘智能控制器的应用 下面介绍APAX5580/AMAX5580的边缘智能控制器的应用。 1. PLC/SCADA正被边缘计算/网关+分布式I/O取代 控制系统的传统模式和未来模式的架构如图516所示。 图516控制系统的传统模式和未来模式的架构 控制系统的传统模式和未来模式的架构实例如图517所示。 图517控制系统的传统模式和未来模式的架构实例 2. APAX5580/AMAX5580边缘智能控制器优势整合PLC控制+设备联网 在智能制造浪潮下,自动化架构将从传统的PLC控制器向基于物联网的边缘智能控制器发展。 未来的趋势如下。 (1) 边缘网关/边缘计算直接连接扩展远程I/O。 (2) 远程I/O的通道成本低于PLC。 (3) 系统整合不需要PLC梯形图编程。 APAX5580/AMAX5580边缘智能控制器在智慧城市(如电力与新能源、市政基础环境设施、城市地下综合管廊和建筑中央空调节能等)、智慧运维服务、整合EFMS+优化控制、环境与能源SCADA和整合IT与OT等领域得到广泛的应用。 APAX5580边缘智能控制器整合PLC控制+设备联网,其应用实例如图518所示。 图518APAX5580边缘智能控制器的应用实例 3. 边缘网关和边缘计算在设备联网中的差异化价值 要根据设备联网的数据应用目标评估决定是采用边缘网关还是边缘计算方案。 (1) 边缘网关在设备联网的价值为数据收集和转发,秒级数据传输速度。采集点数有限,速度低(100Hz以下),数据存储容量有限。 (2) 边缘计算在设备联网的价值为本地数据采集和分析,高速通信实时性,采集点数密度高,超大数据存储容量。 (3) 边缘网关处理设备的关键特征数据: 小范围/小规模/小数据量/MQTT。 (4) 边缘计算数据采集/分析/诊断: 大规模/大范围/大数据量/复杂行业协议转换。 (5) 边缘网关/设备联网最优方案组合为边缘网关(ARM)+低密度分布式I/O(ADAM4000/6000系列产品)。 (6) 边缘计算/设备联网最优方案组合为边缘计算(x86)+高密度分布式I/O(ADAM5000/APAX5000/AMAX5000 IO系列产品)。 除上面介绍的研华公司的边缘智能控制器外,还有西门子公司的SIMATIC S7 CPU 1500、霍尼韦尔公司的Control Edge PLC HC900和奥普图OPTO 22公司的EPIC等边缘智能控制器。 习题 1. 什么是云计算? 2. 云计算具有什么特点? 3. 云计算有哪3种服务模式? 4. SaaS是什么? 5. SaaS的主要功能是什么? 6. 什么是PaaS? 7. 什么是IaaS? 8. IaaS的主要功能是什么? 9. 什么是边缘计算? 10. 边缘计算发展的契机是什么? 11. 边缘计算的基本结构是什么? 12. 边缘计算的基本特点有哪些? 13. 画出边缘计算功能模块图。 14. 边缘计算可以与哪些前沿技术关联或融合? 15. 什么是边缘存储? 16. 边缘存储的优势是什么? 17. 画出边缘计算软件架构图。 18. 简述2种边缘计算应用案例。 19. APAX5580的边缘智能控制器的主要功能是什么? 20. APAX5580/AMAX5580边缘智能控制器具有什么优势?