前言 2016年11月,“全国高校数据科学与大数据技术专业教学研讨会”在东北大学举办。当时,《大数据导论》第1版刚上市,就在研讨会书展上亮相了。那时,大数据技术的学术书籍不少,但大学相关专业的基础教育的教材还很少。 一晃五年多了。如今,大数据(Big Data)已经是高校的热门专业,大数据相关课程也成为在校大学生的“必修”内容。《大数据导论》也受到许多高校师生的欢迎,荣获“清华大学出版社2019年度畅销图书”称号。 近年来,大数据技术与应用已经成为全球学术界、企业界、政府机关以及社会高度关注的热点。大数据的力量正在积极地影响着社会的方方面面,彻底改变人们的学习和日常生活方式,包括教育方式、生活方式、工作方式,甚至寻找爱情的方式。同时,大数据相关技术与教育有了长足的发展。几年来,我们编写的大数据系列丛书已经出版了《大数据导论》《大数据可视化》《大数据可视化技术》《大数据分析》《大数据存储——从SQL到NoSQL》《大数据基础与Python机器学习》《大数据挖掘及应用》《大数据伦理与职业素养》等多部,都获得了很好的市场反响。 在大数据时代,成功的关键在于找出大数据隐含的真知灼见。以前,人们总说信息就是力量,但如今,对数据进行分析、利用和挖掘才是力量之所在。《大数据导论》的这次改版,删减了一些过时的内容,丰富了新知识、新思想,并适当调整了教学内容的顺序。例如,充实了大数据预测分析、大数据与人工智能、大数据存储技术、大数据处理技术、大数据与云计算、大数据安全与法律的知识。继续强调学生自主学习能力的培养,加强课程思政教育建设,强调重视大数据的伦理与职业素养教育。 对于在校大学生来说,大数据的理念、技术与应用是一门理论性和实践性都很强的必修课程。在长期的教学实践中,我们体会到,坚持“因材施教”的重要原则,把实践环节与理论教学相融合,抓实践教学促进理论知识的学习,是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是: 理论联系实际,结合一系列了解和熟悉大数据理念、技术与应用的学习和实践活动,把大数据的相关概念、基础知识和技术技巧融入实践当中,使学生保持浓厚的学习热情,加深对大数据技术的兴趣、认识、理解和掌握。 本书系统、全面地介绍了大数据的基本知识和应用技能,详细介绍了大数据与大数据时代、大数据思维变革、大数据可视化、大数据的商业规则、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据与人工智能、大数据存储技术、大数据处理技术、大数据与云计算、大数据安全与法律、数据科学与数据科学家以及大数据的未来等内容,具有较强的系统性、可读性和实用性。 全书精心设计了课程教学过程,每章都有针对性地安排了课前导读案例、课程教学内容和课后作业与实验练习等环节,要求和指导学生在课前导读、课后阅读、网络浏览的基础上自主拓展学习,深入理解大数据的知识内涵。 本课程的教学进度设计见“课程教学进度表”,该表可作为教师授课参考和学生课程学习的概要。实际执行时,应按照教学大纲编排教学进度,按照校历考虑本学期节假日安排,实际确定本课程的教学进度。 本课程的教学评测可以从以下几个方面入手。 (1) 每章的课前导读案例(14项); (2) 每章的课后作业(14项); (3) 每章的课后实验与思考(13项); (4) 课程学习与实验总结(大作业,第14章); (5) 结合平时考勤; (6) 任课老师认为必要的其他考核方法。 本书配备了300分钟精致的微课视频,供读者理解掌握核心知识点。扫描封底的刮刮卡注册,再扫描书中的二维码即可观看视频。与本书配套的教学PPT课件等文档,读者可从清华大学出版社网站下载。 本书的编写得到了温州商学院、浙江安防职业技术学院、浙大城市学院、浙江大学等多所院校师生的支持,在此一并表示感谢! 周苏 2022年春节于西子湖畔 课程教学进度表(20—20学年第学期) 课程号: ×××课程名称: 大数据导论学分: 2周学时: 2 总学时: 32(课外实践学时: 28主讲教师: ×××)序号校历周次章节(或实验、习题课等)名称与内容学时教学方法课后作业布置11引言与第1章大数据与大数据时代222第1章 大数据与大数据时代233第2章 大数据思维变革244第3章 大数据可视化255第4章 大数据的商业规则266第5章 大数据促进医疗与健康277第6章 大数据激发创造力288第7章 大数据预测分析299第8章 大数据与人工智能21010第9章 大数据存储技术21111第9章 大数据存储技术21212第10章 大数据处理技术21313第11章 大数据与云计算21414第12章 大数据安全与法律21515第13章 数据科学与数据科学家21616第14章 大数据的未来2课前 导读案例 课堂教学作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考课程学习与实验总结填表人(签字): 日期: 系(教研室)主任(签字): 日期:大数据(Big Data)的力量,正在积极地影响着社会的方方面面,它冲击着许多主要的行业,包括零售业、电子商务和金融服务业等,同时,也正在彻底地改变人们的学习和日常生活: 改变教育方式、生活方式、工作方式,甚至是人们寻找爱情的方式。如今,通过简单、易用的移动应用和基于云端的数据服务,能够追踪自己的行为以及饮食习惯,还能提升个人的健康状况。因此,有必要真正理解大数据这个极其重要的议题。 中国是大数据最大的潜在市场之一。据估计,中国有近六亿网民,这就意味着中国的企业拥有绝佳的机会来更好地了解其客户并提供更个性化的体验,同时为企业增加收入并提高利润。阿里巴巴就是一个很好的例子。阿里巴巴不但在其商业模式上具有颠覆性,而且还掌握了与购买行为、产品需求和库存供应相关的海量数据。除了阿里巴巴高层的领导能力之外,大数据必然是其成功的一个关键因素。 然而,仅有数据是不够的。对于身处大数据时代的企业而言,成功的关键还在于找出大数据所隐含的真知灼见。“以前,人们总说信息就是力量,但如今,对数据进行分析、利用和挖掘才是力量之所在。” 很多年前,人们就开始对数据进行利用。例如,航空公司利用数据为机票定价,银行利用数据搞清楚贷款对象,信用卡公司则利用数据侦破信用卡诈骗等。但是直到最近,数据,或者用现今的说法就是大数据,才真正成为人们日常生活的一部分。随着脸书(Facebook)、谷歌(Google)、推特(Twitter)以及QQ、微信、淘宝等的出现,大数据游戏被永远改变了。你和我,或者任何一个享受这些服务的用户都生成了一条数据足迹,它能够反映出我们的行为。每次我们进行搜索,例如查找某个人或者访问某个网站,都加深了这条足迹。互联网企业开始创建新技术来存储、分析激增的数据——结果就迎来了被称为“大数据”的创新爆炸。 进入2012年以来,由于互联网和信息行业的快速发展,大数据越来越引起人们的关注,已经引发自云计算、互联网之后IT行业的又一大颠覆性的技术革命。人们用大数据来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营信息、互联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。 对于在校大学生来说,大数据的理念、技术与应用是一门理论性和实践性都很强的“必修”课程。在长期的教学实践中,我们体会到,坚持“因材施教”的重要原则,把实践环节与理论教学相融合,抓实践教学促进理论知识的学习,是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是: 理论联系实际,结合一系列了解和熟悉大数据理念、技术与应用的学习和实践活动,把大数据的相关概念、基础知识和技术技巧融入实践当中,使学生保持浓厚的学习热情,加深对大数据技术的兴趣、认识、理解和掌握。 本书是为高等院校相关专业,尤其是信息管理、经济管理类专业开设“大数据”相关课程而全新设计编写,具有丰富实践特色的主教材,也可供有一定实践经验的IT应用人员、管理人员参考和作为继续教育的教材。 本书系统、全面地介绍了大数据的基本知识和应用技能,详细介绍了大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学习、大数据在云端、支撑大数据的技术、数据科学与数据科学家以及大数据的未来等内容,具有较强的系统性、可读性和实用性。 结合课堂教学方法改革的要求,全书设计了课程教学过程,为每章教学内容都有针对性地安排了课前阅读、课程教学内容和课后实验练习等环节,要求和指导学生在课前、课后阅读课文、网络搜索浏览的基础上,延伸阅读,深入理解课程知识内涵。 本课程的教学进度设计见《课程教学进度表》,该表可作为教师授课参考和学生课程学习的概要。实际执行时,应按照教学大纲编排教学进度,按照校历考虑本学期节假日安排,实际确定本课程的教学进度。 本课程的教学评测可以从以下几个方面入手。 (1) 每周的课前阅读(12次); (2) 每周的课后实验与思考(11次); (3) 课程实验总结(第12章); (4) 结合平时考勤; (5) 任课老师认为必要的其他考核方法。 与本书配套的教学PPT课件等文档可从清华大学出版社网站下载,欢迎教师与作者交流并索取为本书教学配套的相关资料并交流。 本书的编写得到了浙江大学城市学院、浙江省科技人才教育中心、温州安防职业技术学院、浙江商业职业技术学院等多所院校师生的支持,张丽娜、蔡锦锦、孙曙迎、王硕苹等参与了本书的部分编写工作,在此一并表示感谢! 周苏 2016年春节于西子湖畔