目录 第1章大数据概述 1.1大数据发展背景 1.1.1引言 1．1．2发展历程 1．2大数据相关概念及特点 1．2．1大数据特点 1．2．2相关概念介绍 1．3大数据应用过程 1．3．1数据采集 1．3．2预处理 1．3．3数据存储管理 1．3．4数据挖掘分析 1．4大数据技术 1．4．1大数据集群 1．4．2大数据技术架构 1．5大数据行业应用 1．5．1互联网与电子商务行业 1．5．2医疗健康行业 1．5．3交通行业大数据应用 1．5．4金融行业 1．5．5政府机构 1．5．6零售业 1．5．7其他应用领域 1．6大数据的挑战和机遇 1．6．1大数据的挑战 1．6．2大数据的机遇 1．7本书内容结构介绍 第2章Hadoop基础 2．1概念介绍 2．1．1架构 2．1．2Apache Hadoop概述 2．2Hadoop的安全性 2．2．1安全问题 2．2．2Simple机制 2．2．3Kerberos机制 2．2．4委托令牌 2．3实验环境准备 2．3．1虚拟机安装 2．3．2CentOS 7 系统安装 2．3．3其他软件安装 2．4搭建Hadoop 2．4．1CentOS 7系统配置 2．4．2SSH免密码登录 2．4．3配置JDK 2．4．4解压Hadoop 2．4．5配置Hadoop 2．4．6启动Hadoop 第3章HDFS的介绍和简单操作 3．1Hadoop分布式文件系统(HDFS) 3．2HDFS的原理 3．3HDFS写操作 3．4HDFS读操作 3．5HDFS删除操作 3．6HDFS常用命令 3．7实验 3．7．1创建目录 3．7．2上传文件命令 3．7．3罗列HDFS上的文件 3．7．4查看HDFS里某一个文件 3．7．5将HDFS中的文件复制到本地 3．7．6递归删除HDFS下的文档 第4章YARN的原理和操作 4．1YARN简介 4．1．1YARN的概念及背景 4．1．2YARN的使用 4．1．3YARN介绍 4．2YARN的基本架构 4．3YARN的工作流程 4．4YARN协议 4．5YARN的优点 第5章MapReduce的介绍和简单使用 5．1MapReduce简介 5．2Map过程 5．3Reduce过程 5．4开发环境的搭建 5．5实验 5．5．1单词计数 5．5．2二次排序实验 5．5．3计数器实验 第6章Hive 6．1Hive 简介 6．1．1Hive基础 6．1．2Hive的工作原理 6．1．3Hive与传统数据库 6．2HiveQL基础 6．3Hive的安装与配置 6．3．1搭建Hive 6．3．2安装配置MySQL 6．3．3配置Hive 6．4实验 第7章HBase 7．1HBase简介 7．1．1HBase基础 7．1．2HBase数据模型 7．1．3HBase访问接口 7．2HBase与RDBMS 7．3HBase的安装与配置 7．3．1伪分布式安装 7．3．2完全分布式 7．4实验 第8章ZooKeeper基础 8．1ZooKeeper简介 8．1．1概念简介 8．1．2主要特点 8．2ZooKeeper体系结构 8．3关键算法ZAB 8．4ZooKeeper集群搭建 8．5ZooKeeper四字命令 8．6实验 8．6．1ZooKeeper客户端 8．6．2ZooKeeper Java API的使用 第9章Spark基础 9．1Spark介绍 9．1．1概念介绍 9．1．2组件介绍 9．1．3特性 9．2Spark主要架构 9．3Spark计算模型 9．4Spark运行模式 9．5Spark SQL 9．5．1Hive and Shark 9．5．2Shark和Spark SQL 9．5．3Spark SQL运行架构 9．5．4sqlContext和hiveContext的运行过程 9．6Spark Steaming 9．6．1术语定义 9．6．2Storm与Spark Streaming的比较 9．6．3运行原理 9．7安装Spark 9．8实验 第10章Apache Kafka 10．1基础概念介绍 10．1．1消息队列 10．1．2消息中间件 10．2Kafka结构 10．3Producer和Consumer 10．3．1Kafka Producer 10．3．2Kafka Consumer 10．3．3消费状态跟踪 10．4Kafka的特性 10．5消息与日志 10．5．1写操作 10．5．2读操作 10．5．3删除操作 10．5．4消息可靠性 10．6实验 10．6．1Kafka集群搭建 10．6．2消息发送与接收 参考文献