目录 第1章项目概述1 1.1项目需求和目标1 1.2预备知识2 1.3项目架构2 1.4开发环境和工具3 1.5项目开发流程4 1.6本章小结5 第2章搭建Hadoop集群环境6 2.1基础环境搭建6 2.1.1创建虚拟机6 2.1.2安装Linux操作系统14 2.1.3克隆虚拟机22 2.1.4配置虚拟机25 2.1.5安装JDK37 2.2部署ZooKeeper集群40 2.3部署Hadoop集群45 2.4本章小结57 第3章数据采集58 3.1数据采集概述58 3.2部署Flume59 3.3采集招聘信息62 3.4本章小结66 第4章数据预处理67 4.1数据预处理概述67 4.2招聘信息分析68 4.3设计数据预处理方案69 4.4实现数据预处理69 4.4.1数据预处理环境准备69 4.4.2创建工具类71 4.4.3实现Map过程74 4.4.4实现驱动类75 4.4.5运行MapReduce程序76 4.5本章小结79 第5章数据分析80 5.1数据分析概述80 5.2部署Hive81 5.3数据仓库88 5.3.1数据仓库简介88 5.3.2数据仓库设计89 5.3.3构建数据仓库92 5.4分析招聘信息97 5.4.1分析大数据职位的区域分布97 5.4.2分析大数据职位的薪资区间98 5.4.3分析大数据职位的学历要求99 5.4.4分析大数据职位的职位标签99 5.5本章小结101 第6章数据可视化102 6.1数据可视化概述102 6.2数据迁移103 6.2.1部署Sqoop103 6.2.2创建表105 6.2.3实现数据迁移107 6.3FineBI的安装与配置111 6.4实现数据可视化120 6.4.1新建数据集120 6.4.2实现区域分布的可视化123 6.4.3实现薪资区间的可视化131 6.4.4实现学历要求的可视化136 6.4.5实现职位标签的可视化140 6.5本章小结143