第1章项目概述1
1.1项目需求和目标1
1.2预备知识2
1.3项目架构设计及技术选取2
1.4开发环境和开发工具介绍3
1.5项目开发流程3
小结5
第2章搭建大数据集群环境6
2.1安装准备6
2.1.1虚拟机安装与克隆6
2.1.2虚拟机网络配置19
2.1.3SSH服务配置25
2.2Hadoop集群搭建31
2.2.1JDK安装31
2.2.2Hadoop安装33
2.2.3Hadoop集群配置35
2.2.4Hadoop集群测试39
2.2.5通过UI界面查看Hadoop
运行状态43
2.3Hive安装44
2.3.1Hive的安装模式44
2.3.2Hive的安装45
2.4Sqoop安装49
小结52
第3章数据采集53
3.1知识概要53
3.1.1数据源分类53
3.1.2HTTP请求过程543.1.3认识HttpClient57
3.2分析与准备57
3.2.1分析网页数据结构57
3.2.2数据采集环境准备59
3.3采集网页数据62
3.3.1创建响应结果JavaBean类62
3.3.2封装HTTP请求的工具类63
3.3.3封装存储在HDFS的工具类68
3.3.4实现网页数据采集70
小结72
目录大数据项目实战第4章数据预处理73
4.1分析预处理数据73
4.2设计数据预处理方案75
4.3实现数据的预处理76
4.3.1数据预处理环境准备76
4.3.2创建数据转换类77
4.3.3创建实现Map任务的Mapper类81
4.3.4创建并执行MapReduce程序83
4.4将数据预处理程序提交到集群中运行84
小结91
第5章数据分析92
5.1数据分析概述92
5.2Hive数据仓库92
5.2.1什么是Hive92
5.2.2设计Hive数据仓库93
5.2.3实现数据仓库95
5.3分析数据99
5.3.1职位区域分析99
5.3.2职位薪资分析100
5.3.3公司福利分析104
5.3.4职位技能要求分析105
小结106
第6章数据可视化107
6.1平台概述107
6.1.1系统介绍107
6.1.2系统架构107
6.2数据迁移108
6.2.1创建关系型数据库108
6.2.2通过Sqoop实现数据迁移110
6.3平台环境搭建112
6.3.1新建Maven项目112
6.3.2配置pom.xml文件114
6.3.3项目组织结构117
6.3.4编辑配置文件117
6.4实现图形化展示功能123
6.4.1实现职位区域分布展示124
6.4.2实现薪资分布展示128
6.4.3实现福利标签词云图132
6.4.4实现技能标签词云图137
6.4.5平台可视化展示141
小结142