目录
Contents 
项目 1.基础开发环境的安装与配置 ………………………………… 1
任务 1.1.通过 Anaconda3安装基础开发环境 ………………………………………… 4
任务 1.2.常见问题与解决方案 ……………………………………………………………13
项目总结 ………………………………………………………………………………………20
项目巩固与提高 ………………………………………………………………………………20

项目 2.通过国务院新闻网官方 API获取时政新闻 ……………… 21
任务 2.1.从开放的 API采集数据 …………………………………………………………23
任务 2.2.将数据存储到 Excel文件 ………………………………………………………27
项目总结 ………………………………………………………………………………………28
项目巩固与提高 ………………………………………………………………………………29
项目 3.采集巨潮资讯网的股票财经信息 ………………………… 30
任务 3.1. Chrome网络抓包工具的使用  …………………………………………………33 
任务 3.2. 通过截获 XHR请求采集数据 ……………………………………………………35 
任务 3.3. 采集更多信息 ……………………………………………………………………41 

项目总结 ………………………………………………………………………………………44
项目巩固与提高 ………………………………………………………………………………45 

IV
互联网数据采集技术与应用
项目4 采集网络个性头像… ………………………………………… 46
任务4.1 采集图片数据… ……………………………………………………………………52
任务4.2 二进制数据的存储… ………………………………………………………………60
项目总结…………………………………………………………………………………………76
项目巩固与提高…………………………………………………………………………………77
项目5 获取全国主要城市未来5 天的天气情况… ………………… 78
任务5.1 申请API 接口… ……………………………………………………………………79
任务5.2 采集天气数据… ……………………………………………………………………81
项目总结…………………………………………………………………………………………89
项目巩固与提高…………………………………………………………………………………90
项目6 对多个MySQL 数据库进行数据整合… …………………… 91
任务6.1 数据读取与合并… ……………………………………………………………… 104
项目总结……………………………………………………………………………………… 109
项目巩固与提高……………………………………………………………………………… 110
项目7 通过MongoDB 对半结构化Excel 数据进行高效存储… … 111
任务7.1 MongoDB 安装… ……………………………………………………………… 113
任务7.2 MongoDB shell 工具… ………………………………………………………… 122
任务7.3 pymongo 的安装与使用………………………………………………………… 124
任务7.4 批量将Excel 数据存入MongoDB… ………………………………………… 128
项目总结……………………………………………………………………………………… 130
项目巩固与提高……………………………………………………………………………… 130
参考文献… ……………………………………………………………… 131