目录
CONTENTS
第1章 TensorFlow与编程	1
1.1 语言与系统的支持	1
1.2 TensFlow的特点	2
1.3 TensorFlow的环境搭建	3
1.3.1 安装环境介绍	3
1.3.2 安装TensorFlow	5
1.3.3 安装测试	6
1.4 张量	7
1.4.1 张量的概念	7
1.4.2 张量的使用	8
1.4.3 NumPy库	9
1.4.4 张量的阶	10
1.4.5 张量的形状	10
1.5 认识变量	11
1.5.1 变量的创建	11
1.5.2 变量的初始化	19
1.6 矩阵的操作	21
1.6.1 矩阵的生成	22
1.6.2 矩阵的变换	25
1.7 图的实现	31
1.8 会话的实现	34
1.9 读取数据方式	36
1.9.1 列表格式	37
1.9.2 读取图像数据	38
第2章 自然语言处理与深度学习基础	40
2.1 自然语言概述	40
2.1.1 自然语言处理面临的困难	40
2.1.2 自然语言处理的发展趋势	41
2.1.3 自然语言处理的特点	42
2.2 NLP技术前沿与未来趋势	43
2.2.1 挑战与突破	43
2.2.2 人机交互的未来	43
2.2.3 未来发展趋势与展望	44
2.2.4 技术挑战与解决路径	44
2.3 深度学习	44
2.3.1 深度学习背景	45
2.3.2 深度学习的核心思想	46
2.3.3 深度学习的应用	47
2.4 深度学习的优势与劣势	51
第3章 神经网络算法基础	52
3.1 激活函数及实现	53
3.1.1 激活函数的用途	53
3.1.2 几种激活函数	53
3.1.3 几种激活函数的绘图	57
3.2 门函数及实现	59
3.3 单个神经元的扩展及实现	62
3.4 构建多层神经网络	65
第4章 词嵌入	69
4.1 词嵌入概述	69
4.2 分布式表示	69
4.2.1 分布式假设	70
4.2.2 共现矩阵	70
4.2.3 存在的问题	73
4.3 jieba分词处理	73
4.3.1 jieba库的三种模式和常用函数	74
4.3.2 jieba库分词的其他操作	75
4.3.3 中文词频统计实例	81
4.4 离散表示	82
4.4.1 one-hot编码	82
4.4.2 词袋模型	87
4.4.3 TF-IDF算法	90
4.4.4 n-gram模型	92
4.5 word2vec模型	98
4.5.1 word2vec模型介绍	98
4.5.2 word2vec模型结构	103
4.5.3 Skip-gram算法	105
4.5.4 CBOW算法	106
4.5.5 CBOW算法与Skip-gram算法的对比	107
4.5.6 算法改进	108
4.5.7 训练概率	109
4.5.8 word2vec实现	110
第5章 卷积神经网络分析与文本分类	120
5.1 全连接网络的局限性	120
5.2 卷积神经网络的结构	121
5.2.1 卷积层	122
5.2.2 池化层	129
5.2.3 全连接层	131
5.3 卷积神经网络的训练	131
5.3.1 池化层反向传播	132
5.3.2 卷积层反向传播	134
5.4 卷积神经网络的实现	139
5.4.1 识别0和1数字	139
5.4.2 预测MNIST数字	145
5.5 NLP的卷积	149
5.5.1 NLP卷积概述	149
5.5.2 用于文本分类的CNN	151
第6章 几种经典的卷积神经网络	161
6.1 AlexNet	161
6.1.1 AlexNet的结构	161
6.1.2 AlexNet的亮点	162
6.1.3 AlexNet的实现	163
6.2 DeepID网络	168
6.3 VGGNet	169
6.3.1 VGGNet的特点	169
6.3.2 VGGNet的结构	169
6.3.3 VGGNet的实现	171
6.4 Inception Net	175
6.4.1 Inception Net的原理	175
6.4.2 Inception Net的经典应用	176
6.5 ResNet	181
6.5.1 ResNet的结构	181
6.5.2 ResNet的实现	184
第7章 循环神经网络及语言模型	190
7.1 循环神经网络概述	190
7.1.1 循环神经网络的原理	191
7.1.2 循环神经网络的简单应用	194
7.2 损失函数	195
7.3 梯度求解	196
7.3.1 E3关于参数V的偏导数	197
7.3.2 E3关于参数W的偏导数	197
7.3.3 E3关于参数U的偏导数	197
7.3.4 梯度消失问题	198
7.4 循环神经网络的经典应用	198
7.4.1 实现二进制数加法运算	198
7.4.2 实现拟合回声信号序列	202
7.4.3 基于字符级循环神经网络的语言模型	209
7.4.4 使用PyTorch实现基于字符级循环神经网络的语言模型	213
第8章 长短期记忆及自动生成文本	220
8.1 长短期记忆网络	220
8.1.1 LSTM核心思想	221
8.1.2 LSTM详解与实现	222
8.2 窥视孔连接	230
8.3 GRU网络对MNIST数据集分类	231
8.4 双向循环神经网络对MNIST数据集分类	233
8.5 CTC实现端到端训练的语音识别模型	237
8.6 LSTM生成文本预测	244
8.6.1 模型训练	244
8.6.2 预测文本	246
第9章 其他网络的经典分析与应用	248
9.1 自编码网络及实现	248
9.1.1 自编码网络的结构	248
9.1.2 自编码网络的代码实现	249
9.2 栈式自编码器及实现	256
9.2.1 栈式自编码概述	256
9.2.2 栈式自编码训练	256
9.2.3 栈式自编码实现MNIST手写数字分类	257
9.2.4 栈式自编码器的应用场合与实现	259
9.3 变分自编码及实现	268
9.3.1 变分自编码原理	268
9.3.2 变分自编码模拟生成MNIST数据	269
9.4 条件变分自编码及实现	275
9.4.1 条件变分自编码概述	275
9.4.2 条件变分自编码网络生成MNIST数据	275
参考文献	281