目录





第1章深度学习简介

1.1什么是机器学习

1.2什么是深度学习

1.2.1深度学习的发展

1.2.2深度学习的3个层次

1.2.3深度学习的3种结构类型

1.3深度学习的研究现状

1.4本章小结

1.5习题

第2章Theano基础

2.1初识Theano

2.2安装Theano

2.3配置环境变量

2.4Theano中的符号变量

2.5Theano编程风格

2.6Theano中的函数

2.6.1函数的定义

2.6.2函数的复制

2.6.3Theano中重要的函数

2.7Theano中的符号计算图模型

2.7.1variable节点

2.7.2type节点

2.7.3apply节点

2.7.4op节点

2.7.5符号计算图模型

2.8Theano中的条件表达式

2.9Theano中的循环

2.9.1scan循环的参数

2.9.2scan循环演示

2.10Theano中的常用Debug技巧

2.11本章小结

2.12习题

第3章线性代数基础

3.1标量、向量、矩阵和张量

3.2线性相关与生成子空间

3.2.1线性组合

3.2.2线性相关

3.2.3向量组的秩

3.2.4实例： 求解方程组

3.2.5实例： 线性回归

3.3范数

3.3.1向量范数

3.3.2矩阵范数

3.4特殊的矩阵与向量

3.5特征值分解

3.6奇异值分解

3.7迹运算

3.8本章小结

3.9习题

第4章概率与信息论

4.1概率的用途

4.2样本空间与随机变量

4.3随机变量的分布函数

4.4一维随机变量

4.4.1离散型随机变量和分布律

4.4.2连续型随机变量和概率密度函数

4.4.3分辨离散型随机变量和连续型随机变量

4.5多维随机变量

4.5.1二维随机变量及其分布函数

4.5.2边缘分布函数

4.6数学期望、方差、协方差

4.6.1数学期望

4.6.2方差

4.6.3协方差

4.7贝叶斯规则

4.7.1条件概率

4.7.2贝叶斯公式

4.7.3朴素贝叶斯

4.8正态分布与最大似然估计

4.8.1正态分布

4.8.2最大似然估计

4.9信息论

4.9.1信息熵

4.9.2条件熵

4.9.3互信息

4.9.4相对熵与交叉熵

4.10本章小结

4.11习题

第5章深度学习基础知识

5.1学习算法

5.1.1任务T

5.1.2性能度量P

5.1.3经验E

5.1.4人工神经网络

5.1.5反向传播算法

5.1.6MP神经元模型

5.1.7激活函数

5.2容量与拟合

5.2.1机器学习中的泛化

5.2.2过拟合

5.2.3欠拟合

5.2.4没有免费的午餐定理

5.3评估方法

5.4偏差与方差

5.5监督学习算法

5.5.1线性回归

5.5.2Logistic回归

5.5.3支持向量机

5.6无监督学习算法

5.6.1K均值聚类

5.6.2主成分分析

5.7本章小结

5.8习题

第6章数值计算与最优化

6.1计算的稳定性

6.1.1上溢和下溢

6.1.2平滑与0

6.1.3算法稳定性与扰动

6.2数据的稳定性

6.2.1独立同分布与泛化能力

6.2.2类别不平衡

6.3性能的稳定性

6.4病态条件数

6.5梯度下降算法

6.6优化算法的选择

6.7本章小结

6.8习题

第7章概率图模型

7.1概率图模型

7.2生成模型与判别模型

7.2.1生成模型

7.2.2判别模型

7.3表示理论与推理理论

7.4链式法则和因子分解

7.5独立性和条件独立性

7.6贝叶斯网络

7.7马尔可夫网络

7.7.1条件独立性

7.7.2分解性质

7.7.3图像降噪

7.8图模型中的推断

7.8.1链推断

7.8.2树

7.8.3因子图

7.8.4置信传播算法

7.8.5一般图的精确推断

7.8.6学习图结构

7.9本章小结

7.10习题

第8章前馈神经网络

8.1神经元

8.2人工神经网络

8.3感知机

8.3.1线性单元

8.3.2感知机的训练

8.4激活函数

8.4.1Sigmoid函数

8.4.2Tanh函数

8.4.3ReLU函数

8.4.4Softmax函数

8.5基于梯度的学习

8.5.1前馈神经网络的基本概念

8.5.2随机梯度下降算法

8.6本章小结

8.7习题

第9章反向传播与梯度计算

9.1风险最小化

9.1.1经验风险最小化

9.1.2结构风险最小化

9.2梯度计算

9.2.1输出层梯度

9.2.2隐藏层梯度

9.2.3参数梯度

9.2.4梯度消失和梯度爆炸

9.3反向传播

9.4本章小结

9.5习题

第10章自编码器

10.1自编码器概述

10.2欠完备自编码器

10.3常见的几种自编码器

10.3.1降噪自编码器

10.3.2稀疏自编码器

10.3.3栈式自编码器

10.4本章小结

10.5习题

第11章玻尔兹曼机及其相关模型

11.1玻尔兹曼机

11.1.1玻尔兹曼机概述

11.1.2受限玻尔兹曼机

11.2能量模型

11.2.1能量函数

11.2.2能量函数与势函数

11.2.3势函数与概率分布

11.3近似推断

11.3.1边缘分布

11.3.2条件分布

11.4对比散度

11.5本章小结

11.6习题

第12章循环神经网络

12.1循环神经网络概述

12.2语言模型

12.3双向循环神经网络

12.4深度循环神经网络

12.5循环神经网络的训练

12.5.1前向计算

12.5.2误差项的计算

12.5.3权重梯度的计算

12.6循环神经网络中的梯度爆炸和梯度消失

12.7RNN的应用举例——基于RNN的语言模型

12.7.1向量化

12.7.2Softmax层

12.7.3语言模型的训练

12.8本章小结

12.9习题

第13章递归神经网络

13.1递归神经网络概述

13.2递归神经网络的前向计算

13.3递归神经网络的训练

13.3.1误差项的传递

13.3.2权重梯度的计算

13.3.3权重更新

13.4长短期记忆网络

13.4.1遗忘门

13.4.2输入门与输出门

13.4.3候选门

13.5本章小结

13.6习题

第14章卷积神经网络

14.1卷积运算

14.2网络结构

14.3卷积层

14.4池化层

14.5输出值的计算

14.6池化层输出值的计算

14.7本章小结

14.8习题