配套资源



第1章深度学习数学基础

1.1高等数学之微积分

1.1.1重识微分

1.1.2微分的解读

1.1.3微分与函数的单调性和凹凸性

1.1.4微分的链式法则

1.1.5偏微分与全微分

1.1.6梯度与方向导数

1.1.7泰勒公式与麦克劳林公式

1.1.8拉格朗日乘子法

1.1.9重识积分

1.1.10不定积分和反导数

1.1.11定积分与牛顿莱布尼茨公式

1.1.12微积分的基本定理

1.2线性代数

1.2.1线性方程组

1.2.2线性方程组的矩阵求解法

1.2.3矩阵乘法

1.2.4向量的数乘

1.2.5向量的加法

1.2.6向量的线性组合

1.2.7向量空间

1.2.8向量的线性相关和线性无关

1.2.9向量乘法

1.2.10向量的正交

1.2.11向量与矩阵

1.2.12特征值和特征向量

1.3概率论

1.3.1频数

1.3.2数据位置

1.3.3数据散布

1.3.4随机变量的类型和概率分布

1.3.5理论概率分布之常见的离散型分布

1.3.6理论概率分布之常见的连续型分布

1.3.7经验概率分布

1.4统计学

1.4.1大数定律与中心极限定理

1.4.2参数估计

1.4.3统计量和抽样分布

1.4.4假设检验

1.4.5相关性分析

第2章神经网络理论基础

2.1线性模型

2.1.1线性模型的定义

2.1.2损失函数

2.1.3梯度下降算法

2.1.4广义线性模型

2.2回归与分类

2.2.1回归和分类问题的定义与联系

2.2.2线性模型解决回归和分类问题

2.3感知机模型

2.3.1感知机模型定义与理解

2.3.2神经网络算法与深度学习模型

2.3.3反向传播算法

2.4激活函数

2.4.1激活函数的定义与作用

2.4.2常用激活函数

2.5维度诅咒

2.5.1神经网络的层级结构

2.5.2维度诅咒与过拟合

2.6过拟合与欠拟合

2.6.1过拟合和欠拟合现象的定义

2.6.2过拟合和欠拟合现象的产生原因

2.7正则

2.7.1L1和L2正则

2.7.2DropOut

2.8数据增强

2.9数值不稳定性

第3章卷积神经网络

3.1卷积神经网络基础

3.1.1卷积神经网络的计算

3.1.2卷积的设计思想

3.1.3卷积进行特征提取的过程

3.1.4池化与采样

3.1.5卷积神经网络的感受野

3.1.6卷积模型实现图像识别

3.1.7第1个卷积神经网络模型： LeNet

3.2卷积的变体算法

3.2.1逐通道卷积

3.2.2逐点卷积

3.2.3深度可分离卷积

3.2.4组卷积

3.2.5空间可分离卷积

3.2.6空洞卷积

3.2.7转置卷积

3.2.8稀疏卷积

3.2.9多维卷积

第4章循环神经网络

4.1循环神经网络基础

4.1.1序列数据

4.1.2RNN模型

4.1.3语言模型

4.1.4文本预处理

4.1.5建模和预测


4.2循环神经网络的变体模型

4.2.1门控循环单元

4.2.2长短期记忆网络

4.2.3深度循环神经网络

4.2.4双向循环神经网络

4.2.5基于注意力的循环神经网络

第5章编码器解码器模型

5.1编码器解码器模型基础

5.1.1编码器解码器模型的基本结构

5.1.2编码器解码器模型在自然语音处理领域的应用

5.1.3编码器解码器模型在计算机视觉领域的应用

5.1.4自编码器模型

5.2CV中的编码器解码器： VAE模型

5.2.1VAE模型简明指导

5.2.2潜空间

5.2.3最大似然估计

5.2.4隐变量模型

5.2.5蒙特卡洛采样

5.2.6变分推断

5.3NLP中的编码器解码器： Seq2Seq模型

5.3.1Seq2Seq编码器

5.3.2Seq2Seq解码器

5.3.3Seq2Seq的Attention机制

5.3.4Seq2Seq的Teacher Forcing策略

5.3.5Seq2Seq评价指标BLEU

5.3.6Seq2Seq模型小结

第6章变形金刚算法

6.1算法基础

6.1.1算法概况

6.1.2自注意力层

6.1.3多头自注意力层

6.1.4编码器结构

6.1.5解码器结构

6.1.6线性顶层和Softmax层

6.1.7输入数据的向量化


6.2NLP中的Transformer模型

6.2.1BERT

6.2.2GPT

6.3CV中的Transformer模型

6.3.1Vision Transformer

6.3.2Swin Transformer

6.4Transformer小结

第7章生成对抗网络

7.1生成对抗网络基础

7.1.1GAN的模型结构

7.1.2GAN模型的训练

7.2改进的GAN

7.2.1模式崩溃

7.2.2模式崩溃的解决方法

7.3fGAN

7.3.1GAN模型损失与散度

7.3.2GAN损失的通用框架f散度

7.4WGAN

7.4.1传统的GAN模型梯度消失的分析

7.4.2Wasserstein距离

7.4.3由Wasserstein距离推导WGAN的损失

7.4.4使用梯度惩罚

7.5CycleGAN

7.5.1循环一致性

7.5.2对抗训练

7.5.3损失函数

7.5.4训练流程

7.5.5小结

第8章扩散模型

8.1扩散模型基础

8.1.1扩散模型的基本原理

8.1.2DDPM扩散模型与变分自编码器的比较

8.2去噪扩散概率模型(DDPM) 

8.2.1DDPM前向扩散简明指导

8.2.2DDPM反向去噪过程


8.2.3DDPM扩散模型的损失函数

8.2.4DDPM扩散模型的使用

第9章图神经网络

9.1图神经网络算法基础

9.1.1图的表示

9.1.2图数据的任务类型

9.1.3图数据的嵌入

9.2图神经网络模型

9.2.1消息传递神经网络

9.2.2图神经网络的层结构与连接性

9.2.3图神经网络模型的训练

9.3图神经网络算法基础的变体

9.3.1GCN

9.3.2GraphSAGE

9.3.3GAT

第10章强化学习

10.1强化学习基础概念

10.1.1概述

10.1.2强化学习基本概念

10.1.3理解强化学习中的随机性

10.2基于价值的深度强化学习(DQN)

10.2.1DQN介绍

10.2.2贝尔曼方程与时序差分学习

10.2.3训练神经网络

10.2.4估计网络与目标网络

10.3基于策略的深度强化学习

10.3.1算法介绍： 基于策略的强化学习

10.3.2策略优化

10.3.3对比梯度上升和时序差分

10.4演员评论家模型

10.4.1算法介绍： 演员评论家模型

10.4.2演员评论家模型算法训练

10.4.3演员评论家模型算法的优缺点

10.4.4对比生成对抗网络和演员评论家模型算法