工具集基础用例演示篇
第1章  HuggingFace简介	3
第2章  使用编码工具	6
2.1  编码工具简介	6
2.2  编码工具工作流示意	6
2.3  使用编码工具	8
2.4  小结	15
第3章  使用数据集工具	16
3.1  数据集工具介绍	16
3.2  使用数据集工具	17
3.2.1  数据集加载和保存	17
3.2.2  数据集基本操作	19
3.2.3  将数据集保存为其他格式	24
3.3  小结	25
第4章  使用评价指标工具	26
4.1  评价指标工具介绍	26
4.2  使用评价指标工具	26
4.3  小结	27
第5章  使用管道工具	28
5.1  管道工具介绍	28
5.2  使用管道工具	28
5.2.1  常见任务演示	28
5.2.2  替换模型执行任务	34
5.3  小结	35
第6章  使用训练工具	36
6.1  训练工具介绍	36
6.2  使用训练工具	36
6.2.1  准备数据集	36
6.2.2  定义模型和训练工具	39
6.2.3  训练和测试	43
6.3  小结	47
中文项目实战篇	
第7章  实战任务1：中文情感分类	51
7.1  任务简介	51
7.2  数据集介绍	51
7.3  模型架构	52
7.4  实现代码	53
7.4.1  准备数据集	53
7.4.2  定义模型	58
7.4.3  训练和测试	60
7.5  小结	64
第8章  实战任务2：中文填空	65
8.1  任务简介	65
8.2  数据集介绍	65
8.3  模型架构	66
8.4  实现代码	67
8.4.1  准备数据集	67
8.4.2  定义模型	73
8.4.3  训练和测试	76
8.5  小结	79
第9章  实战任务3：中文句子关系推断	81
9.1  任务简介	81
9.2  数据集介绍	81
9.3  模型架构	82
9.4  实现代码	83
9.4.1  准备数据集	83
9.4.2  定义模型	88
9.4.3  训练和测试	90
9.5  小结	92
第10章  实战任务4：中文命名实体识别	93
10.1  任务简介	93
10.2  数据集介绍	93
10.3  模型架构	95
10.4  实现代码	96
10.4.1  准备数据集	96
10.4.2  定义模型	102
10.4.3  训练和测试	105
10.5  小结	115
第11章  使用TensorFlow训练	116
11.1  任务简介	116
11.2  数据集介绍	116
11.3  模型架构	116
11.4  实现代码	117
11.4.1  准备数据集	117
11.4.2  定义模型	121
11.4.3  训练和测试	123
11.5  小结	132
第12章  使用自动模型	133
12.1  任务简介	133
12.2  数据集介绍	134
12.3  模型架构	134
12.4  实现代码	135
12.4.1  准备数据集	135
12.4.2  加载自动模型	137
12.4.3  训练和测试	138
12.5  深入自动模型源代码	141
12.6  小结	147


预训练模型底层原理篇
第13章  手动实现Transformer	151
13.1  Transformer架构	151
13.2  注意力	152
13.2.1  为什么需要注意力	152
13.2.2  注意力的计算过程	153
13.2.3  注意力计算的矩阵形式	155
13.2.4  多头注意力	156
13.3  位置编码	157
13.3.1  为什么需要位置编码	157
13.3.2  位置编码计算过程	157
13.4  MASK	159
13.4.1  PAD MASK	159
13.4.2  上三角MASK	160
13.5  Transformer计算流程	161
13.5.1  编码器	161
13.5.2  整体计算流程	162
13.5.3  解码器解码过程详细讲解	163
13.5.4  总体架构	164
13.6  简单翻译任务	165
13.6.1  任务介绍	165
13.6.2  定义数据集	166
13.6.3  定义MASK函数	169
13.6.4  定义Transformer工具子层	171
13.6.5  定义Transformer模型	176
13.6.6  训练和测试	180
13.7  两数相加任务	184
13.7.1  任务介绍	184
13.7.2  实现代码	185
13.7.3  训练和测试	186
13.8  小结	189
第14章  手动实现BERT	190
14.1  BERT架构	190
14.2  数据集处理	191
14.2.1  数据处理过程概述	191
14.2.2  数据集介绍	193
14.2.3  数据处理实现代码	193
14.3  PyTorch提供的Transformer工具层介绍	201
14.4  手动实现BERT模型	211
14.4.1  准备数据集	211
14.4.2  定义辅助函数	215
14.4.3  定义BERT模型	217
14.4.4  训练和测试	219
14.5  小结	226


　　
VI


VII