目录 第1章机器学习的发展史1 引言1 1.1机器学习1 1.1.1机器学习的定义和研究意义1 1.1.2机器学习的发展史3 1.1.3机器学习系统的基本结构4 1.1.4机器学习的分类5 1.1.5目前研究领域9 1.2统计模式识别问题9 1.2.1机器学习问题的表示10 1.2.2经验风险最小化11 1.2.3复杂性与推广能力12 1.3统计机器学习理论的核心内容13 1.3.1学习过程一致性的条件13 1.3.2推广性的界13 1.3.3结构风险最小化15 1.4解耦因果学习16 1.4.1因果学习17 1.4.2相关工作18 1.4.3解耦因果学习方法与应用18 1.5总结21 课后习题21 第2章决策树学习22 引言22 2.1决策树学习概述22 2.1.1决策树23 2.1.2性质24 2.1.3应用24 2.1.4学习24 2.2决策树设计25 2.2.1决策树的特点25 2.2.2决策树的生成25 2.3总结30 课后习题30 第3章PAC模型31 引言31 3.1基本的PAC模型31 3.1.1PAC简介31 3.1.2基本概念31 3.1.3问题框架32 3.2PAC模型样本复杂度分析33 3.2.1有限空间样本复杂度33 3.2.2无限空间样本复杂度34 3.3VC维计算35 3.4总结36 课后习题36 第4章贝叶斯学习37 引言37 4.1贝叶斯学习37 4.1.1贝叶斯公式37 4.1.2最小误差决策38 4.1.3正态密度38 4.1.4最大似然估计39 4.2朴素贝叶斯原理及应用40 4.2.1贝叶斯最佳假设原理40 4.2.2基于朴素贝叶斯的文本分类器40 4.3HMM（隐马尔可夫模型）及应用43 4.3.1马尔可夫性43 4.3.2马尔可夫链44 4.3.3转移概率矩阵44 4.3.4HMM（隐马尔可夫模型）及应用44 4.4总结48 课后习题49 第5章支持向量机50 引言50 5.1支持向量机概述50 5.1.1margin最大化50 5.1.2支持向量机优化51 5.2支持向量机的实例55 5.3支持向量机的实现算法55 5.4多类支持向量机57 5.5总结58 课后习题58 第6章AdaBoost59 引言59 6.1AdaBoost与目标检测59 6.1.1AdaBoost算法59 6.1.2AdaBoost训练61 6.1.3AdaBoost实例62 6.2具有强鲁棒性的实时目标检测63 6.2.1Haarlike矩形特征选取63 6.2.2积分图63 6.2.3训练结果64 6.2.4级联64 6.3随机森林65 6.3.1原理阐述66 6.3.2算法详解66 6.3.3算法分析67 6.4总结67 课后习题68 第7章压缩感知69 引言69 7.1压缩感知理论框架69 7.2压缩感知的基本理论及核心问题70 7.2.1压缩感知的数学模型70 7.2.2信号的稀疏表示70 7.2.3信号的观测矩阵71 7.2.4信号的重构算法72 7.3压缩感知的应用72 7.3.1应用72 7.3.2人脸识别73 7.4总结74 课后习题75 第8章子空间76 引言76 8.1基于主成分分析的特征提取76 8.2数学模型78 8.3主成分的数学上的计算78 8.3.1两个线性代数的结论78 8.3.2基于协方差矩阵的特征值分解79 8.3.3主成分分析的步骤80 8.4主成分分析的性质80 8.5基于主成分分析的人脸识别方法81 8.6总结82 课后习题82 第9章神经网络与深度学习83 引言83 9.1神经网络及其主要算法83 9.1.1前馈神经网络83 9.1.2感知器83 9.1.3反向传播算法85 9.2深度学习87 9.2.1深度学习算法基础与网络模型87 9.2.2深度学习算法原理88 9.2.3卷积神经网络算法原理91 9.3深度学习网络模型94 9.3.1深度学习网络架构94 9.3.2网络模型优化95 9.3.3代表性的网络模型97 9.4总结102 课后习题102 第10章调制压缩神经网络103 引言103 10.1神经网络模型压缩概述103 10.1.1量化与二值化104 10.1.2剪枝与共享104 10.2调制压缩神经网络106 10.3损失函数107 10.4前向卷积108 10.4.1重构卷积核108 10.4.2调制网络的前向卷积过程109 10.5调制卷积神经网络模型的梯度反传110 10.6MCN网络的实验验证112 10.6.1模型收敛效率114 10.6.2模型时间分析114 10.6.3实验结果114 课后习题115 第11章批量白化技术116 引言116 11.1批量标准化技术116 11.2批量白化方法117 11.2.1随机坐标交换问题117 11.2.2ZCA白化119 11.3批量白化模块121 11.4分析和讨论123 11.4.1提高模型的条件情况123 11.4.2近似的动态等距性124 11.5总结124 课后习题125 第12章正交权重矩阵126 引言126 12.1多个依赖的Stiefel流优化126 12.2正交权重矩阵的特性127 12.2.1稳定激活值的分布127 12.2.2规整化神经网络127 12.3正交权重标准化技术128 12.3.1设计正交变换128 12.3.2反向传播129 12.3.3正交线性模块130 12.4实验与分析131 12.4.1求解多个依赖的Stiefel流优化问题方法比较131 12.4.2多层感知机实验133 12.4.3ImageNet 2012大规模图像数据分类实验134 12.5总结135 课后习题135 第13章强化学习136 引言136 13.1AlphaGo技术136 13.2强化学习概述139 13.3强化学习过程140 13.3.1马尔可夫性140 13.3.2奖励141 13.3.3估价函数141 13.3.4动态规划141 13.3.5蒙特卡罗方法142 13.3.6时序差分学习143 13.4Q学习算法144 13.4.1Q学习算法介绍144 13.4.2奖励145 13.4.3Q学习算法的改进147 13.5程序实现148 课后习题151 参考文献152