目   录

第 1 章 导论与预备知识	1
1.1 欧几里得空间 中的点集	1
1.1.1 集合 	1
1.1.2 欧几里得空间  的性质 	2
1.1.3 中的点集拓扑 	4
1.1.4  中的极限 	6
1.1.5 上确界与下确界	6
1.2 连续函数	9
1.2.1 连续函数的定义与性质 	9
1.2.2 上极限与下极限 	11
1.2.3 上半连续性与下半连续性 	13
1.3 多元函数的微分中值定理与 Taylor 公式 	13
1.3.1 多元函数的微分中值定理 	13
1.3.2 多元函数的 Taylor 公式 	15
1.4 凸集 	16
1.4.1 仿射集 	16
1.4.2 凸集 	17
1.4.3 凸集分离定理 	18
1.5 锥 	25
1.5.1 锥和凸锥 	25
1.5.2 广义不等式 	26
1.5.3 最小元与极小元 	27
1.6 对偶锥.	28
1.6.1 对偶锥 	28
1.6.2 对偶广义不等式 	30
拓展阅读建议 	31
第 1 章习题 	31
第 2 章 凸函数	34
2.1 凸函数的定义及判定 	34
2.1.1 凸函数的定义 	34
2.1.2 一元凸函数的判定 	35
2.1.3 多元凸函数的判定 	36
2.2 凸函数的性质 	41
2.2.1 一元凸函数的连续性与单边导数 	41
2.2.2 多元凸函数的连续性	43
2.2.3 上图与下水平集 	46
2.2.4 凸函数的极值 	47
2.3 保持凸性的运算	48
2.4 应用及例子 	52
2.4.1 .-范数 	52
2.4.2 Jensen 不等式 	56
2.4.3 凸函数/凹函数的例子	59
2.5 共轭函数 	62
2.5.1 共轭函数的定义与计算实例 	62
2.5.2 共轭函数的性质 	68
2.6 矩阵的核范数 	70
拓展阅读建议 	73
第 2 章习题 	74
第 3 章 优化问题 	80
3.1 优化问题 	80
3.2 凸优化问题 	82
3.2.1 凸优化问题的概念 	82
3.2.2 凸优化问题的性质 	82
3.3 Lagrange 对偶函数 	85
3.3.1 Lagrange 对偶函数的定义 	85
3.3.2 最优值的下界估计 	87
3.3.3 Lagrange 对偶函数与共轭函数的关系 	88
3.4 Lagrange 对偶问题 	90
3.4.1 对偶问题的概念及例子 	90
3.4.2 强对偶性 	92
3.5 最优性条件 	97
3.5.1 无约束优化问题的最优性条件 	97
3.5.2 只含等式约束的优化问题的最优条件 	98
3.5.3 只含不等式约束的优化问题的最优条件 	101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 	103
3.5.5 凸优化问题的 Karush-Kuhn-Tucker 定理 	109
拓展阅读建议 	109
第 3 章习题 	109
第 4 章 广义不等式约束与向量优化 	116
4.1 广义单调性与凸性 	116
4.1.1 相关概念回顾 	116
4.1.2 在偏序集上取值的函数 	117
4.1.3 可微函数的单调性和凸性条件 	120
4.2 效用函数相关知识 	122
4.2.1 偏序、全序和预序 	122
4.2.2 效用函数 	124
4.2.3 连续效用函数 	126
4.2.4 von Neumann-Morgenstern 期望效用函数 	132
4.3 广义不等式约束的凸优化问题 	135
4.3.1 问题的一般形式 	135
4.3.2 半定规划 	136
4.3.3 一些例子 	137
4.4 向量优化 	141
4.4.1 向量优化问题 	141
4.4.2 向量优化问题的标量化 	143
4.4.3 凸向量优化问题 	144
4.5 福利经济学基本定理 	146
4.5.1 产品经济系统 	146
4.5.2 福利经济学基本定理 	148
拓展阅读建议 	150
第 4 章习题 	151
第 5 章 优化算法基础知识 	152
5.1 算法的收敛性与收敛速度 	152
5.2 一维牛顿法与割线法 	154
5.3 区间分割法 	157
5.4 线搜索.	161
拓展阅读建议 	172
第 5 章习题 	172
第 6 章 梯度下降法与共轭梯度法 	174
6.1 梯度下降法 	174
6.1.1 梯度下降法的基本思想与算法 	174
6.1.2 强凸性 	177
6.1.3 梯度下降法的收敛性与误差分析 	179
6.2 共轭梯度法 	183
6.2.1 无约束二次优化问题的共轭梯度法 	183
6.2.2 非线性共轭梯度法 	190
6.3 信赖域子问题	192
6.3.1 信赖域子问题及其最优性条件 	192
6.3.2 截断共轭梯度法 	194
6.4 逻辑回归问题	196
6.4.1 逻辑回归模型 	196
6.4.2 模型参数估计 	197
6.4.3 计算实例 	202
6.4.4 多分类问题 	206
拓展阅读建议 	210
第 6 章习题 	210
第 7 章 牛顿法与拟牛顿法 	212
7.1 牛顿法.	212
7.1.1 牛顿法的基本思想 	212
7.1.2 Hesse 矩阵不正定时的处理 	213
7.1.3 牛顿法的收敛性 	217
7.1.4 计算实例 	220
7.2 拟牛顿法 	226
7.2.1 拟牛顿法的基本思想 	226
7.2.2 几种常用的拟牛顿法 	228
7.2.3 计算实例 	233
7.3 正交距离回归	238
7.3.1 变量带误差模型 	238
7.3.2 正交距离回归模型 	239
7.3.3 参数估计算法 	240
拓展阅读建议 	245
第 7 章习题 	246
第 8 章 线性规划与二次规划 	249
8.1 线性规划 	249
8.1.1 线性规划的标准形式 	249
8.1.2 线性规划的对偶问题与最优性条件 	250
8.1.3 可行集的几何性质 	251
8.1.4 单纯形法 	252
8.1.5 启动点的计算 	254
8.2 等式约束二次规划 	255
8.2.1 等式约束二次规划及其最优性条件 	255
8.2.2 等式约束二次规划算法 	257
8.2.3 计算实例 	260
8.3 不等式约束二次规划 	261
8.3.1 不等式约束二次规划的最优性条件 	261
8.3.2 积极集方法 	262
8.3.3 启动点的计算 	265
拓展阅读建议 	267
第 8 章习题 	267
第 9 章 约束非线性优化 	269
9.1 等式约束凸优化 	269
9.1.1 等式约束凸优化的最优性条件 	269
9.1.2 等式约束凸优化的牛顿法 	269
9.1.3 初始点不是可行点的牛顿法 	271
9.1.4 计算实例 	274
9.2 内点法 	276
9.2.1 一个具体的例子 	276
9.2.2 凸优化问题的内点法 	280
9.2.3 两阶段法 	283
9.3 支持向量机 	284
9.3.1 支持向量机模型 	284
9.3.2 求解方法 	286
9.3.3 核支持向量机 	293
9.3.4 计算实例 	297
拓展阅读建议 	301
第 9 章习题 	302
第 10 章 机器学习中常用的复合优化算法 	303
10.1 增广 Lagrange 函数法 	303
10.1.1 对偶上升法 	303
10.1.2 增广 Lagrange 乘数法 	304
10.2 次梯度与次微分 	306
10.2.1 扩展实值函数 	306
10.2.2 闭函数 	307
10.2.3 次梯度与次微分 	307
10.2.4 次微分的性质 	309
10.2.5 次微分的运算法则 	314
10.3 交替方向乘数法 	314
10.3.1 算法 	314
10.3.2 收敛性分析 	316
10.4 近似点算法 	320
10.4.1 邻近算子 	320
10.4.2 近似点梯度法 	326
10.4.3 LASSO 回归问题 	328
10.5 坐标下降法与分块坐标下降法 	335
10.5.1 坐标下降法 	335
10.5.2 分块坐标下降法 	340
10.5.3 应用 	341
拓展阅读建议 	344
第 10 章习题	344
附录 A 特征值与特征值分解定理 	346
A.1 特征值与特征向量.	346
A.2  n 阶方阵的特征分解 	347
A.3 实对称矩阵的对角化与特征分解 	350
A.4 实正定对称矩阵与二次型 	353
附录 B 奇异值与奇异值分解定理 	357
B.1 奇异值与奇异向量	357
B.2 奇异值的存在性及性质 	358
B.3 奇异值分解定理 	360
B.4 矩阵的低秩逼近 	362
B.5 超定线性方程组与矩阵的伪逆 	365
附录 C 矩阵函数的导数与微分 	368
附录 D 反函数定理与隐函数存在定理 	374
附录 E Sherman-Morrison 公式与 Woodbury 公式 	378
部分习题答案 	381
参考文献 	406