目 录 第 1 章 导论与预备知识 1 1.1 欧几里得空间 中的点集 1 1.1.1 集合 1 1.1.2 欧几里得空间 的性质 2 1.1.3 中的点集拓扑 4 1.1.4 中的极限 6 1.1.5 上确界与下确界 6 1.2 连续函数 9 1.2.1 连续函数的定义与性质 9 1.2.2 上极限与下极限 11 1.2.3 上半连续性与下半连续性 13 1.3 多元函数的微分中值定理与 Taylor 公式 13 1.3.1 多元函数的微分中值定理 13 1.3.2 多元函数的 Taylor 公式 15 1.4 凸集 16 1.4.1 仿射集 16 1.4.2 凸集 17 1.4.3 凸集分离定理 18 1.5 锥 25 1.5.1 锥和凸锥 25 1.5.2 广义不等式 26 1.5.3 最小元与极小元 27 1.6 对偶锥. 28 1.6.1 对偶锥 28 1.6.2 对偶广义不等式 30 拓展阅读建议 31 第 1 章习题 31 第 2 章 凸函数 34 2.1 凸函数的定义及判定 34 2.1.1 凸函数的定义 34 2.1.2 一元凸函数的判定 35 2.1.3 多元凸函数的判定 36 2.2 凸函数的性质 41 2.2.1 一元凸函数的连续性与单边导数 41 2.2.2 多元凸函数的连续性 43 2.2.3 上图与下水平集 46 2.2.4 凸函数的极值 47 2.3 保持凸性的运算 48 2.4 应用及例子 52 2.4.1 .-范数 52 2.4.2 Jensen 不等式 56 2.4.3 凸函数/凹函数的例子 59 2.5 共轭函数 62 2.5.1 共轭函数的定义与计算实例 62 2.5.2 共轭函数的性质 68 2.6 矩阵的核范数 70 拓展阅读建议 73 第 2 章习题 74 第 3 章 优化问题 80 3.1 优化问题 80 3.2 凸优化问题 82 3.2.1 凸优化问题的概念 82 3.2.2 凸优化问题的性质 82 3.3 Lagrange 对偶函数 85 3.3.1 Lagrange 对偶函数的定义 85 3.3.2 最优值的下界估计 87 3.3.3 Lagrange 对偶函数与共轭函数的关系 88 3.4 Lagrange 对偶问题 90 3.4.1 对偶问题的概念及例子 90 3.4.2 强对偶性 92 3.5 最优性条件 97 3.5.1 无约束优化问题的最优性条件 97 3.5.2 只含等式约束的优化问题的最优条件 98 3.5.3 只含不等式约束的优化问题的最优条件 101 3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 103 3.5.5 凸优化问题的 Karush-Kuhn-Tucker 定理 109 拓展阅读建议 109 第 3 章习题 109 第 4 章 广义不等式约束与向量优化 116 4.1 广义单调性与凸性 116 4.1.1 相关概念回顾 116 4.1.2 在偏序集上取值的函数 117 4.1.3 可微函数的单调性和凸性条件 120 4.2 效用函数相关知识 122 4.2.1 偏序、全序和预序 122 4.2.2 效用函数 124 4.2.3 连续效用函数 126 4.2.4 von Neumann-Morgenstern 期望效用函数 132 4.3 广义不等式约束的凸优化问题 135 4.3.1 问题的一般形式 135 4.3.2 半定规划 136 4.3.3 一些例子 137 4.4 向量优化 141 4.4.1 向量优化问题 141 4.4.2 向量优化问题的标量化 143 4.4.3 凸向量优化问题 144 4.5 福利经济学基本定理 146 4.5.1 产品经济系统 146 4.5.2 福利经济学基本定理 148 拓展阅读建议 150 第 4 章习题 151 第 5 章 优化算法基础知识 152 5.1 算法的收敛性与收敛速度 152 5.2 一维牛顿法与割线法 154 5.3 区间分割法 157 5.4 线搜索. 161 拓展阅读建议 172 第 5 章习题 172 第 6 章 梯度下降法与共轭梯度法 174 6.1 梯度下降法 174 6.1.1 梯度下降法的基本思想与算法 174 6.1.2 强凸性 177 6.1.3 梯度下降法的收敛性与误差分析 179 6.2 共轭梯度法 183 6.2.1 无约束二次优化问题的共轭梯度法 183 6.2.2 非线性共轭梯度法 190 6.3 信赖域子问题 192 6.3.1 信赖域子问题及其最优性条件 192 6.3.2 截断共轭梯度法 194 6.4 逻辑回归问题 196 6.4.1 逻辑回归模型 196 6.4.2 模型参数估计 197 6.4.3 计算实例 202 6.4.4 多分类问题 206 拓展阅读建议 210 第 6 章习题 210 第 7 章 牛顿法与拟牛顿法 212 7.1 牛顿法. 212 7.1.1 牛顿法的基本思想 212 7.1.2 Hesse 矩阵不正定时的处理 213 7.1.3 牛顿法的收敛性 217 7.1.4 计算实例 220 7.2 拟牛顿法 226 7.2.1 拟牛顿法的基本思想 226 7.2.2 几种常用的拟牛顿法 228 7.2.3 计算实例 233 7.3 正交距离回归 238 7.3.1 变量带误差模型 238 7.3.2 正交距离回归模型 239 7.3.3 参数估计算法 240 拓展阅读建议 245 第 7 章习题 246 第 8 章 线性规划与二次规划 249 8.1 线性规划 249 8.1.1 线性规划的标准形式 249 8.1.2 线性规划的对偶问题与最优性条件 250 8.1.3 可行集的几何性质 251 8.1.4 单纯形法 252 8.1.5 启动点的计算 254 8.2 等式约束二次规划 255 8.2.1 等式约束二次规划及其最优性条件 255 8.2.2 等式约束二次规划算法 257 8.2.3 计算实例 260 8.3 不等式约束二次规划 261 8.3.1 不等式约束二次规划的最优性条件 261 8.3.2 积极集方法 262 8.3.3 启动点的计算 265 拓展阅读建议 267 第 8 章习题 267 第 9 章 约束非线性优化 269 9.1 等式约束凸优化 269 9.1.1 等式约束凸优化的最优性条件 269 9.1.2 等式约束凸优化的牛顿法 269 9.1.3 初始点不是可行点的牛顿法 271 9.1.4 计算实例 274 9.2 内点法 276 9.2.1 一个具体的例子 276 9.2.2 凸优化问题的内点法 280 9.2.3 两阶段法 283 9.3 支持向量机 284 9.3.1 支持向量机模型 284 9.3.2 求解方法 286 9.3.3 核支持向量机 293 9.3.4 计算实例 297 拓展阅读建议 301 第 9 章习题 302 第 10 章 机器学习中常用的复合优化算法 303 10.1 增广 Lagrange 函数法 303 10.1.1 对偶上升法 303 10.1.2 增广 Lagrange 乘数法 304 10.2 次梯度与次微分 306 10.2.1 扩展实值函数 306 10.2.2 闭函数 307 10.2.3 次梯度与次微分 307 10.2.4 次微分的性质 309 10.2.5 次微分的运算法则 314 10.3 交替方向乘数法 314 10.3.1 算法 314 10.3.2 收敛性分析 316 10.4 近似点算法 320 10.4.1 邻近算子 320 10.4.2 近似点梯度法 326 10.4.3 LASSO 回归问题 328 10.5 坐标下降法与分块坐标下降法 335 10.5.1 坐标下降法 335 10.5.2 分块坐标下降法 340 10.5.3 应用 341 拓展阅读建议 344 第 10 章习题 344 附录 A 特征值与特征值分解定理 346 A.1 特征值与特征向量. 346 A.2 n 阶方阵的特征分解 347 A.3 实对称矩阵的对角化与特征分解 350 A.4 实正定对称矩阵与二次型 353 附录 B 奇异值与奇异值分解定理 357 B.1 奇异值与奇异向量 357 B.2 奇异值的存在性及性质 358 B.3 奇异值分解定理 360 B.4 矩阵的低秩逼近 362 B.5 超定线性方程组与矩阵的伪逆 365 附录 C 矩阵函数的导数与微分 368 附录 D 反函数定理与隐函数存在定理 374 附录 E Sherman-Morrison 公式与 Woodbury 公式 378 部分习题答案 381 参考文献 406