目录

第 1章线性代数的重点 .................................................................................................. 1 

1.1使用 A的列向量实现 Ax的相乘 ........................................................................ 1 

1.2矩阵与矩阵相乘：AB......................................................................................... 8 

1.3 4个基本子空间 .................................................................................................12 

1.4消元法与 A = LU .............................................................................................18 

1.5正交矩阵与子空间..............................................................................................26 

1.6特征值和特征向量..............................................................................................32 

1.7对称正定矩阵 ....................................................................................................40 

1.8奇异值分解中的奇异值和奇异向量 ......................................................................51 

1.9主成分和最佳低秩矩阵 .......................................................................................63 

1.10 Rayleigh商和广义特征值 .................................................................................72 

1.11向量、函数和矩阵的范数 ..................................................................................78 

1.12矩阵和张量的分解：非负性和稀疏性 .................................................................86

第 2章大规模矩阵的计算 ..............................................................................................98 

2.1数值线性代数 ....................................................................................................99 

2.2最小二乘：4种方法......................................................................................... 107 

2.3列空间的 3种基 .............................................................................................. 119 

2.4随机线性代数 .................................................................................................. 125

第 3章低秩与压缩传感 ............................................................................................... 135 

3.1 A的变化导致 A.1的改变 ............................................................................... 135 

3.2交错特征值与低秩信号 ..................................................................................... 143 

3.3快速衰减的奇异值............................................................................................ 152 

3.4对 .2 + .1的拆分算法...................................................................................... 156 

3.5压缩传感与矩阵补全 ........................................................................................ 166

第 4章特殊矩阵 ......................................................................................................... 172 

4.1傅里叶变换：离散与连续.................................................................................. 172 

4.2移位矩阵与循环矩阵 ........................................................................................ 180 

4.3克罗内克积 A . B.......................................................................................... 187 

4.4出自克罗内克和的正弦、余弦变换 .................................................................... 193 


4.5 
Toeplitz矩阵与移位不变滤波器 ........................................................................ 196 


4.
6图、拉普拉斯算子及基尔霍夫定律 .................................................................... 201 


4.7采用谱方法与 
k-均值的聚类 ............................................................................. 207 


4.8完成秩为 
1的矩阵 ........................................................................................... 215 


4.
9正交的普鲁斯特问题 ........................................................................................ 217 


4.10距离矩阵 
....................................................................................................... 218



第 5章概率与统计 ...................................................................................................... 221 

5.
1均值、方差和概率............................................................................................ 221 


5.2概率分布 
......................................................................................................... 231 


5.
3矩、累积量以及统计不等式 .............................................................................. 238 


5.
4协方差矩阵与联合概率 ..................................................................................... 246 


5.
5多元高斯分布和加权最小二乘法........................................................................ 255 


5.6马尔可夫链
...................................................................................................... 260



第 6章最优化............................................................................................................. 269 

6.
1最小值问题：凸性与牛顿法 .............................................................................. 271 


6.2拉格朗日乘子 
=成本函数的导数 ...................................................................... 278 


6.
3线性规划、博弈论和对偶性 .............................................................................. 283 


6.
4指向最小值的梯度下降 ..................................................................................... 288 


6.
5随机梯度下降法与 ADAM................................................................................ 301



第 7章数据学习 ......................................................................................................... 311 

7.
1深度神经网络的构建 ........................................................................................ 314 


7.2卷积神经网络 
.................................................................................................. 324 


7.
3反向传播与链式法则 ........................................................................................ 333 


7.
4超参数：至关重要的决定.................................................................................. 342 


7.
5机器学习的世界 ............................................................................................... 347



有关机器学习的书.......................................................................................................... 350

附录 A采用 SVD的图像压缩 .................................................................................... 351

附录 B数值线性代数的代码和算法 .............................................................................. 353

附录 C基本因式分解中的参数计算 .............................................................................. 355

作者索引 ....................................................................................................................... 357

索引.............................................................................................................................. 362

符号索引 ....................................................................................................................... 372