数值优化引论

前言
第1章 引言
1.1 优化问题的一般模型
1.2 优化问题的分类

第2章 基本知识
2.1 关于极小点的一些定理
2.2 算法的一般性描述

第3章 线搜索方法
3.1 线搜索方法的收敛性
3.2 收敛率
3.3 计算步长

第4章 信赖域方法
4.1 子问题的近似解法
4.2 子问题的几乎精确解法
4.3 信赖域方法的全局收敛性

第5章 共轭梯度法
5.1 线性共轭梯度法
5.2 非线性共轭梯度法

第6章 实用Newton法
6.1 非精确Newton法
6.2 线搜索Newton法
6.3 Hesse修正
6.4 信赖域Newton法

第7章 导数的计算
7.1 有限差分近似估计
7.2 自动微分法

第8章 拟Newton法
8.1 BFGS方法
8.2 BFGS方法的特性
8.3 SR1方法（秩1校正公式）
8.4 SR1校正的特征
8.5 Broyden族
8.6 收敛性分析

第9章 约束优化的基本理论
9.1 可微凸规划的KKT点
9.2 二阶充分条件
9.3 几个有用的观察

第10章 线性规划：单纯形法
10.1 线性规划及其形式
10.2 可行域的几何特征
10.3 单纯形法
10.4 线性规划的对偶理论

第11章 线性规划：内点法
11.1 原始一对偶算法
11.2 补充说明

第12章 二次规划
12.1 等式约束二次规划
12.2 二次规划的不等式约束问题

第13章 约束优化的几种基本方法
13.1 罚函数法
13.2 对数障碍法
13.3 精确罚闲数
13.4 增广的Lagrange乘子法

附录A 背景材料
A.1 连续性和极限
A.2 导数
A.3 方向导数
A.4 中值定理
A.5 隐函数定理
A.6 可行集的几何解释
A.7 阶的记法
A.8 标量方程根的求法
A.9 向量和矩阵
A.1 0范数
A.1 1子空间
A.1 2特征值，特征向量，奇异值分解
A.1 3行列式和迹
A.1 4矩阵分解：Cholesdy，LU，QR
A.1 5Sherman-Morrison-Woodbury公式
A.1 6交错特征值定理
A.1 7误差分析
A.1 8预条件化和稳定性
附录B Kantorovich不等式
参考文献