人工智能的矩阵代数方法：应用篇

辅文
6章 机器学习
6.1 机器学习树
6.2 机器学习中的优化
6.2.1 单目标组合优化
6.2.2 梯度聚合法
6.2.3 坐标下降法
6.2.4 单目标优化的基准函数
6.3 优化小化算法
6.3.1 优化小 化算法框架
6.3.2 优化小化算法举例
6.4 提升与概率近似正确学习
6.4.1 弱学习算法提升
6.4.2 概率近似正确学习
6.5 机器学习的基本理论
6.5.1 学习机
6.5.2 机器学习方法
6.5.3 机器学习算法的期望性能
6.6 分类与回归
6.6.1 模式识别与分类
6.6.2 回归
6.7 特征选择
6.7.1 有监督特征选择
6.7.2 无监督特征选择
6.7.3 非线性联合无监督特征选择
6.8 主成分分析
6.8.1 主成分分析基础
6.8.2 次成分分析
6.8.3 主子空间分析
6.8.4 鲁棒主成分分析
6.8.5 稀疏主成分分析
6.9 监督学习回归
6.9.1 主成分回归
6.9.2 偏小二乘回归
6.9.3 惩罚回归
6.9.4 稀疏重构中的梯度投影
6.10 监督学习分类
6.10.1 二进制线性分类器
6.10.2 多类线性分类器
6.11 监督张量学习
6.11.1 张量代数基础
6.11.2 监督张量学习问题
6.11.3 张量Fisher判别分析
6.11.4 张量回归学习
6.11.5 张量K均值聚类
6.12 无监督聚类
6.12.1 相似性测度
6.12.2 分层聚类
6.12.3 无监督聚类的Fisher判别分析
6.12.4 K均值聚类
6.13 谱聚类
6.13.1 谱聚类算法
6.13.2 约束谱聚类
6.13.3 快速谱聚类
6.14 半监督学习算法
6.14.1 半监督归纳/直推学习
6.14.2 自训练
6.14.3 协同训练
6.15 典型相关分析
6.15.1 典型相关分析算法
6.15.2 核典型相关分析
6.15.3 惩罚典型相关分析
6.16 图机器学习
6.16.1 图
6.16.2 图拉普拉斯矩阵
6.16.3 图谱
6.16.4 图信号处理
6.16.5 半监督图学习: 调和函数法
6.16.6 半监督图学习: 小割集法
6.16.7 无监督图学习: 稀疏编码法
6.17 主动学习
6.17.1 主动学习的背景
6.17.2 统计主动学习
6.17.3 主动学习算法
6.17.4 基于主动学习的二元线性分类器
6.17.5 使用极限学习机的主动学习
6.18 强化学习
6.18.1 基本概念与理论
6.18.2 马尔可夫决策过程
6.19 Q学习
6.19.1 基本Q学习
6.19.2 双Q学习与加权双Q学习
6.19.3 在线连接Q学习算法
6.19.4 Q体验式学习
6.20 迁移学习
6.20.1 符号与定义
6.20.2 迁移学习的分类
6.20.3 迁移学习的提升
6.20.4 多任务学习
6.20.5 特征迁移
6.21 域适应
6.21.1 特征增强法
6.21.2 跨域变换法
6.21.3 迁移成分分析法
本章小结
参考文献
7章 神经网络
7.1 神经网络树
7.2 从现代神经网络到深度学习
7.3 神经网络的优化
7.3.1 在线优化问题
7.3.2 自适应梯度算法
7.3.3 自适应矩估计
7.4 激活函数
7.4.1 逻辑斯谛回归与S型函数
7.4.2 Softma回归与softma函数
7.4.3 其他激活函数
7.5 反馈神经网络
7.5.1 常规反馈神经网络
7.5.2 时间反向传播(BPTT)
7.5.3 Jordan网络和Elman网络
7.5.4 双向反馈神经网络
7.5.5 长短期记忆(LSTM)
7.5.6 长短期记忆的改进
7.6 Boltzmann机
7.6.1 Hopfield网络与Boltzmann机
7.6.2 受限Boltzmann机
7.6.3 对比散度学习
7.6.4 多重受限Boltzmann机
7.7 贝叶斯神经网络
7.7.1 朴素贝叶斯分类
7.7.2 贝叶斯分类理论
7.7.3 稀疏贝叶斯学习
7.8 卷积神经网络
7.8.1 Hankel矩阵与卷积
7.8.2 池化层
7.8.3 卷积神经网络的激活函数
7.8.4 损失函数
7.9 丢弃学习
7.9.1 浅层与深层学习的丢弃学习
7.9.2 丢弃学习球形K均值聚类
7.9.3 丢弃学习连接
7.10 自动编码器
7.10.1 基本自动编码器
7.10.2 堆栈稀疏自动编码器
7.10.3 堆栈去噪自动编码器
7.10.4 卷积自动编码器
7.10.5 堆栈卷积去噪自动编码器
7.10.6 非负稀疏自动编码器
7.11 极限学习机
7.11.1 具有随机隐藏节点的单隐层前馈网络
7.11.2 回归与二元分类的极限学习机算法
7.11.3 多类分类的极限学习机算法
7.12 图嵌入
7.12.1 接近度与图嵌入
7.12.2 多维标度
7.12.3 流形学习: 等距映
7.12.4 流形学习: 局部线性嵌入
7.12.5 流形学习: 拉普拉斯特征映
7.13 网络嵌入
7.13.1 结构与属性保持的网络嵌入
7.13.2 社区保持的网络嵌入
7.13.3 高阶接近度保持的网络嵌入
7.14 图域神经网络
7.14.1 图神经网络
7.14.2 DeepWalk与GraphSAGE
7.14.3 图卷积网络
7.15 批量规格化网络
7.15.1 批量规格化
7.15.2 批量规格化的变形与扩展
7.16 生成对抗网络
7.16.1 生成对抗网络框架
7.16.2 双向生成对抗网络
7.16.3 变分自动编码器
本章小结
参考文献
8章 支持向量机
8.1 支持向量机基本理论
8.1.1 统计学习理论
8.1.2 线性支持向量机
8.2 核回归方法
8.2.1 再生核与Mercer核
8.2.2 表示定理与核回归
8.2.3 半监督与图回归
8.2.4 核偏小二乘回归
8.2.5 拉普拉斯支持向量机
8.3 支持向量机回归
8.3.1 支持向量机回归器
8.3.2 $\epsilon $支持向量回归
8.3.3 $ u $支持向量机回归
8.4 支持向量机二元分类
8.4.1 支持向量机二元分类器
8.4.2 $ u $支持向量二元分类器
8.4.3 小二乘支持向量机二元分类器
8.4.4 近似支持向量机二元分类器
8.4.5 支持向量机递推特征消除
8.5 支持向量机多类分类
8.5.1 多类分类的分解方法
8.5.2 小二乘支持向量机多类分类器
8.5.3 近似支持向量机多类分类器
8.6 回归与分类的高斯过程
8.6.1 联合概率、边缘概率与条件概率
8.6.2 高斯过程
8.6.3 高斯过程回归
8.6.4 高斯过程分类
8.7 相关向量机
8.7.1 稀疏贝叶斯回归
8.7.2 稀疏贝叶斯分类
8.7.3 快速边缘似然大化
本章小结
参考文献
9章 演化计算
9.1 演化计算树
9.2 多目标优化
9.2.1 多目标组合优化
9.2.2 多目标优化问题
9.3 帕累托优化理论
9.3.1 帕累托概念
9.3.2 适应度选择法
9.3.3 非支配排序法
9.3.4 拥挤距离分配法
9.3.5 分层聚类法
9.3.6 多目标优化的基准函数
9.4 含噪多目标优化
9.4.1 含噪多目标优化的帕累托概念
9.4.2 逼近集合的性能测度
9.5 多目标模拟火
9.5.1 模拟火原理
9.5.2 多目标模拟火算法
9.5.3 存档多目标模拟火
9.6 遗传算法
9.6.1 基本遗传算法运算
9.6.2 具有基因重排的遗传算法
9.7 非支配多目标遗传算法
9.7.1 适应度函数
9.7.2 适应度选择
9.7.3 非支配排序遗传算法
9.7.4 精英非支配排序遗传算法
9.8 进化算法
9.8.1 $(1 1)$进化算法
9.8.2 进化算法的理论分析
9.9 多目标进化算法
9.9.1 求解多目标优化问题的经典方法
9.9.2 基于分解的多目标进化算法
9.9.3 增强帕累托进化算法
9.9.4 成就标量化函数
9.10 演化规划
9.10.1 经典演化规划
9.10.2 快速演化规划
9.10.3 混合演化规划
9.11 差分演化
9.11.1 经典差分演化
9.11.2 差分演化的变形
9.12 蚁优化
9.12.1 真实蚂蚁与人工蚂蚁
9.12.2 典型蚁优化问题
9.12.3 蚂蚁系统与蚁系统
9.13 多目标人工蜂算法
9.13.1 人工蜂算法
9.13.2 人工蜂算法的变形
9.14 粒子优化
9.14.1 基本概念
9.14.2 典型粒子
9.14.3 遗传学习粒子优化
9.14.4 特征选择的粒子优化
9.15 基于对立的演化计算
9.15.1 对立学习
9.15.2 基于对立的差分演化
9.15.3 对立学习的两种变形
本章小结
参考文献
索引
后记