Pattern Classification

出版者的话

专家指导委员会

译者序

前言

第1章 绪论

1. 1 机器感知

1. 2 一个例子

1. 3 模式识别系统

1. 3. 1 传感器

1. 3. 2 分割和组织

1. 3. 3 特征提取

1. 3. 4 分类器

1. 3. 5 后处理

1. 4 设计循环

1. 4．1 数据采集

1. 4. 2 特征选择

1. 4. 3 模型选择

1. 4. 4 训练

1. 4．5 评价

1. 4. 6 计算复杂度

.1. 5 学习和适应，

1. 5. 1 有监督学习

1. 5. 2 无监督学习

1. 5. 3 强化学习

1. 6 本章小结

全书各章概要

文献和历史评述

参考文献

第2章 贝叶斯决策论

2. 1 引言

2. 2 贝叶斯决策论--连续特征

2. 3 最小误差率分类

2. 3. 1 极小化极大准则

2. 3. 2 neyman-pearson准则

2. 4 分类器、判别函数及判定面

2. 4. 1 多类情况

2．4. 2 两类情况

2. 5 正态密度

2. 5．1 单变量密度函数

2. 5. 2 多元密度函数

2. 6 正态分布的判别函数

2. 6. 1 情况1：∑i＝ i

2．6．2 情况2：∑i＝∑

2．6．3 情况3：∑i=任意

2. 7 误差概率和误差积分

2．8 正态密度的误差上界

2．8．1 chernoff界

2．8．2 bhattacharyya界

2．8．3 信号检测理论和操作特性

2．9 贝叶斯决策论--离散特征

2．9．1 独立的二值特征

2. 10 丢失特征和噪声特征

2．10．1 丢失特征

2. 10. 2 噪声特征

2. 11 贝叶斯置信网

2. 12 复合贝叶斯决策论及上下文

本章小结

文献和历史评述

习题

上机练习

参考文献

第3章 最大似然估计和贝叶斯参数

估计

3．1 引言

3．2 最大似然估计

3. 2. 1 基本原理

3. 2．2 高斯情况：u未知

3．2．3 高斯情况：u和∑均未知

3. 2. 4 估计的偏差

3. 3 贝叶斯估计

3．3. 1 类条件密度

3. 3. 2 参数的分布

3．4 贝叶斯参数估计：高斯情况

3．4. 1 单变量情况：p(u｜d)

3. 4．2 单变量情况：p(x｜d)

3. 4．3 多变量情况

3．5 贝叶斯参数估计：一般理论

3．5. 1 最大似然方法和贝叶斯方法何时有区别

3．5. 2 无信息先验和不变性

3. 5. 3 吉布斯算法

3. 6 充分统计量

3．7 维数问题

3．7．1 精度、维数和训练集的大小

3．7．2 计算复杂度

3．7．3 过拟合

3．8 成分分析和判别函数

3．8. 1 主成分分析

3．8．2 fisher线性判别分析

3. 8. 3 多重判别分析

3．9 期望最大化算法

3．10 隐马尔可夫模型

3．10．1 一阶马尔可夫模型

3．10．2 一阶隐马尔可夫模型

3．10．3 隐马尔可夫模型的计算

3. 10. 4 估值问题

3．10. 5 解码问题

3. 10. 6 学习问题

本章小结

文献和历史评述

习题

上机练习

参考文献

第4章 非参数技术

4．1 引言

4．2 概率密度的估计

4．3 parzen窗方法

4．3．1 均值的收敛性

4．3. 2 方差的收敛性

4. 3. 3 举例说明

4．3. 4 分类的例子

4．3．5 概率神经网络

4．3. 6 窗函数的选取

4．4 kn-近邻估计

4．4. 1 kn-近邻估计和parzen窗估计

4．4. 2 后验概率的估计

4. 5 最近邻规则

4．5. 1 最近邻规则的收敛性

4．5．2 最近邻规则的误差率

4．5. 3 误差界

4. 5. 4 k-近邻规则

4．5. 5 k-近邻规则的计算复杂度

4．6 距离度量和最近邻分类

4．6. 1 度量的性质

4. 6．2 切空间距离

4．7 模糊分类

4．8 rce网络

4．9 级数展开逼近

本章小结

文献和历史评述

习题

上机练习

参考文献

第5章 线性判别函数

5．1 引言

5．2 线性判别函数和判定面

5. 2．1 两类情况

5. 2．2 多类的情况

5．3 广义线性判别函数

5．4 两类线性可分的情况

5. 4. 1 几何解释和术语

5．4．2 梯度下降算法

5．5 感知器准则函数最小化

5．5．1 感知器准则函数

5．5．2 单个样本校正的收敛性证明

5. 5．3 一些直接的推广

5．6 松弛算法

5. 6．1 下降算法

5．6. 2 收敛性证明

5. 7 不可分的情况

5．8 最小平方误差方法，

5．8. 1 最小平方误差及伪逆

5．8. 2 与fisher线性判别的关系

5．8. 3 最优判别的渐近逼近

5．8．4 widrow-hoff算法或最小均方算法

5. 8. 5 随机逼近法

5．9 ho-kashyap算法

5．9. 1 下降算法

5. 9．2 收敛性证明

5．9. 3 不可分的情况

5．9. 4 一些相关的算法

5．10 线性规划算法

5．10．1 线性规划

5．10．2 线性可分情况

5．10．3 极小化感知器准则函数

5．11 支持向量机

5．12 推广到多类问题

5．12. 1 kesler构造法

5．12. 2 固定增量规则的收敛性

5．12．3 mse算法的推广

本章小结

文献和历史评述

习题

上机练习

参考文献

第6章 多层神经网络

6. 1 引言

6. 2 前馈运算和分类

6. 2．1 一般的前馈运算

6．2．2 多层网络的表达能力

6．3 反向传播算法

6．3. 1 网络学习

6．3．2 训练协议

6. 3. 3 学习曲线

6. 4 误差曲面

6．4．1 一些小型网络

6．4. 2 异或(xor)问题

6．4. 3 较大型的网络

6．4．4 关于多重极小

6. 5 反向传播作为特征映射

6．5．1 隐含层的内部表示--权值

6. 6 反向传播、贝叶斯理论及概率

6. 6. 1 贝叶斯判别与神经网络

6．6. 2 作为概率的输出

6．7 相关的统计技术

6．8 改进反向传播的一些实用技术

6．8．1 激活函数

6．8．2 sigmoid函数的参数

6．8．3 输入信号尺度变换

6．8. 4 目标值

6．8．5 带噪声的训练法

6．8．6 人工"制造"数据

6. 8. 7 隐单元数

6. 8. 8 权值初始化

6．8. 9 学习率

6. 8. 10 冲量项

6. 8. 11 权值衰减

6. 8. 12 线索

6．8. 13 在线训练、随机训练或成批训练

6. 8. 14 停止训练

6. 8. 15 隐含层数

6．8．16 误差准则函数

6. 9 二阶技术

6．9. 1 赫森矩阵

6．9. 2 牛顿法

6. 9. 3 quickprop算法

6．9．4 共轭梯度法

6. 10 其他网络和训练算法

6．10．1 径向基函数网络

6．10．2 特殊的基函数

6. 10．3 匹配滤波器

6．10. 4 卷积网络

6．10．5 递归网络

6．10．6 级联相关

6．11 正则化、复杂度调节和剪枝

本章小结

文献和历史评述

习题

上机练习

参考文献

第7章 随机方法

7．1 引言

7. 2 随机搜索

7．2．1 模拟退火

7．2．2 boltzmann因子

7．2．3 确定性模拟退火

7．3 boltzmann学习

7．3．1 可见状态的随机boltzmann学习

7．3．2 丢失特征和类别约束

7．3．3 确定性boltzmann学习

7．3. 4 初始化和参数设置

7．4 boltzmann网络和图示模型

7. 5 进化方法

7．5．1 遗传算法

7．5．2 其他启发式方法

7．5．3 遗传算法如何起作用

7．6 遗传规划

本章小结

文献和历史评述

习题

上机练习

参考文献

第8章 非度量方法

8．1 引言

8．2 判定树

8．3 cart

8．3．1 分支数目

8．3．2 查询的选取与节点不纯度

8．3．3 分支停止准则

8．3．4 剪枝

8．3．5 叶节点的标记

8. 3．6 计算复杂度

8．3．7 特征选择

8．3．8 多元判定树

8．3．9 先验概率和代价函数

8．3. 10 属性丢失问题

8. 4 其他树方法

8．4．1 id3

8. 4. 2 c4.5

8. 4. 3 哪种树分类器是最优的

8. 5 串的识别

8. 5. 1 串匹配

8. 5. 2 编辑距离

8. 5. 3 计算复杂度

8. 5．4 容错的串匹配

8. 5．5 带通配符的串匹配

8. 6 文法方法

8．6. 1 文法

8. 6. 2 串文法的类型

8. 6．3 利用文法的识别

8. 7 文法推断

8. 8 基于规则的方法

本章小结

文献和历史评述

习题

上机练习

参考文献

第9章 独立于算法的机器学习

9．1 引言

9. 2 没有天生优越的分类器

9. 2．1 没有免费的午餐定理，

9．2. 2 丑小鸭定理

9．2. 3 最小描述长度

9．2. 4 最小描述长度原理

9. 2. 5 避免过拟合及occam剃刀原理

9．3 偏差和方差

9．3．1 回归中的偏差和方差关系

9．3．2 分类中的偏差和方差关系

9. 4 统计量估计中的重采样技术

9. 4. 1 刀切法(jackknife)

9．4．2 自助法(bootstrap)

9. 5 分类器设计中的重采样技术

9．5．1 bagging算法

9. 5. 2 boosting法

9. 5. 3 基于查询的学习

9. 5. 4 arcing、基于查询的学习、偏差和方差

9．6 分类器的评价和比较

9. 6. 1 参数模型

9．6．2 交叉验证

9. 6．3 分类准确率的"刀切法"和"自助法"估计

9. 6. 4 最大似然模型比较

9. 6. 5 贝叶斯模型比较

9. 6．6 问题平均误差率

9. 6. 7 从学习曲线预测最终性能

9．6. 8 单个分割平面的能力

9．7 组合分类器

9．7. 1 有判别函数的分量分类器

9. 7. 2 无判别函数的分量分类器

本章小结

文献和历史评述

习题

上机练习

参考文献

第10章 无监督学习和聚类

10．1 引言

10. 2 混合密度和可辨识性

10．3 最大似然估计

10．4 对混合正态密度的应用

10．4．1 情况1：均值向量未知

10．4．2 情况2：所有参数未知

10. 4．3 k-均值聚类

10．4. 4 模糊k-均值聚类

10. 5 无监督贝叶斯学习

10．5. 1 贝叶斯分类器

10．5．2 参数向量的学习

10．5．3 判定导向的近似解

10．6 数据描述和聚类

10．7 聚类的准则函数

10. 7. 1 误差平方和准则

10．7．2 相关的最小方差准则

10．7．3 散布准则

10. 8 迭代最优化

10. 9 层次聚类

10．9. 1 定义

10．9. 2 基于合并的层次聚类方法

10. 9. 3 逐步优化的层次聚类

10．9. 4 层次聚类和导出度量

10. 10 验证问题

10．11 在线聚类

10. 11. 1 聚类数目未知

10. 11. 2 自适应共振网

10．11．3 基于评判的学习

10．12 图论方法

10．13 成分分析

10．13．1 主成分分析

10. 13. 2 非线性成分分析

10．13．3 独立成分分析

10．14 低维数据表示和多维尺度变换

10．14. 1 自组织特征映射

10．14. 2 聚类与降维

本章小结

文献和历史评述

习题

上机练习

参考文献

附录a 数学基础

a．1 符号和记号

a．2 线性代数

a．2．1 符号和基础知识

a．2．2 向量内积

a．2．3 向量外积

a．2．4 矩阵的导数

a．2．5 行列式和迹

a．2．6 矩阵的逆

a．2．7 本征向量和本征值

a．3 拉格朗日乘数法

a．4 概率论

a. 4．1 离散随机变量

a．4．2 数学期望

a．4．3 成对离散随机变量

a．4．4 统计独立性

a．4. 5 两个自变量的函数的数学期望

a．4．6 条件概率

a．4．7 全概率公式和贝叶斯公式

a．4．8 随机向量

a．4．9 期望值、均值向量和协方差矩阵

a．4．10 连续随机变量

a．4．11 独立随机变量和的分布

a．4．12 正态分布

a．5 高斯函数的导数和积分

a．5．1 多元正态概率密度

a．5. 2 二元正态分布

a．6 假设检验

a．7 信息论基础

a．7．1 熵和信息量

a．7．2 相对熵

a．7．3 互传信息量

a．8 计算复杂度

文献评述

参考文献

索引