Neural networks and learning machines

出版者的话

译者序

前言

缩写和符号

术语

第0章导言1

0.1什么是神经网络1

0.2人类大脑4

0.3神经元模型7

0.4被看作有向图的神经网络10

0.5反馈11

0.6网络结构13

0.7知识表示14

0.8学习过程20

0.9学习任务22

0.10结束语27

注释和参考文献27

第1章rosenblatt感知器28

1.1引言28

1.2感知器28

.1.3感知器收敛定理29

1.4高斯环境下感知器与贝叶斯分类器的关系33

1.5计算机实验：模式分类36

1.6批量感知器算法38

1.7小结和讨论39

注释和参考文献39

习题40

第2章通过回归建立模型28

2.1引言41

2.2线性回归模型：初步考虑41

2.3参数向量的最大后验估计42

2.4正则最小二乘估计和map估计之间的关系46

2.5计算机实验：模式分类47

2.6最小描述长度原则48

2.7固定样本大小考虑50

2.8工具变量方法53

2.9小结和讨论54

注释和参考文献54

习题55

第3章最小均方算法56

3.1引言56

3.2lms算法的滤波结构56

3.3无约束最优化：回顾58

3.4维纳滤波器61

3.5最小均方算法63

3.6用马尔可夫模型来描画lms算法和维纳滤波器的偏差64

3.7朗之万方程：布朗运动的特点65

3.8kushner直接平均法66

3.9小学习率参数下统计lms学习理论67

3.10计算机实验ⅰ：线性预测68

3.11计算机实验ⅱ：模式分类69

3.12lms算法的优点和局限71

3.13学习率退火方案72

3.14小结和讨论73

注释和参考文献74

习题74

第4章多层感知器77

4.1引言77

4.2一些预备知识78

4.3批量学习和在线学习79

4.4反向传播算法81

4.5异或问题89

4.6改善反向传播算法性能的试探法90

4.7计算机实验：模式分类94

4.8反向传播和微分95

4.9hessian矩阵及其在在线学习中的规则96

4.10学习率的最优退火和自适应控制98

4.11泛化102

4.12函数逼近104

4.13交叉验证107

4.14复杂度正则化和网络修剪109

4.15反向传播学习的优点和局限113

4.16作为最优化问题看待的监督学习117

4.17卷积网络126

4.18非线性滤波127

4.19小规模和大规模学习问题131

4.20小结和讨论136

注释和参考文献137

习题138

第5章核方法和径向基函数网络144

5.1引言144

5.2模式可分性的cover定理144

5.3插值问题148

5.4径向基函数网络150

5.5k-均值聚类152

5.6权向量的递归最小二乘估计153

5.7rbf网络的混合学习过程156

5.8计算机实验：模式分类157

5.9高斯隐藏单元的解释158

5.10核回归及其与rbf网络的关系160

5.11小结和讨论162

注释和参考文献164

习题165

第6章支持向量机168

6.1引言168

6.2线性可分模式的最优超平面168

6.3不可分模式的最优超平面173

6.4使用核方法的支持向量机176

6.5支持向量机的设计178

6.6xor问题179

6.7计算机实验:模式分类181

6.8回归：鲁棒性考虑184

6.9线性回归问题的最优化解184

6.10表示定理和相关问题187

6.11小结和讨论191

注释和参考文献192

习题193

第7章正则化理论197

7.1引言197

7.2良态问题的hadamard条件198

7.3tikhonov正则化理论198

7.4正则化网络205

7.5广义径向基函数网络206

7.6再论正则化最小二乘估计209

7.7对正则化的附加要点211

7.8正则化参数估计212

7.9半监督学习215

7.10流形正则化：初步的考虑216

7.11可微流形217

7.12广义正则化理论220

7.13光谱图理论221

7.14广义表示定理222

7.15拉普拉斯正则化最小二乘算法223

7.16用半监督学习对模式分类的实验225

7.17小结和讨论227

注释和参考文献228

习题229

第8章主分量分析232

8.1引言232

8.2自组织原则232

8.3自组织的特征分析235

8.4主分量分析：扰动理论235

8.5基于hebb的最大特征滤波器241

8.6基于hebb的主分量分析247

8.7计算机实验：图像编码251

8.8核主分量分析252

8.9自然图像编码中的基本问题256

8.10核hebb算法257

8.11小结和讨论260

注释和参考文献262

习题264

第9章自组织映射268

9.1引言268

9.2两个基本的特征映射模型269

9.3自组织映射270

9.4特征映射的性质275

9.5计算机实验ⅰ：利用som解网格动力学问题280

9.6上下文映射281

9.7分层向量量化283

9.8核自组织映射285

9.9计算机实验ⅱ：利用核som解点阵动力学问题290

9.10核som和相对熵之间的关系291

9.11小结和讨论293

注释和参考文献294

习题295

第10章信息论学习模型299

10.1引言299

10.2熵300

10.3最大熵原则302

10.4互信息304

10.5相对熵306

10.6系词308

10.7互信息作为最优化的目标函数310

10.8最大互信息原则311

10.9最大互信息和冗余减少314

10.10空间相干特征316

10.11空间非相干特征318

10.12独立分量分析320

10.13自然图像的稀疏编码以及与ica编码的比较324

10.14独立分量分析的自然梯度学习326

10.15独立分量分析的最大似然估计332

10.16盲源分离的最大熵学习334

10.17独立分量分析的负熵最大化337

10.18相关独立分量分析342

10.19速率失真理论和信息瓶颈347

10.20数据的最优流形表达350

10.21计算机实验：模式分类354

10.22小结和讨论354

注释和参考文献356

习题361

第11章植根于统计力学的随机方法366

11.1引言366

11.2统计力学367

11.3马尔可夫链368

11.4metropolis算法374

11.5模拟退火375

11.6gibbs抽样377

11.7boltzmann机378

11.8logistic信度网络382

11.9深度信度网络383

11.10确定性退火385

11.11和em算法的类比389

11.12小结和讨论390

注释和参考文献390

习题392

第12章动态规划396

12.1引言396

12.2马尔可夫决策过程397

12.3bellman最优准则399

12.4策略迭代401

12.5值迭代402

12.6逼近动态规划：直接法406

12.7时序差分学习406

12.8q学习410

12.9逼近动态规划：非直接法412

12.10最小二乘策略评估414

12.11逼近策略迭代417

12.12小结和讨论419

注释和参考文献421

习题422

第13章神经动力学425

13.1引言425

13.2动态系统426

13.3平衡状态的稳定性428

13.4吸引子432

13.5神经动态模型433

13.6作为递归网络范例的吸引子操作435

13.7hopfield模型435

13.8cohen-grossberg定理443

13.9盒中脑状态模型445

13.10奇异吸引子和混沌448

13.11混沌过程的动态重构452

13.12小结和讨论455

注释和参考文献457

习题458

第14章动态系统状态估计的贝叶斯滤波461

14.1引言461

14.2状态空间模型462

14.3卡尔曼滤波器464

14.4发散现象及平方根滤波469

14.5扩展的卡尔曼滤波器474

14.6贝叶斯滤波器477

14.7数值积分卡尔曼滤波器:基于卡尔曼滤波器480

14.8粒子滤波器484

14.9计算机实验：扩展的卡尔曼滤波器和粒子滤波器对比评价490

14.10大脑功能建模中的

卡尔曼滤波493

14.11小结和讨论494

注释和参考文献496

习题497

第15章动态驱动递归网络501

15.1引言501

15.2递归网络体系结构502

15.3通用逼近定理505

15.4可控性和可观测性507

15.5递归网络的计算能力510

15.6学习算法511

15.7通过时间的反向传播512

15.8实时递归学习515

15.9递归网络的消失梯度519

15.10利用非线性逐次状态估计的递归网络监督学习框架521

15.11计算机实验：mackay-glass吸引子的动态重构526

15.12自适应考虑527

15.13实例学习：应用于神经控制的模型参考529

15.14小结和讨论530

注释和参考文献533

习题534

参考文献538