机器学习与深度学习

第1章 引言1
1.1 人工智能概述1
1.1.1 人工智能产生的基础条件1
1.1.2 人工智能的发展史2
1.1.3 人工智能的几个重要分支3
1.1.4 人工智能与机器学习和深度学习的关系4
1.2 机器学习概述5
1.2.1 机器学习的定义5
1.2.2 机器学习的主要方法5
1.2.3 机器学习的应用及其相关课程介绍11
1.3 深度学习概述12
1.3.1 深度学习产生的背景12
1.3.2 深度学习的几种常用模型13
1.3.3 深度学习的应用场合16
1.3.4 深度学习开源工具18
习题19
参考文献19
第2章 简单模型21
2.1 KNN算法21
2.1.1 算法原理21
2.1.2 算法步骤22
2.1.3 算法描述22
2.1.4 算法评价23
2.1.5 算法实例23
2.2 线性回归24
2.2.1 算法原理25
2.2.2 模型求解26
2.2.3 算法步骤29
2.2.4 算法描述29
2.2.5 算法评价30
2.2.6 算法实例30
2.3 逻辑回归32
2.3.1 算法原理32
2.3.2 模型求解33
2.3.3 算法步骤34
2.3.4 算法描述34
2.3.5 算法评价35
2.4 实验：逻辑回归算法35
2.4.1 实验目的35
2.4.2 实验要求35
2.4.3 实验原理35
2.4.4 实验步骤36
2.4.5 实验结果38
2.4.6 结果分析39
习题39
参考文献40
第3章 贝叶斯学习42
3.1 贝叶斯方法简述42
3.2 贝叶斯基础理论43
3.2.1 概率基础43
3.2.2 贝叶斯方法44
3.3 朴素贝叶斯46
3.3.1 朴素贝叶斯法介绍46
3.3.2 朴素贝叶斯法实例47
3.3.3 朴素贝叶斯法优缺点51
3.4 贝叶斯网络51
3.4.1 贝叶斯网络介绍51
3.4.2 贝叶斯网络实现52
3.4.3 贝叶斯网络特性及应用54
3.5 实验54
3.5.1 实验目的55
3.5.2 实验要求55
3.5.3 实验原理55
3.5.4 实验步骤56
3.5.5 实验结果57
习题59
参考文献60
第4章 决策树62
4.1 决策树简述62
4.1.1 树形结构63
4.1.2 树的构建63
4.2 划分属性选择64
4.2.1 信息增益64
4.2.2 增益率66
4.2.3 基尼指数67
4.3 剪枝处理68
4.3.1 损失函数69
4.3.2 先剪枝70
4.3.3 后剪枝70
4.4 决策树算法72
4.4.1 ID3算法73
4.4.2 C4.5算法75
4.4.3 CART算法77
4.5 实验：基于CART算法的鸢尾花决策树构建78
4.5.1 实验目的78
4.5.2 实验要求78
4.5.3 实验原理79
4.5.4 实验步骤81
4.5.5 实验结果82
习题83
参考文献83
第5章 支持向量机84
5.1 最大间隔理论简介84
5.2 两类问题的线性分类85
5.2.1 线性可分的情况85
5.2.2 最大间隔与支持向量86
5.2.3 最大间隔的相关理论87
5.2.4 线性不可分的情况89
5.2.5 小结91
5.3 非线性空间映射与核函数91
5.3.1 非线性空间映射的概念和原理91
5.3.2 核函数的选择与分析92
5.3.3 核函数的选择依据95
5.3.4 小结95
5.4 多类问题的分类95
5.4.1 一对一法96
5.4.2 一对多法96
5.4.3 其他方法97
5.4.4 小结98
5.5 实验98
5.5.1 实验1：两类问题的线性可分问题98
5.5.2 实验2：两类问题的非线性分类问题100
5.5.3 实验3：UCI数据集中wine.data的多类分类问题103
5.5.4 实验4：USPS手写阿拉伯数据库的识别106
习题108
参考文献109
第6章 集成学习111
6.1 集成学习简述111
6.2 个体学习器与集成学习算法112
6.2.1 个体学习器113
6.2.2 集成学习算法113
6.3 Bagging算法和随机森林算法113
6.3.1 Bagging算法113
6.3.2 随机森林114
6.4 Boosting算法和AdaBoost算法115
6.4.1 Boosting算法115
6.4.2 AdaBoost算法116
6.5 结合策略123
6.5.1 平均法123
6.5.2 投票法123
6.5.3 学习法124
6.6 实验：集成学习实例126
6.6.1 一个简单的基于AdaBoost算法的二分类实现126
6.6.2 基于决策树、Bagging和AdaBoost模型的糖尿病预测实验129
习题133
参考文献133
第7章 聚类136
7.1 聚类简述136
7.1.1 基本概念136
7.1.2 聚类类型137
7.1.3 算法挑战138
7.2 原型聚类139
7.2.1 k均值聚类139
7.2.2 k中心点聚类141
7.3 密度聚类144
7.3.1 基本术语144
7.3.2 算法描述146
7.4 层次聚类147
7.4.1 层次聚类概述149
7.4.2 BIRCH算法151
7.4.3 CURE算法155
7.5 实验：用k均值聚类实现篮球运动员聚类158
7.5.1 实验目的158
7.5.2 实验原理158
7.5.3 实验步骤159
7.5.4 实验结果及分析160
习题161
参考文献161
第8章 感知机与神经网络162
8.1 感知机162
8.1.1 神经元模型162
8.1.2 激活函数163
8.1.3 感知机算法165
8.2 神经网络原理167
8.2.1 基本特征167
8.2.2 前馈神经网络168
8.3 反向传播神经网络169
8.4 Hopfield神经网络171
8.4.1 Hopfield神经网络简介171
8.4.2 离散Hopfield神经网络172
8.4.3 能量函数173
8.5 实验：基于Python的感知机实验173
8.5.1 实验目的173
8.5.2 实验要求174
8.5.3 实验原理174
8.5.4 实验步骤174
8.5.5 实验结果175
习题175
参考文献175
第9章 卷积神经网络177
9.1 卷积神经网络简述177
9.1.1 发展历程177
9.1.2 端到端的学习178
9.2 网络部件179
9.2.1 符号定义179
9.2.2 卷积层179
9.2.3 池化层182
9.2.4 激活函数层183
9.2.5 全连接层184
9.2.6 目标函数184
9.3 核心算法186
9.3.1 随机梯度下降法186
9.3.2 反向传播算法190
9.4 激活函数和损失函数195
9.4.1 激活函数195
9.4.2 损失函数196
9.5 经典CNN模型198
9.5.1 LeNet198
9.5.2 AlexNet199
9.5.3 VGGNet201
9.6 实验：应用CNN模型进行手写数字辨识202
9.6.1 实验目的202
9.6.2 实验要求203
9.6.3 实验原理203
9.6.4 实验步骤205
9.6.5 实验结果206
习题206
参考文献208
第10章 循环神经网络209
10.1 RNN简介209
10.1.1 RNN概述209
10.1.2 RNN的工作原理209
10.2 双向RNN210
10.3 LSTM211
10.3.1 LSTM遗忘门212
10.3.2 LSTM输入门213
10.3.3 LSTM输出门214
10.3.4 前向传播的代码实现214
10.3.5 反向传播的代码实现215
10.4 GRU216
10.5 RNN的实现217
10.5.1 定义初始化类和初始化函数217
10.5.2 定义激活函数217
10.5.3 定义前向传播和反向传播217
10.5.4 计算delta值和总的delat值218
10.5.5 计算各个梯度的值和总梯度218
10.5.6 定义梯度检查函数219
10.5.7 构建测试函数并运行219
10.6 实验：应用LSTM模型进行手写数字辨识220
10.6.1 实验目的220
10.6.2 实验要求220
10.6.3 实验原理220
10.6.4 实验步骤220
10.6.5 实验结果222
习题223
参考文献223
第11章 生成对抗网络225
11.1 生成对抗网络简述225
11.1.1 博弈225
11.1.2 对抗226
11.1.3 分类问题226
11.2 生成对抗网络的基本原理、学习机制、应用、特点227
11.2.1 生成对抗网络的基本原理227
11.2.2 生成对抗网络的学习机制227
11.2.3 生成对抗网络的应用228
11.2.4 生成对抗网络的特点229
11.3 生成对抗网络的变种网络230
11.3.1 JointGAN230
11.3.2 MD-GAN230
11.3.3 MsCGAN230
11.3.4 TGAN231
11.3.5 HexaGAN231
11.4 实验231
11.4.1 基于SRGAN模型的人脸超分辨率实验231
11.4.2 基于SRGAN的图像转换实验237
习题246
参考文献246
第12章 强化学习250
12.1 强化学习的引入250
12.1.1 强化学习的概念250
12.1.2 强化学习的特点251
12.1.3 强化学习与监督学习252
12.2 马尔可夫决策过程253
12.2.1 策略与环境模型253
12.2.2 值函数与Bellman公式253
12.3 有模型学习——动态规划255
12.3.1 策略迭代256
12.3.2 值迭代258
12.3.3 广义策略迭代260
12.4 免模型学习——蒙特卡罗方法260
12.4.1 蒙特卡罗方法260
12.4.2 时序差分方法与SARSA算法261
12.4.3 Q-Learning算法263
12.4.4 DQN264
12.5 实验266
12.5.1 实验一：方块走迷宫266
12.5.2 实验二：利用DQN实现“打砖块”游戏271
习题277
参考文献278