机器学习编程：从编码到深度学习

译者序
前言
致谢
第一部分　从零开始的
图像识别
第1章　机器学习的原理 2
1.1　编程与机器学习 2
1.2　监督学习 4
1.3　魔法背后的数学原理 6
1.4　设置系统 8
第2章　 机器学习程序 12
2.1　了解问题 12
2.1.1　监督比萨 13
2.1.2　理解数据 13
2.2　编写线性回归代码 15
2.2.1　定义模型 16
2.2.2　进行预测 18
2.2.3　进行训练 18
2.2.4　计算误差 19
2.2.5　越来越接近 20
2.2.6　运行代码 21
2.3　添加偏置 23
2.4　小结 25
2.5　动手研究：设置超参数 26
第3章　梯度 28
3.1　算法的缺陷 28
3.2　梯度下降法 30
3.2.1　少量数学知识 32
3.2.2　陡坡速降 33
3.2.3　脱离平面 34
3.2.4　偏导数 35
3.2.5　测试梯度下降法 37
3.2.6　何时梯度下降法不适用 38
3.3　小结 40
3.4　动手研究：露营地问题 40
第4章　超空间 41
4.1　添加更多维度 42
4.2　矩阵代数 44
4.2.1　矩阵乘法 45
4.2.2　矩阵转置 47
4.3　升级学习程序 47
4.3.1　数据准备 48
4.3.2　升级预测函数 50
4.3.3　升级损失函数 51
4.3.4　升级梯度公式 52
4.3.5　整合函数 53
4.4　告别偏置 54
4.5　 后一次试运行 55
4.6　小结 56
4.7　动手研究：统计学家 56
第5章　能辨识的机器 58
5.1　线性回归的不足 58
5.2　S型函数 61
5.2.1　信心与疑虑 62
5.2.2　平滑过程 63
5.2.3　升级梯度 65
5.2.4　模型函数受到的影响 66
5.3　操作中的分类函数 67
5.4　小结 69
5.5　动手研究：权重的影响 70
第6章　计算机视觉初探 71
6.1　处理数据 72
6.1.1　MNIST入门 72
6.1.2　训练与测试 73
6.2　我们自己的MNIST库 74
6.2.1　准备输入矩阵 74
6.2.2　处理数据 76
6.3　实际运行 79
6.4　小结 80
6.5　动手研究：难以识别的数字 80
第7章　 后的挑战 81
7.1　多元分类 81
7.1.1　独热编码 83
7.1.2　独热编码实践 84
7.1.3　解码分类器的答案 85
7.1.4　需要更多的权重 85
7.1.5　回顾矩阵维数 86
7.2　验证与结果 87
7.3　小结 89
7.4　动手研究：扫雷舰 89
第8章　感知机 91
8.1　认识感知机 91
8.2　组装感知机 92
8.3　感知机的不足 93
8.3.1　线性可分数据 94
8.3.2　线性不可分数据 95
8.4　感知机史话 97
8.4.1　终极之战 98
8.4.2　论战余波 98
第二部分　神经网络
第9章　设计神经网络 100
9.1　用感知机组装神经网络 101
9.1.1　链式感知机 102
9.1.2　节点数量 103
9.2　加入softmax函数 105
9.3　构建方案 106
9.4　小结 106
9.5　动手研究：网络冒险 107
第10章　构建神经网络 108
10.1　编写正向传播代码 108
10.1.1　编写softmax函数 110
10.1.2　编写分类函数 112
10.2　交叉熵 112
10.3　小结 114
10.4　动手研究：时间旅行的测试 115
第11章　训练神经网络 116
11.1　反向传播的使用场合 116
11.2　从链式法则到反向传播 118
11.2.1　简单网络结构的链式法则 118
11.2.2　复杂网络的链式法则 119
11.3　使用反向传播算法 121
11.3.1　开始之前 123
11.3.2　计算w2的梯度 123
11.3.3　计算w1的梯度 124
11.3.4　提炼反向函数 125
11.4　初始化权重 126
11.4.1　可怕的对称性 126
11.4.2　死亡神经元 127
11.4.3　正确的权重初始化 129
11.5　完成网络模型 130
11.6　小结 132
11.7　动手研究：错误的开始 133
第12章　分类器的工作原理 134
12.1　寻找边界 134
12.1.1　感知机的主场 135
12.1.2　理解分类 136
12.1.3　线性不可分 138
12.2　弯 的边界 139
12.3　小结 141
12.4　动手研究：高难数据 141
第13章　小批量处理 142
13.1　训练过程的可视化 143
13.2　分批处理 145
13.2.1　小批量样本集的构造 145
13.2.2　批量样本的训练 147
13.3　理解小批量 148
13.3.1　扭 的路径 148
13.3.2　大型和小型批处理 150
13.3.3　批处理的优缺点 151
13.4　小结 152
13.5　动手研究： 小的批量 153
第14章　测试的禅意 154
14.1　过度拟合的威胁 154
14.2　测试的难题 156
14.3　小结 158
14.4　动手研究：思考测试 159
第15章　来做开发吧 160
15.1　准备样本数据 161
15.1.1　检查输入变量的范围 161
15.1.2　标准化输入变量 162
15.1.3　标准化的实践 163
15.2　调优超参数 164
15.2.1　选择历元的数量 164
15.2.2　调优隐藏节点数量 165
15.2.3　调优学习率 168
15.2.4　调优批量大小 170
15.3　 终测试 171
15.4　动手研究：实现99% 17