TensorFlow深度学习

目　　录



* 1章　深度学习入门 1

1.1　机器学习简介 1

1.1.1　监督学习 2

1.1.2　无监督学习 2

1.1.3　强化学习 3

1.2　深度学习定义 3

1.2.1　人脑的工作机制 3

1.2.2　深度学习历史 4

1.2.3　应用领域 5

1.3　神经网络 5

1.3.1　生物神经元 5

1.3.2　人工神经元 6

1.4　人工神经网络的学习方式 8

1.4.1　反向传播算法 8

1.4.2　权重优化 8

1.4.3　随机梯度下降法 9

1.5　神经网络架构 10

1.5.1　多层感知器 10

1.5.2　DNN架构 11

1.5.3　卷积神经网络 12

1.5.4　受限玻尔兹曼机 12

1.6　自编码器 13

1.7　循环神经网络 14

1.8　几种深度学习框架对比 14

1.9　小结 16

* 2章　TensorFlow初探 17

2.1　总览 17

2.1.1　TensorFlow 1.x版本特性 18

2.1.2　使用上的改进 18

2.1.3　TensorFlow安装与入门 19

2.2　在Linux上安装TensorFlow 19

2.3　为TensorFlow启用NVIDIA GPU 20

2.3.1　* 1步：安装NVIDIA CUDA 20

2.3.2 * 2步：安装NVIDIA cuDNN v5.1 21

2.3.3 第3步：确定GPU卡的CUDA计算能力为3.0 22

2.3.4　第4步：安装libcupti-dev库 22

2.3.5 第5步：安装Python（或Python3） 22

2.3.6　第6步：安装并升级PIP（或PIP3） 22

2.3.7　第7步：安装TensorFlow 23

2.4　如何安装TensorFlow 23

2.4.1　直接使用pip安装 23

2.4.2　使用virtualenv安装 24

2.4.3　从源代码安装 26

2.5　在Windows上安装TensorFlow 27

2.5.1　在虚拟机上安装TensorFlow 27

2.5.2　直接安装到Windows 27

2.6　测试安装是否成功 28

2.7　计算图 28

2.8　为何采用计算图 29

2.9　编程模型 30

2.10　数据模型 33

2.10.1　阶 33

2.10.2　形状 33

2.10.3　数据类型 34

2.10.4　变量 36

2.10.5　取回 37

2.10.6　注入 38

2.11　TensorBoard 38

2.12　实现一个单输入神经元 39

2.13　单输入神经元源代码 43

2.14　迁移到TensorFlow 1.x版本 43

2.14.1　如何用脚本升级 44

2.14.2　局限 47

2.14.3　手动升级代码 47

2.14.4　变量 47

2.14.5　汇总函数 47

2.14.6　简化的数学操作 48

2.14.7　其他事项 49

2.15　小结 49

第3章　用TensorFlow构建前馈

神经网络 51

3.1　前馈神经网络介绍 51

3.1.1　前馈和反向传播 52

3.1.2　权重和偏差 53

3.1.3　传递函数 53

3.2　手写数字分类 54

3.3　探究MNIST数据集 55

3.4　Softmax分类器 57

3.5　TensorFlow模型的保存和还原 63

3.5.1　保存模型 63

3.5.2　还原模型 63

3.5.3　Softmax源代码 65

3.5.4　Softmax启动器源代码 66

3.6　实现一个五层神经网络 67

3.6.1　可视化 69

3.6.2　五层神经网络源代码 70

3.7　ReLU分类器 72

3.8　可视化 73

3.9　Dropout优化 76

3.10　可视化 78

3.11　小结 80

第4章　TensorFlow与卷积神经网络 82

4.1　CNN简介 82

4.2　CNN架构 84

4.3　构建你的* 一个CNN 86

4.4　CNN表情识别 95

4.4.1　表情分类器源代码 104

4.4.2　使用自己的图像测试模型 107

4.4.3　源代码 109

4.5　小结 111

第5章　优化TensorFlow自编码器 112

5.1　自编码器简介 112

5.2　实现一个自编码器 113

5.3　增强自编码器的鲁棒性 119

5.4　构建去噪自编码器 120

5.5　卷积自编码器 127

5.5.1　编码器 127

5.5.2　解码器 128

5.5.3　卷积自编码器源代码 134

5.6　小结 138

第6章　循环神经网络 139

6.1　RNN的基本概念 139

6.2　RNN的工作机制 140

6.3　RNN的展开 140

6.4　梯度消失问题 141

6.5　LSTM网络 142

6.6　RNN图像分类器 143

6.7　双向RNN 149

6.8　文本预测 155

6.8.1　数据集 156

6.8.2　困惑度 156

6.8.3　PTB模型 156

6.8.4　运行例程 157

6.9　小结 158

第7章　GPU计算 160

7.1　GPGPU计算 160

7.2　GPGPU的历史 161

7.3　CUDA架构 161

7.4　GPU编程模型 162

7.5　TensorFlow中GPU的设置 163

7.6　TensorFlow的GPU管理 165

7.7　GPU内存管理 168

7.8　在多GPU系统上分配单个GPU 168

7.9　使用多个GPU 170

7.10　小结 171

第8章　TensorFlow高 级编程 172

8.1　Keras简介 172

8.2　构建深度学习模型 174

8.3　影评的情感分类 175

8.4　添加一个卷积层 179

8.5　Pretty Tensor 181

8.6　数字分类器 182

8.7　TFLearn 187

8.8　泰坦尼克号幸存者预测器 188

8.9　小结 191

第9章　TensorFlow高 级多媒体编程 193

9.1　多媒体分析简介 193

9.2　基于深度学习的大型对象检测 193

9.2.1　瓶颈层 195

9.2.2　使用重训练的模型 195

9.3　加速线性代数 197

9.3.1　TensorFlow的核心优势 197

9.3.2　加速线性代数的准时编译 197

9.4　TensorFlow和Keras 202

9.4.1　Keras简介 202

9.4.2　拥有Keras的好处 203

9.4.3　视频问答系统 203

9.5　Android上的深度学习 209

9.5.1　TensorFlow演示程序 209

9.5.2　Android入门 211

9.6　小结 214

* 10章　强化学习 215

10.1　强化学习基本概念 216

10.2　Q-learning算法 217

10.3　OpenAI Gym框架简介 218

10.4　FrozenLake-v0实现问题 220

10.5　使用TensorFlow实现Q-learning 223

10.6　小结 227