TensorFlow 2 人工神经网络学习手册

第1章　TensorFlow快速入门 001

1.1　什么是TensorFlow 2.0 002

1.1.1　TensorFlow 2.x平台 002

1.1.2　训练 003

1.1.3　模型保存 005

1.1.4　部署 005

1.2　TensorFlow 2.x提供什么 006

1.2.1　TensorFlow中的tf.keras 006

1.2.2　Eager执行 006

1.2.3　分布式计算 007

1.2.4　TensorBoard 007

1.2.5　视觉套件（Vision Kit） 008

1.2.6　语音套件（Voice Kit） 008

1.2.7　边缘套件（Edge TPU） 008

1.2.8　AIY套件的预训练模型 009

1.2.9　数据管道 009

1.3　安装 009

1.3.1　安装步骤 009

1.3.2　Docker安装 010

1.3.3　无安装 010

1.4　测试 010

总结 012



第2章　深入研究TensorFlow 013

2.1　一个简单的机器学习应用程序 013

2.1.1　创建Colab笔记本 014

2.1.2　导入 015

2.1.3　创建数据 016

2.1.4　定义神经网络 018

2.1.5　编译模型 018

2.1.6　训练网络 018

2.1.7　检查训练结果 019

2.1.8　预测 021

2.1.9　完整源码 022

2.2　使用TensorFlow解决二分类问题 024

2.2.1　创建项目 024

2.2.2　导入 024

2.2.3　挂载Google云盘 025

2.2.4　加载数据 026

2.2.5　数据处理 027

2.2.6　定义ANN 030

2.2.7　模型训练 032

2.2.8　完整源码 036

总结 039



第3章　深入了解tf.keras 040

3.1　开始 040

3.2　用于模型构建的函数式API 041

3.2.1　序列化模型 041

3.2.2　模型子类 043

3.2.3　预定义层 044

3.2.4　自定义层 044

3.3　保存模型 046

3.4　卷积神经网络 049

3.5　使用CNN做图像分类 050

3.5.1　创建项目 051

3.5.2　图像数据 051

3.5.3　加载数据 052

3.5.4　创建训练、测试数据集 052

3.5.5　准备模型训练数据 053

3.5.6　模型开发 055

3.5.7　定义模型 060

3.5.8　保存模型 073

3.5.9　预测未知图像 073

总结 075



第4章　迁移学习 076

4.1　知识迁移 076

4.2　TensorFlow Hub 077

4.2.1　预训练模型 078

4.2.2　模型的使用 079

4.3　ImageNet分类器 080

4.3.1　创建项目 080

4.3.2　分类器URL 080

4.3.3　创建模型 081

4.3.4　准备图像 082

4.3.5　加载标签映射 083

4.3.6　显示预测结果 084

4.3.7　列出所有类别 085

4.3.8　结果讨论 085

4.4　犬种分类器 085

4.4.1　项目简介 086

4.4.2　创建项目 086

4.4.3　加载数据 086

4.4.4　设置图像和标签 088

4.4.5　图像预处理 091

4.4.6　处理图像 091

4.4.7　关联图像与标签 092

4.4.8　创建数据批次 093

4.4.9　显示图像函数 094

4.4.10　选择预训练模型 095

4.4.11　定义模型 095

4.4.12　创建数据集 097

4.4.13　设置TensorBoard 099

4.4.14　训练模型 100

4.4.15　训练日志 100

4.4.16　验证模型性能 101

4.4.17　预测测试图像 101

4.4.18　可视化测试结果 103

4.4.19　预测未知图像 105

4.4.20　使用小数据集训练 106

4.4.21　保存、加载模型 107

4.5　提交你的工作 108

4.6　进一步工作 108

总结 109



第5章　使用神经网络处理回归问题 110

5.1　回归 110

5.1.1　定义 110

5.1.2　应用 111

5.1.3　回归问题 111

5.1.4　回归问题的类型 111

5.2　神经网络中的回归问题 112

5.2.1　创建项目 112

5.2.2　提取特征和标签 113

5.2.3　定义、训练模型 113

5.2.4　预测 114

5.3　分析葡萄酒质量 114

5.3.1　创建项目 114

5.3.2　数据准备 114

5.3.3　下载数据 115

5.3.4　准备数据集 115

5.3.5　创建数据集 115

5.3.6　数据归一化 116

5.3.7　创建模型 119

5.3.8　可视化评价函数 119

5.3.9　小模型 120

5.3.10　中模型 122

5.3.11　大模型 124

5.3.12　解决过拟合 126

5.3.13　结果讨论 129

5.4　损失函数 130

5.4.1　均方误差 130

5.4.2　平均误差 131

5.4.3　Huber损失 131

5.4.4　Log Cosh损失 131

5.4.5　分位数损失 131

5.5　优化器 132

总结 132



第6章　Estimators（估算器） 134

6.1　Estimators概述 134

6.1.1　API接口 135

6.1.2　Estimators的优点 135

6.1.3　Estimators的类型 136

6.1.4　基于Estimators的项目开发流程 137

6.2　设置Estimators 139

6.3　用于分类的DNN分类器 139

6.3.1　加载数据 140

6.3.2　准备数据 140

6.3.3　Estimators输入函数 141

6.3.4　创建Estimators实例 142

6.3.5　模型训练 142

6.3.6　模型评价 143

6.3.7　预测未知数据 144

6.3.8　实验不同的ANN结构 144

6.3.9　项目源码 145

6.4　用于回归的LinearRegressor 147

6.4.1　项目描述 147

6.4.2　创建项目 147

6.4.3　加载数据 148

6.4.4　特征选择 148

6.4.5　数据清洗 149

6.4.6　创建数据集 151

6.4.7　建立特征列 152

6.4.8　定义输入函数 154

6.4.9　创建Estimators实例对象 154

6.4.10　模型训练 155

6.4.11　模型评估 155

6.4.12　项目源码 156

6.5　自定义Estimators 158

6.5.1　创建项目 159

6.5.2　加载数据 159

6.5.3　创建数据集 159

6.5.4　定义模型 159

6.5.5　定义输入函数 160

6.5.6　将模型转换为Estimator 160

6.5.7　模型训练 161

6.5.8　模型评价 161

6.5.9　项目源码 161

6.6　为预训练模型定义Estimators 163

6.6.1　创建项目 163

6.6.2　导入VGG16 163

6.6.3　创建自定义模型 163

6.6.4　编译模型 165

6.6.5　创建Estimator 165

6.6.6　处理数据 165

6.6.7　训练、评价 166

6.6.8　项目源码 166

总结 167



第7章　文本生成 169

7.1　循环神经网络 170

7.1.1　朴素RNN 170

7.1.2　梯度消失和梯度爆炸 171

7.1.3　LSTM（一个特例） 171

7.2　文本生成 174

7.2.1　模型训练 174

7.2.2　预测 175

7.2.3　模型定义 176

7.3　生成新生儿名字 176

7.3.1　创建项目 176

7.3.2　下载文本 177

7.3.3　处理文本 177

7.3.4　定义模型 180

7.3.5　编译 181

7.3.6　创建checkpoints 182

7.3.7　训练 182

7.3.8　预测 182

7.3.9　项目源码-TextGeneration BabyNames 184

7.3.10　保存、重用模型 188

7.4　高级文本生成 188

7.4.1　创建项目 189

7.4.2　加载文本 189

7.4.3　处理数据 190

7.4.4　定义模型 191

7.4.5　创建checkpoints 191

7.4.6　自定义回调类 192

7.4.7　模型训练 193

7.4.8　结果 193

7.4.9　断点续训练 194

7.4.10　过程观察 195

7.4.11　项目源码 196

7.5　进一步工作 199

总结 199



第8章　语言翻译 200

8.1　sequence-to-sequence 模型 200

8.1.1　编码器、解码器 201

8.1.2　Seq2seq模型的缺点 203

8.2　注意力模型 203

8.3　英语翻译为西班牙语 204

8.3.1　创建项目 204

8.3.2　下载数据集 205

8.3.3　创建数据集 205

8.3.4　数据预处理 207

8.3.5　GloVe词嵌入 212

8.3.6　定义编码器 214

8.3.7　定义解码器 215

8.3.8　注意力网络 216

8.3.9　定义模型 221

8.3.10　模型训练 222

8.3.11　预测 222

8.3.12　项目源码 229

总结 237



第9章　自然语言理解 238

9.1　Transformer简介 238

9.2　Transformer详解 239

9.2.1　下载原始数据 240

9.2.2　创建数据集 240

9.2.3　数据预处理 240

9.2.4　构建语料库 240

9.2.5　准备训练集数据 243

9.2.6　Transformer模型 244

9.2.7　多头注意力（机制） 245

9.2.8　Scaled Dot-Product 注意力模块 248

9.2.9　编码器结构 249

9.2.10　编码器 252

9.2.11　解码器结构 254

9.2.12　定义解码器 257

9.2.13　Transformer模型 259

9.2.14　创建训练模型 261

9.2.15　损失函数 261

9.2.16　优化器 262

9.2.17　编译 262

9.2.18　训练 262

9.2.19　预测 263

9.2.20　测试 263

9.2.21　项目源码 264

9.3　下一步是什么 276

总结 276



第10章　图像描述 278

10.1　项目简介 280

10.2　创建项目 280

10.3　下载数据 280

10.4　解析Token文件 282

10.4.1　加载数据 282

10.4.2　创建列表 283

10.5　加载InceptionV3模型 284

10.6　准备数据集 285

10.7　提取特征 285

10.8　创建词汇表 286

10.9　创建输入序列 286

10.10　创建训练数据集 287

10.11　创建模型 288

10.12　创建编码器 288

10.13　创建解码器 288

10.13.1　Bahdanau注意力机制 289

10.13.2　解码器功能 289

10.13.3　解码器初始化 289

10.13.4　解码器调用方法 290

10.13.5　注意力得分 290

10.13.6　注意力权重 290

10.13.7　上下文向量 291

10.13.8　解码器实现 291

10.14　编码器、解码器实例化 294

10.15　定义优化器和损失函数 294

10.16　创建checkpoints 296

10.17　训练函数 297

10.18　模型训练 298

10.19　模型预测 298

10.20　项目源码 301

总结 310



第11章　时间序列预测 311

11.1　时间序列预测简介 311

11.1.1　什么是时间序列预测 311

11.1.2　预测中的问题 312

11.1.3　时间序列组成 312

11.1.4　单变量与多变量 312

11.2　单变量时间序列分析 313

11.2.1　创建项目 313

11.2.2　准备数据 313

11.2.3　创建训练集和测试集 316

11.2.4　创建输入张量 319

11.2.5　构建模型 320

11.2.6　编译和训练 320

11.2.7　评估 320

11.2.8　预测下一个数据点 322

11.2.9　预测数据点区间 323

11.2.10　项目源码 325

11.3　多变量时间序列分析 330

11.3.1　创建项目 330

11.3.2　准备数据 331

11.3.3　检查平稳性 331

11.3.4　探索数据 332

11.3.5　准备数据 333

11.3.6　创建模型 335

11.3.7　训练 335

11.3.8　评估 335

11.3.9　预测未来点 336

11.3.10　预测数据点区间 337

11.3.11　项目源码 339

总结 343



第12章　风格迁移 344

12.1　快速风格迁移 345

12.1.1　创建项目 345

12.1.2　下载图像 345

12.1.3　准备模型输入图像 347

12.1.4　执行风格迁移 348

12.1.5　显示输出 348

12.1.6　更多结果 348

12.1.7　项目源码 350

12.2　自定义风格迁移 351

12.2.1　VGG16结构 352

12.2.2　创建项目 352

12.2.3　下载图像 353

12.2.4　显示图像 354

12.2.5　图像预处理 354

12.2.6　构建模型 355

12.2.7　内容损失 357

12.2.8　风格损失 357

12.2.9　全变分损失 357

12.2.10　计算内容和风格损失 358

12.2.11　Evaluator类 359

12.2.12　生成输出图像 359

12.2.13　显示图像 360

12.2.14　项目源码 361

总结 365



第13章　图像生成 366

13.1　GAN（生成对抗网络） 366

13.2　GAN如何工作 366

13.3　生成器 367

13.4　判别器 367

13.5　数学公式 368

13.6　数字生成 369

13.6.1　创建项目 369

13.6.2　加载数据集 369

13.6.3　准备数据集 370

13.6.4　定义生成器模型 370

13.6.5　测试生成器 372

13.6.6　定义判别器模型 373

13.6.7　测试判别器 374

13.6.8　定义损失函数 375

13.6.9　定义新训练函数 376

13.6.10　项目源码 380

13.7　字母生成 385

13.7.1　下载数据 385

13.7.2　创建单字母数据集 385

13.7.3　输出结果 386

13.7.4　项目源码 387

13.8　印刷体到手写体 392

13.9　生成彩色卡通图像 392

13.9.1　下载数据集 392

13.9.2　创建数据集 392

13.9.3　显示图像 393

13.9.4　输出结果 394

13.9.5　项目源码 394

总结 400



第14章　图像转换 401

14.1　自动编码器 401

14.2　色彩空间 402

14.3　网络配置 402

14.3.1　Vanilla模型 403

14.3.2　Merged模型 403

14.3.3　使用预训练的Merged模型 403

14.4　自动编码器 404

14.4.1　加载数据 405

14.4.2　创建训练、测试数据集 406

14.4.3　准备训练数据 406

14.4.4　定义模型 407

14.4.5　模型训练 410

14.4.6　测试 410

14.4.7　未知图像预测 412

14.4.8　项目源码 413

14.5　编码器的预训练模型 418

14.5.1　项目简介 418

14.5.2　定义模型 418

14.5.3　提取特征 418

14.5.4　定义网络 419

14.5.5　模型训练 420

14.5.6　预测 421

14.5.7　未知图像预测 421

14.5.8　项目源码 422

总结 426