深度学习自然语言处理实战

前言
第1章深度学习理论基础
1.1深度学习概况
1.1.1深度学习的历史
1.1.2“无所不能”的深度学习
1.2深度学习神经网络
1.2.1神经网络
1.2.2隐藏层
1.2.3梯度下降
1.2.4激活函数
1.2.5权重初始化
1.2.6正则化
1.2.7归一化
第2章深度学习的软件框架
2.1环境配置
2.1.1Anaconda
2.1.2英伟达GPU驱动 CUDA cuDNN
2.1.3PyTorch安装
2.1.4Python IDE选择
2.2PyTorch 入门
2.2.1Tensor基本概念
2.2.2Tensor的运算
2.3PyTorch自动求梯度
2.3.1基本概念
2.3.2Tensor样例
2.3.3梯度计算
2.4PyTorch nn模块
第3章语言模型与词向量
3.1语言模型
3.1.1无处不在的语言模型
3.1.2神经网络语言模型
3.2词向量
3.2.1one-hot
3.2.2word2vec
3.2.3GloVe
3.3代码实战
3.3.1任务1:应用PyTorch搭建Skip-Gram
3.3.2任务2:基于GloVe的大规模中文语料的词向量训练
第4章序列模型与梯度消失/爆炸
4.1循环神经网络
4.1.1模型结构及计算过程
4.1.2应用PyTorch搭建并训练RNN模型
4.2梯度消失与爆炸
4.2.1产生原因
4.2.2解决方法
4.3改进方法
4.3.1LSTM
4.3.2GRU
4.4代码实战：搭建LSTM/GRU的文本分类器
第5章卷积神经网络在NLP领域的应用
5.1卷积神经网络的概念
5.1.1输入层
5.1.2卷积层
5.1.3池化层
5.1.4全连接层
5.2空洞卷积神经网络
5.2.1空洞卷积的基本定义
5.2.2空洞卷积在NLP中的应用
5.2.3空洞卷积相关代码
5.2.4多层卷积
5.3代码实战：CNN情感分类实战
5.3.1数据处理
5.3.2程序主干部分
5.3.3模型部分
5.3.4模型训练与评估
第6章Seq2Seq模型与Attention机制
6.1Encoder-Decoder结构
6.1.1Encoder
6.1.2Decoder
6.1.3Encoder-Decoder存在的问题
6.2Attention机制
6.3Seq2Seq训练与预测
6.3.1模型训练
6.3.2模型预测
6.3.3BLEU模型评估法
6.4代码实战：应用PyTorch搭建机器翻译模型
第7章大规模预训练模型
7.1ELMo
7.1.1模型结构
7.1.2模型效果
7.1.3ELMo的优点
7.1.4利用ELMo CNN进行分类的示例
7.2Transformer
7.2.1Encoder端及Decoder端总览
7.2.2Encoder端各个子模块
7.2.3Decoder端各个子模块
7.2.4其他模块
7.2.5完整模型
第8章预训练语言模型BERT
8.1BERT的基本概念
8.2BERT的工作原理
8.2.1BERT的预训练
8.2.2BERT模型结构
8.2.3BERT的微调
8.3BERT的可解释性
8.4其他预训练模型
8.4.1XLNet
8.4.2RoBERTa
8.4.3ALBERT
8.5代码实战：预训练模型
参考文献