图表示学习

部分 背景介绍
第 1 章 引言 ............................................................................................... 2
1.1 什么是图？ ...................................................................................... 3
1.1.1 多关系图 .............................................................................. 4
1.1.2 特征信息 .............................................................................. 5
1.2 图机器学习 ...................................................................................... 6
1.2.1 节点分类 .............................................................................. 7
1.2.2 关系预测 .............................................................................. 9
1.2.3 聚类和社区发现................................................................. 11
1.2.4 图的分类、回归与聚类 ..................................................... 11
第 2 章 背景与传统方法 ............................................................................ 13
2.1 图统计特征与核方法 ..................................................................... 14
2.1.1 节点层面的统计特征 ......................................................... 14
2.1.2 图层面的特征和图核 ......................................................... 20
2.2 邻域重叠检测 ................................................................................ 23
2.2.1 局部重叠测量..................................................................... 25
2.2.2 全局重叠测量..................................................................... 26
2.3 图的拉普拉斯矩阵和图的谱方法 .................................................. 32
2.3.1 图拉普拉斯矩阵................................................................. 32
2.3.2 图割与图聚类..................................................................... 35
2.3.3 广义谱聚类 ........................................................................ 40
2.4 面向表示学习 ................................................................................ 41
第二部分 节点嵌入
第 3 章 邻域节点重构................................................................................ 44
3.1 编码-解码框架 ............................................................................... 45
3.1.1 编码.................................................................................... 46
3.1.2 解码器 ................................................................................ 47
3.1.3 编码-解码模型的优化........................................................ 48
3.1.4 编码-解码方法概述............................................................ 49
3.2 基于因式分解的方法 ..................................................................... 49
3.3 随机游走嵌入表示......................................................................... 52
3.4 shallow embedding 的局限性 ......................................................... 56
第 4 章 多关系数据及知识图谱 .................................................................. 58
4.1 重建多关系数据............................................................................. 59
4.2 损失函数 ........................................................................................ 60
4.3 多关系解码器 ................................................................................ 64
4.4 解码器的性能表征......................................................................... 68
第三部分 图神经网络（ GNN）
第 5 章 图神经网络（ GNN）模型 .............................................................. 72
5.1 神经消息传递 ................................................................................ 74
5.1.1 消息传递框架概述 ............................................................. 74
5.1.2 动机和思想 ........................................................................ 76
5.1.3 基本的 GNN ....................................................................... 77
5.1.4 自环消息传递..................................................................... 79
5.2 广义邻域聚合 ................................................................................ 80
5.2.1 邻域归一化 ........................................................................ 81
5.2.2 集合聚合操作..................................................................... 83
5.2.3 邻域注意力模型................................................................. 86
5.3 广义的更新方法............................................................................. 89
5.3.1 拼接和跳跃连接................................................................. 92
5.3.2 门控更新函数..................................................................... 94
5.3.3 跳跃知识连接..................................................................... 95
5.4 边特征和多元关系 GNN ................................................................ 96
5.4.1 关系 GNN ........................................................................... 96
5.4.2 注意力机制和特征拼接 ..................................................... 98
5.5 图池化............................................................................................ 99
5.6 通用的消息传递方法 ................................................................... 102
第 6 章 图神经网络（ GNN）的实现......................................................... 104
6.1 应用和损失函数........................................................................... 104
6.1.1 用于节点分类的 GNN ...................................................... 105
6.1.2 用于图分类的 GNN .......................................................... 107
6.1.3 用于关系预测的 GNN ...................................................... 108
6.1.4 预训练 GNN ..................................................................... 108
6.2 效率问题和节点采样 ................................................................... 110
6.2.1 图级别的实现方法 ........................................................... 110
6.2.2 子采样和小批量............................................................... 111
6.3 参数共享与正则化....................................................................... 112
第 7 章 图神经网络（ GNN）的理论动机.................................................. 114
7.1 GNN 与图卷积............................................................................. 115
7.1.1 卷积与傅里叶变换 ........................................................... 115
7.1.2 从时间信号到图信号 ....................................................... 118
7.1.3 谱图卷积 .......................................................................... 124
7.1.4 卷积启发的 GNN ............................................................. 129
7.2 GNN 和概率图模型 ..................................................................... 135·
7.2.1 分布的希尔伯特空间嵌入................................................ 135
7.2.2 图作为图模型................................................................... 136
7.2.3 嵌入平均场推断............................................................... 137
7.2.4 更一般的 GNN 和 PGM ................................................... 141
7.3 GNN 与图同构............................................................................. 141
7.3.1 图同构 .............................................................................. 142
7.3.2 图同构与表示能力 ........................................................... 143
7.3.3 WL 算法 ........................................................................... 143
7.3.4 GNN 和 WL 算法 ............................................................. 145
7.3.5 超越 WL 算法 .................................................................. 148
第四部分 生成图模型
第 8 章 传统图