计算机视觉技术：事件相机原理与应用

第1 章 计算机视觉简介 001

1.1 计算机视觉的概念 001

1.2 计算机视觉的应用 002

1.2.1 图像分类 003

1.2.2 目标检测 003

1.2.3 图像分割 004

1.2.4 目标跟踪 004

1.2.5 其他应用 005

1.3 思考与练习 005



第2 章 事件相机的原理 006

2.1 数学基础知识 007

2.1.1 导数 007

2.1.2 积分 014

2.1.3 神经元模型 018

2.1.4 多层感知机与全连接层 023

2.1.5 损失函数 028

2.1.6 神经网络的优化 030

2.2 事件相机的概念及原理 034

2.3 常用的事件相机 042

2.3.1 DVS 相机 042

2.3.2 ATIS 相机 043

2.3.3 DAVIS 044

2.3.4 商业事件相机 044

2.4 思考与练习 045



第3 章 事件信息的编码 046

3.1 点云式编码 046

3.2 CountImage 编码 047

3.3 张量式编码 049

3.4 局部CountImage 编码 050

3.5 TimeImage 编码 051

3.6 Leaky Surface 编码 053

3.7 思考与练习 056



第4 章 事件的普通卷积 057

4.1 2D 卷积的基本原理 057

4.2 卷积神经网络的组成 064

4.2.1 卷积层 064

4.2.2 池化层 065

4.2.3 全连接层 066

4.2.4 全局/平均池化 067

4.3 事件2D 卷积的适用范围 068

4.3.1 编码要求 068

4.3.2 直接事件卷积存在的问题 070

4.4 思考与练习 071



第5 章 事件的稀疏卷积 072

5.1 稀疏卷积的基本原理 072

5.1.1 SC 层的定义 072

5.1.2 VSC 层的定义 074

5.2 稀疏池化与全连接层 079

5.2.1 稀疏池化层 079

5.2.2 稀疏全连接层 081

5.3 稀疏卷积的特征 082

5.3.1 编码要求 082

5.3.2 流形拟合特性 082

5.3.3 稀疏卷积的缺点 083

5.4 思考与练习 083



第6 章 事件的图卷积 084

6.1 图卷积的基本原理 084

6.1.1 事件的采样 084

6.1.2 图的概念及事件图的构建 088

6.1.3 图卷积的定义 094

6.1.4 图池化及图全连接层的定义 097

6.2 图卷积的特性 099

6.2.1 编码要求 099

6.2.2 图的普适性 099

6.2.3 方向可变性 100

6.3 思考与练习 101



第7 章 事件的3D 卷积 102

7.1 3D 卷积的原理 102

7.1.1 卷积层的扩展 102

7.1.2 池化层的扩展 105

7.2 事件输入与3D 卷积的特点 108

7.2.1 事件输入的编码要求 108

7.2.2 直接3D 卷积的现存问题 109

7.2.3 3D 卷积的可分解性 110

7.3 4D 卷积简介 110

7.4 思考与练习 114



第8 章 基于LSTM 的事件处理 115

8.1 LSTM 的基本原理 115

8.1.1 LSTM 细胞的定义 115

8.1.2 LSTM 的运算更新 118

8.2 LSTM 的变体及事件处理 123

8.2.1 ConvLSTM 123

8.2.2 PhasedLSTM 125

8.3 思考与练习 126



第9 章 基于脉冲神经网络的事件处理 127

9.1 普通神经元的局限 127

9.2 脉冲神经网络的概念 128

9.2.1 脉冲神经元模型 130

9.2.2 脉冲全连接层 133

9.2.3 脉冲卷积层 135

9.2.4 脉冲池化层 136

9.3 脉冲神经网络的学习 137

9.4 脉冲神经网络的特点 138

9.4.1 编码要求 138

9.4.2 脉冲神经网络的局限 139

9.5 思考与练习 140



第10 章 基于生成对抗网络的事件处理 141

10.1 生成对抗网络的基本原理 141

10.1.1 普通GAN 的对弈原理 141

10.1.2 cGAN 的对弈原理 148

10.1.3 Cycle-GAN 的对弈原理 149

10.1.4 Info-GAN 的对弈原理 154

10.2 事件图像的生成 155

10.3 思考与练习 157



参考文献 158