DeepGCNs: Can GCNs Go as Deep as CNNs?

论文链接：

2019 年 ICCV 论文
会议介绍：
ICCV 国际计算机视觉大会与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议
作者介绍：

所以是一篇发在比较厉害的会议上的一篇论文啦
进入文章正题

在做什么？

GCN的很多概念与CNN 由重合之处，CNN 模型的一个优势是可以将神经网络的layer 做的很深，从而提高图片分类的效果，反观GCN 模型，只有简单的3-4 层就可以把节点分类任务做的很好（GCN 也太厉害了），但是也有一些任务**（作者还没提到）**，这么少层的GCN 做不好，原因主要是GCN 层数增多之后，出现了梯度消失和over-smoothing 的问题（具体这两个问题是什么一会儿再说），作者一看，这个和CNN 加深之后出现的问题一毛一样啊，做CNN的大佬们已经将这个问题给解决了，那我就借这个思路【method】过来用一用，看看能不能解决GCN层数加深后的问题呗，结果当然是能够解决了，在三维点云上做了语义分割实验（这个具体是在干什么一会儿也要解释一下），发现一些指标（mIOU 这个指标啥意思，一会儿再说）提高了3.7%。

开始解释上边一些理解不够深刻的概念了（现学现卖版）

梯度消失问题
梯度消失/爆炸出现的两种情况

使用了错误的**函数
层数太深（本篇文章中出现的情况）
因为计算梯度的公式中有参数求导连乘的情况，因此层数增多后，一旦有多个连续<1 或者>1 的导数连乘，最终参数的梯度就会接近0(连续<1)，又称为梯度消失或接近无穷(连续<1)又称为梯度爆炸。

over-smothing 问题（图神经网络过度平滑的问题）

知乎大佬的解释 https://www.zhihu.com/question/346942899/answer/835292740（意外看到了这篇论文的作者在回答这个问题）
意思就是，在拓扑图结构中，一层GCN 聚合了1阶邻居的节点信息，2层GCN 聚合了2阶邻居节点的信息， n层GCN 就聚合了n 阶邻居节点的信息，在一张连通图当中，每个节点用于聚合的邻居节点重合度较高，很容易导致每个节点学出来的特征表示是一致的。这样节点的特性就被掩盖掉了，
图卷积神经网络层数增多后，聚合的邻居变多，不同节点重合的邻居节点数变多，因此会出现over-smothing 现象。(怎么解决呢？此处引用大佬的话“ 通过有效地改变图的结构或卷积的领接节点来解决。比如在点云里用动态knn/dilation来建边，不太懂，后边会解释下”)

Method （CNN 中解决层数增多引起的问题的model）

Res-net
网络的深度为什么重要Res-net：https://blog.csdn.net/Sakura55/article/details/81512132

深层卷积神经网络中的残差块，卷积层之间跳跃连接，可以保证两个网络之间一定有梯度反传。

Dense-net
相比与Res-net 每一层的输出包括该层的输出H(x)和上一层的输出x
Dense-net 的输入包括上一层及上一层前所有层的输入并且每一层的网络更加稠密，宽度更小

Dilated-Convolutios
按照一定的比例在图卷积中制造一些空洞，在图像分割等端到端的图学习任务中，减少了下采样和上采样的过程，从而缓解了梯度反传

Method （解决over-smothing 的 model）

edge conv 《论文Dynamic Graph CNN for Learning on Point Clouds 》
Dynamic Graph CNN for Learning on Point Clouds 解析链接: https://blog.csdn.net/legend_hua/article/details/79175315
文章链接： https://arxiv.org/pdf/1801.07829.pdf
点云：

其中红色代表地板；绿色代表墙体；蓝色代表椅子；黄色代表桌子；白色代表剩余的家具；黑色代表未定义。

解决梯度消失问题的model
ResNet，Highway Networks，Stochastic depth