论文链接：论文
一位大佬的博客：博客
一般深度学习的各种操作都是local的，比如CNN，conv都是局部感受野，但其实全局的信息对于图像的任务更有价值，比如短视频分类任务等等，目前全局信息的使用就是FC，但是这会带来大量的参数。这篇文章提出了一个nonlocal的操作，他把position当成了一个权重，这里的position可以指空间，时间，或者时空关系，计算全局的关联性。eg视频中第一帧的A1区域和第十帧中A3区域有关联性，或者静态图像中，有些区域有关系，如果找到这些关系，就可以更好的分析目标整体的动作。
这个nonlocal可以被封装成一个block，用于任何网络。
贴出它的公式：
它是一个类似attention的机制，根据各像素之间的相关性，对所有像素进行加权。权重越大，说明这个区域越重要。
x i x_{i} xi代表输入图像的各像素点, f f f计算 x i x_{i} xi和所有 x j x_{j} xj之间的相关性。 g g g可以理解为对 x j x_{j} xj的一种增强操作。（注意, x x x为向量。故 f f f的结果为一个数值, g ( x j ) g(x_{j}) g(xj)仍为一个向量， C ( x ) C(x) C(x)是用于归一化的数值。相当于给输入图像每个像素点处的向量 x j x_{j} xj，都乘以 x i x_{i} x
Non-local Neural Networks
注：本文转载自blog.csdn.net的CV大白菜的文章"https://blog.csdn.net/qq_28778507/article/details/90482074"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
评论记录：
回复评论：