关于网络结构的小问题

[night-train-zhx]

作者您好，关于网络结构我有两个小问题想请问一下您：

1. Modality Normalization里为什么要对另一种模态先做三次卷积再加上均值方差，直接用均值方差来对原模态处理不行吗？
2. 虽然普遍都是使用这种two stream结构，但是你这里每一次把两种模态好不容易在C2Former里对齐了，但又加回到原来未处理的特征里，那不就白对齐了吗？
   希望您能解答一下，感谢！

[JustinRochester]

感觉1是不是类似空间注意力，为了让ir(rgb)特征图不同的地方关注到rgb(ir)特征图局部位置的不同注意力？

就是，如果只用均值方差，那等价于特征图全局的加权是一致的，但是用了卷积可以更好的关注局部信息。

[FlxhSui]

针对于2这个问题，我的理解是这样。这里所谓的对齐特征，不是物理上的对齐，而是通过计算双方的相似度矩阵。之后和v进行点乘是用相似度矩阵去加权原特征图。例如：可以使用红外图像的相似度矩阵来加权可见光图像的特征图，反之亦然。这样，模型就可以在处理一个模态的同时，考虑到另一个模态的相关信息。网络模型通过设计来确保这些对齐的特征得到关注，比如后续进行红外-可见光图像融合的时候，那么一个模态都有对应模态的相似度矩阵加权，在融合的过程中，每个像素点就会和对应模态得分最高的像素点融合，从而抑制无关、不对齐特征的融合，这是我认为文章当中的校准，融合对齐的特征，当然就可以更好得到不同模态互补的特征。以上仅为个人观点欢迎讨论！