相关驱动的双分支特征分解多模态图像融合
一、摘要
多模态（Multi-modality，MM）图像融合的目的是使融合后的图像保持不同模态的优点，功能亮点和细节纹理。为了解决建模跨模态特征和分解期望的模态特定和模态共享特征的挑战，我们提出了一种新的相关驱动特征分解融合（CDDFuse）网络，用于端到端MM特征分解和图像融合。在两阶段架构的第一阶段中，CDDFuse使用Restormer块来提取跨模态浅层特征。然后，我们引入了一个双分支Transformer-CNN特征提取器，其中Lite Transformer（LT）块利用远程注意力来处理低频全局特征，而Invertible Neural Networks（INN）块专注于提取高频局部信息。在嵌入语义信息的基础上，低频特征应该相关，而高频特征应该不相关。因此，我们提出了一个相关驱动的损失更好的特征分解。在第二阶段，基于LT的全局融合和基于INN的局部融合层输出融合图像。实验结果表明，CDDFuse算法在红外-可见光图像融合和医学图像融合等多种融合任务中取得了良好的融合效果.在一个统一的基准测试中，CDDFuse还可以提高下游红外-可见光语义分割和目标检测的性能。
二、存在的问题
1、CNN的内部工作机制难以控制和解释，导致跨模态特征提取不足。例如，在图1a中，（I）和（II）中的共享编码器无法区分特定于模态的特征，而（III）中的私有编码器忽略模态共享的特征。
2、上下文无关的CNN结构只能在相对较小的感受野中提取局部信息，这很难处理全局信息提取以生成高质量的融合图像[31]。因此，目前还不清楚CNN的归纳偏差是否足以提取所有输入模态的特征。
3、融合网络的前向传播通常会导致高频信息的丢失[38，74]。
三、主要贡献
1、我们提出了一个双分支Transformer-CNN框架来提取和融合全局和局部特征，它更好地反映了高频/低频特征中包含的不同语义信息。
2、我们改进了CNN和Transformer块，以便更好地适应MMIF任务。具体来说，我们是第一个利用INN块的无损信息传输和LT块的权衡融合质量和计算成本。
3、我们提出了一个相关性驱动的分解损失函数来执行模态共享/特定特征分解，这使得跨模态的基本特征相关，而在不同的模态详细的高频特征去相关。
4、我们的方法实现了领先的图像融合性能IVF和MIF。我们还提出了一个统一的测量基准，以证明IVF融合图像如何促进下游MM对象检测和语义分割任务。
四、方法
在本节中，我们首先介绍了CDDFuse的工作流程和各个模块的详细结构。为了简单起见，在下面的讨论中，我们将低频长范围特征表示为基本特征，将高频局部特征表示为细节特征。
1、回顾
我们的CDDFuse包含四个模块，即，用于特征提取和分解的双分支编码器，用于重建原始图像（在训练阶段I中）或生成融合图像（在训练阶段II中）的解码器，以及分别用于融合不同频率特征的基础/细节融合层。详细的工作流程如图2所示。请注意，CDDFuse是一个通用的多模态图像融合网络，我们仅以IVF任务为例来解释CDDFuse的工作原理。
2、编码器
该编码器有三个组件：基于Restormer块[66]的共享特征编码器（SFE），基于Lite Transformer（LT）块[57]的基本Transformer编码器（BTE）和基于可逆神经网络（INN）块[12]的详细CNN编码器（DCE）。BTE和DCE共同构成长短程编码器。
首先，我们定义了一些符号，以使表述清楚。输入的成对红外和可见光图像表示为和
。SFE、BTE和DCE分别由S（·）、B（·）和D（·）表示。
1、共享功能编码器
SFE的目标是从红外和可见光输入{I，V}中提取浅层特征，即：
我们在SFE中选择Restormer块的原因是Restormer可以通过在特征维度上应用自注意力来从高分辨率输入图像中提取全局特征[67]。因此，该方法可以在不增加太多计算量的情况下提取跨模态浅层特征。我们使用的Restormer块的结构可以在补充材料或原始论文中参考[67]。
2、基本Transformer编码器
BTE用于从共享特征中提取低频基本特征：
其中，和
分别是I和V的基本特征。为了提取长距离依赖特征，我们决定使用具有空间自注意的Transformer。考虑到平衡性能和计算效率，这里我们使用LT块[57]作为BTE的基本单元。LT模块通过Flattened前馈网络结构克服了Transformer模块的瓶颈，在保证性能不变的前提下，缩小了嵌入量，减少了参数个数，满足了我们的需求。
3、详细CNN编码器
与BTE相反，DCE从共享特征中提取高频细节信息，其公式为：
考虑到细节特征中的边缘和纹理信息对于图像融合任务非常重要，我们希望DCE中的CNN架构可以保留尽可能多的细节信息。INN [12]模块通过使其输入和输出特征相互生成来更好地保留输入信息。因此，它可以被视为一个无损的特征提取模块，非常适合在这里使用。因此，我们采用具有仿射耦合层的INN块[12，77]。在每个可逆层中，变换是：
其中，是Hadamard积，
是第k个可逆层（k = 1，· · ·，K）的输入特征的第1个到第c个通道，CAT（·）是通道级联操作，
是任意映射函数。计算细节见图2（d）和补充材料。在每个可逆层中，Ii可以被设置为任何映射，而不影响该可逆层中的无损信息传输。考虑到计算消耗和特征提取能力之间的权衡，我们采用MobileNetV2 [45]中的瓶颈残差块（BRB）块作为
。最后，
和
可以以相同的方式获得，通过替换等式4中的下标从I到V。
3、融合层
基本/细节融合层的功能是分别融合基本/细节特征。考虑到基础/细节特征融合的感应偏差应该类似于编码器中的基础/细节特征提取，我们将LT和INN块用于基础和细节融合层，其中：
FB和FD分别是基础和细节融合层。
4、解码器
在解码器DC（·）中，分解的特征在信道维度上被级联作为输入，并且原始图像（训练阶段I）或融合图像（训练阶段II）是解码器的输出，其被公式化为：
由于这里的输入涉及交叉模态和多频特征，因此我们保持解码器结构与SFE的设计一致，即，使用Restormer块作为解码器的基本单元。
5、两阶段训练
MMIF任务的一个巨大挑战是，由于缺乏基础事实，高级监督学习方法是无效的。在这里，受[27]的启发，我们使用两阶段学习方案来训练我们的CDDFuse端到端。
（1）训练阶段1
在训练阶段I，将成对的红外和可见光图像{I，V}输入到SFE中，以提取浅层特征。然后分别采用基于LT块的BTE和基于INN的DCE提取两种不同模态的低频基本特征
和高频细节特征
。然后，将红外
（或可见光
）图像的基本特征和细节特征进行拼接，并输入解码器，重构出原始的红外图像
（或可见光图像
）。
（2）训练阶段2
在训练阶段II中，将成对的红外和可见光图像{I，V}输入到接近良好训练的编码器中，以获得分解特征。然后，将分解的基本特征和细节特征
分别输入到融合层
和
中。最后，将融合后的特征
输入解码器，得到融合图像F。
（3）训练损失
在训练阶段I中，总损失为：
其中和
是红外和可见光图像的重建损失，
是特征分解损失，α1和α2是调谐参数。重建损失主要保证图像中包含的信息在编码和解码过程中不丢失，即，
其中且
。SSIM（·，·）是结构相似性指数[55]。Lvis可以通过相同的方式获得。此外，我们提出的特征分解损失Ldecomp为：
其中CC（·，·）是相关系数运算符，并且这里的ω被设置为1.01以确保该项始终为正。
该损失项的动机是，根据我们的MMIF假设，分解的特征将包含更多的模态共享信息，如背景和大规模环境，因此它们往往是高度相关的。相比之下，
在V中表示纹理和细节信息，在I中表示热辐射以及清晰的边缘信息，这是模态特定的。因此，特征图的相关性较低。实验结果表明，在梯度下降
的指导下，
逐渐趋近于0，
逐渐变大，满足了我们对特征分解的直觉。分解效果的可视化如图5所示。
图5
随后在训练阶段II，由[47]得出，总损失变为：
其中且
。
表示Sobel梯度算子。α3和α4是调谐参数。
五、红外与可见光图像融合
在这里，我们详细阐述了我们的网络的实施和配置细节，用于IVF任务。通过实验验证了模型的有效性和网络结构的合理性。
1、开始
（1）数据集和指标
IVF实验使用三个流行的基准来验证我们的融合模型，即，[48][49]我们在MSRS训练集（1083对）上训练我们的网络，并使用RoadScene中的50对进行验证。采用MSRS测试集（361对）、RoadScene测试集（50对）和TNO测试集（25对）进行测试，对融合性能进行了全面验证。请注意，未对RoadScene和TNO数据集进行微调，以验证融合模型的泛化性能。
采用熵（EN）、标准差（SD）、空间频率（SF）、互信息（MI）、差异相关性和（SCD）、视觉信息保真度（VIF）、QAB/F和结构相似性指数测度（SSIM）等8个指标对融合效果进行定量度量。较大的度量表明融合图像更好，这些度量的计算细节可以在[37]中找到。
（2）实施细节
我们的实验是在一台装有两个NVIDIA GeForce RTX 3090 GPU的机器上进行的。在预处理阶段，训练样本被随机裁剪成128×128个小块。用于训练的时期的数目被设置为120，其中在第一和第二阶段中分别为40和80个时期。批大小设置为16。我们采用了Adam优化器，初始学习率设置为10 - 4，每20个时期减少0.5。对于网络超参数设置，SFE中的Restormer块的数量为4，具有8个注意头和64个维度。BTE中LT块的尺寸也是64，具有8个注意头。解码器的配置与编码器相同。对于损失函数，(7)和（10）中，α1至α4被设置为1、2、10和2，以便对于每个项保持相同的量级。由于空间限制，超参数的选择和分析放在补充材料中。
2、与SOTA方法的比较
在本节中，我们在三个测试集上测试CDDFuse，并将融合结果与最先进的方法进行比较，包括DIDNet [73]，U2Fusion [60]，SDNet [68]，RFNet [62]，TarDAL [33]，DeFusion [32]和ReCoNet [18]。
（1）定性比较
我们在图中给出了定性比较。3和4可见，该方法较好地融合了红外图像中的热辐射信息和可见光图像中的纹理细节信息。暗区域中的对象被清晰地高亮显示，以便可以轻松地将前景目标与背景区分开来。另外，由于光照不足而难以识别的背景细节具有清晰的边缘和丰富的轮廓信息，有助于我们更好地理解场景。
（2）定量比较
最后，采用八个指标对上述结果进行了定量比较，并以Tab.1.该方法在几乎所有的度量指标上都有很好的性能，证明了该方法适用于各种光照和目标类别。
（3）特征分解的可视化。
图5显示了分解的特征。显然，基本特征组中更多的背景信息被激活，被激活的高亮区域也是相关的。而在细节特征组中，红外特征更关注于物体的高光部分，可见光特征更关注于细节和纹理部分，说明模态特征提取得较好。可视化结果与我们的分析是一致的。
3、消融实验
通过消融实验验证了不同模块的合理性。采用EN、SD、VIF和SSIM对融合效果进行了定量验证。实验组的结果见表2。
（1）实验中的分解损失
我们改变方程中的定义。(9)从除法到减法的过程为Ldecomp =（LD CC）2 − LB CC，也可以增加LB CC，减少（LD CC）2。我证明，虽然新的损失可以产生勉强满意的结果，但与公式中的定义相比，它产生的结果很差。（九）、在实验中II、我们没有使用相关性驱动的损失Ldecomp，并且结果表明Ldecomp对于特征分解是非常重要的。如果没有它，就不能保证BTE和DCE能够学习到我们需要的不同频率特征。
（2）LT和INN模块
然后，我们验证了LT块和INN块在长短程编码器中的必要性。在实验中三、我们将LT区块改为INN，即：基本特征和细节特征都由INN块提取。同样，在Exp.四、用LT块提取不同模态的特征。实验结果表明，尽管LT块的特征提取能力略强于INN块，但不如LT和INN块协同工作的CDDFuse。随后，在ExpV，将INN模块改为由INN块中参数相近的BRB组成的CNN模块，其融合效果略差于单独的LT模块，证明了采用CNN进行融合时信息损失严重。
（3）两阶段训练
最后，如果我们放弃两阶段的训练，直接同时训练编码器、解码器和融合层，结果会很不理想。实验证明，两阶段训练能有效降低训练难度，提高训练鲁棒性。
总之，消融结果见表2。论证我们的网络设计的有效性和合理性。
（4）下游IVF应用
为了进一步研究高级MM计算机视觉任务中的融合性能，本节应用了SOTA方法的红外、可见光和融合图像。4.2 MM目标检测和语义分割，并研究信息融合对下游任务的好处。由于篇幅限制，定性结果见补充材料。
可见光目标检测
MM对象检测在M3 FD数据集[33]上执行，该数据集具有4200对红外/可见光图像和六类标签（即，人、汽车、公共汽车、摩托车、卡车和灯）。按照8：1：1的比例将其划分为培训/确认/测试集。YOLOv 5 [22]是一种SOTA检测器，用于评估检测性能，度量为mAP@0.5。训练时期、批处理大小、优化器和初始学习速率分别设置为400、8、SGD优化器和1 e-2。
表3结果表明，CDDFuse算法具有最好的检测性能，尤其是在人员类和卡车类目标上，CDDFuse算法通过融合热辐射信息和突出难观测目标，提高了检测精度。
红外可见光语义分割
MM语义分割是在MSRS数据集[48]上进行的，具有九个对象类别的语义信息（即，背景、凹凸、彩色锥体、护栏、曲线、自行车、人和汽车）。数据集的划分遵循原始论文[48]。我们选择的主干是DeeplabV 3 + [9]，我们通过交并（IoU）来比较模型的有效性。所有的模型都是由交叉熵损失监督和SGD训练的，批量为8，超过340个epoch，其中前100个epoch通过冻结骨干网络进行训练。初始学习速率为7 e-3，并通过余弦退火延迟而减小。
分割结果见表4。CDDFuse较好地融合了源图像中的边缘和轮廓信息，增强了模型感知目标边界的能力，使分割更加准确。
结论
为此，本文提出了一种基于双分支Transformer-CNN的多模态图像融合算法。在此基础上，提出了一种基于双分支Transformer-CNN的图像融合算法。利用Restormer、Lite Transformer和可逆神经网络模块，较好地提取了模态特征和模态共享特征，提出的相关驱动分解损失法使模态特征分解更加直观有效。实验表明，CDDFuse的融合效果较好，并能提高下游多模态模式识别任务的准确率。
