(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211471454.8 (22)申请日 2022.11.23 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 韩静　王川　陈霄宇　瞿超　 徐启涵　蒋韫骋　 (74)专利代理 机构 南京苏创专利代理事务所 (普通合伙) 32273 专利代理师 石嘉蓉 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01)G06V 10/143(2022.01) (54)发明名称 基于跨模态特征强化与交互的多模态图像 语义分割方法 (57)摘要 本发明公开了一种基于跨模态特征强化与 交互的多模态图像语义分割方法， 包括： 将对应 的可见光图像和红外图像作为输入， 采用双分支 编码结构分别提取两种图像特征， 在各个编码阶 段， 首先通过特征交互模块对提取的两种图像特 征进行增强和交互， 并将交互之后的特征送入下 一阶段的编码 模块， 而后通过特征融合模块将经 过增强和交互之后的特征进行融合， 并将融合特 征送入对应阶段的解码模块， 最后采用上采样和 跳层连接逐级解码， 获得多模态图像语义分割结 果。 本发明从编码网络的数据流出发， 利用注意 力机制增强各自模态的有效特征， 将增强后的特 征与另一模态的特征交互， 对单一模态的信息进 行补充， 最大程度利用跨模态信息解析场景。 权利要求书2页 说明书7页 附图5页 CN 115546489 A 2022.12.30 CN 115546489 A 1.一种基于跨模态特征强化与交互的多模态图像语义分割方法， 其特征在于， 包括： 将 对应的可见光图像和红外图像作为输入， 采用双分支编 码结构分别提取可见光图像特征及 红外图像特 征； 在各个编码阶段， 首先通过特征交互模块对提取的可见光图像特征及红外图像特征进 行增强和交互， 并将交互之后的可见光图像特征及红外图像特征分别送入 下一阶段的编码 模块， 而后通过特征融合模块将经过增强和交互之后的可见光图像特征及红外图像特征进 行融合， 并将融合特征送入对应阶段的解码模块， 最后采用上采样和跳层连接逐级解码， 获 得多模态图像 语义分割结果。 2.根据权利要求1所述的一种基于跨模态特征强化与交互的多模态图像语义分割方 法， 其特征在于， 所述双分支编码结构采用ResNet作为骨干网络， 形成可见光支路和红外支 路两组编码模块。 3.根据权利要求1所述的一种基于跨模态特征强化与交互的多模态图像语义分割方 法， 其特征在于， 所述特 征交互模块的增强过程具体包括： ， ， ， 其中， 分别表示当前阶段编码模块所提取的可见光图像特征和红外图像特 征， 分别表示经过一维卷积和二维卷积处理后的可见光图像特征， 分别表示增强后的可见光图像特征和红外图像特征， 表示Sigmoi d函数， 表示一维卷 积， 对应的卷积核大小为 ， C表示输入特征图的通道数， 表示卷 积核为7×7的二维卷积， 表示MaxPool操作， 表示AvgPool操作， 表示按位点乘运 算， 的计算过程与 相同。 4.根据权利要求1所述的一种基于跨模态特征强化与交互的多模态图像语义分割方 法， 其特征在于， 所述特 征交互模块的交 互过程具体包括： ， ， 其中， 分别表示当前阶段编码模块所提取的可见光图像特征和红外图像特 征， 分别表示输出到下一阶段编码模块的可见光图像特征和红外图像特征， 分别表示增强后的可 见光图像特 征和红外图像特 征， 为设定的权 重因子。 5.根据权利要求1所述的一种基于跨模态特征强化与交互的多模态图像语义分割方 法， 其特征在于， 所述特 征融合模块实现的融合过程具体包括：权　利　要　求　书 1/2 页 2 CN 115546489 A 2对于经过增强和交互之后的可见光图像特征及红外图像特征 ， 首先在通道 维度上进行堆叠， 而后经过通道融合模块融合， 输出当前编码阶段的融合特征 ， 其中 通道融合模块包含两个1 ×1的卷积层、 一个3 ×3的卷积层、 一个激活层、 一个1 ×1的卷积 层、 两个归一 化层和一个跳层连接 。 6.根据权利要求1所述的一种基于跨模态特征强化与交互的多模态图像语义分割方 法， 其特征在于， 每个解码模块的输入为上一个阶段的解码模块输出与当前阶段特征融合 模块输出的融合特 征相加。 7.根据权利要求6所述的一种基于跨模态特征强化与交互的多模态图像语义分割方 法， 其特征在于， 所述解码模块包括3个级联的卷积模块， 每个卷积模块包括一个3 ×3卷积 层、 一个归一 化层和一个激活层。权　利　要　求　书 2/2 页 3 CN 115546489 A 3