(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211256252.1
(22)申请日 2022.10.14
(71)申请人 福建帝视信息科技有限公司
地址 350002 福建省福州市 鼓楼区西洪路
528号云座2号楼5楼B区
(72)发明人 罗鸣 胡义 童同 谢军伟
杨宗晓
(74)专利代理 机构 福州元创专利商标代理有限
公司 35100
专利代理师 陈鼎桂 蔡学俊
(51)Int.Cl.
G06V 10/24(2022.01)
G06V 10/32(2022.01)
G06V 10/44(2022.01)
G06V 10/764(2022.01)G06V 10/80(2022.01)
G06V 10/82(2022.01)
G06N 3/08(2006.01)
G06N 3/04(2006.01)
(54)发明名称
基于CNN与Transformer的低分辨率图像分
类方法及系统
(57)摘要
本发明涉及一种基于CNN与Transformer的
低分辨率图像分类方法, 包括以下步骤: 步骤S1:
构建图像数据集并对其中图像进行类别标注, 划
分为训练集和验证集; 步骤S2:对训练集和验证
集图像进行预处理 ; 步骤S3:基于CNN和
transformer, 构建双分支并行网络, 通过CNN网
络分支和tran sformer网络分支来对低分辨率图
像进行特征提取, 通过注意力特征融合网络将两
个分支每一层的特征进行有效融合, 并采用多通
道注意力网络对融合后的特征进行语义信息挖
掘; 步骤S4: 根据训练集和验证集对双分支并行
网络进行训练, 并利用交叉熵损失对其进行约
束, 得到图像分类网络; 步骤S5:将预处理后的待
测图像输入图像分类网络, 得到分类结果。 本发
明能有效提高对低分辨图像的分类性能。
权利要求书2页 说明书5页 附图2页
CN 115512096 A
2022.12.23
CN 115512096 A
1.一种基于 CNN与Transformer的低分辨 率图像分类方法, 其特 征在于, 包括以下步骤:
步骤S1:构建图像数据集并对其中图像进行类别标注, 同时将图像数据集按照一定比
例划分为训练集和验证集;
步骤S2:对训练集和验证集图像进行 预处理;
步骤S3:基于CNN和transformer, 构建双分支并行网络, 通过CNN网络分支和
transformer网络分支来对低分辨率图像进行特征提取, 通过注意力 特征融合网络将两个
分支每一层的特征进 行有效融合, 并采用多通道注意力网络对融合后的特征进行语义信息
挖掘;
步骤S4: 根据训练集和验证集对双分支并行网络进行训练, 并利用交叉熵损失对其进
行约束, 得到图像分类网络;
步骤S5:将预处 理后的待测图像输入图像分类网络, 得到分类结果。
2.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在
于, 所述预处理包括尺寸调整和数据增强, 所述尺寸调整是将输入的图像样本转化为预设
大小, 所述数据增强方式采用随机水平翻转、 随机垂直翻转以及随机 旋转。
3.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在
于, 所述transformer网络分支由四个阶段组成, 每个阶段由两个transformer编码器堆叠
而成, transformer网络分支会输出四种不同尺寸的一维特 征图。
4.根据权利要求3所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在
于, 所述transformer网络分支产生的一维特征输入到转换网络中进行转换, 使其与CNN网
络分支产生的特 征尺寸相同, 转换网络中的转换公式如下:
Xi=1×1Conv(Reshape(xi))i∈(1, 2, 3, 4)
其中x为transformer网络分支四个阶段输出的一维特征, X为一维特征经过转换网络
后产生的四个不同尺度的二维特 征。
5.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在
于, 所述CNN网络 分支由5层组成, 每一层均产生不同尺 寸的二维特征, 将第一次层网络提取
的特征输入到t ransformer分支中进行提取。
6.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在
于, 所述注 意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的
特征进行融合, 具体如下:
将CNN网络分支和t ransformer网络分支产生的特 征进行相加得到一个融合特 征;
将融合特征分两个分支进行处理, 第 一个分支利用全局 平均池化得到融合特征的特征
向量, 同时利用卷积来降低维度, 再利用relu激活函数进 行处理, 最后利用卷积来改变特征
维度, 得到第一个分支的注意力权 重;
第二个分支, 直接将融合特征进行卷积改变其特征尺寸, 再利用relu来进行激活处理,
最后利用卷积来恢复其特 征尺寸, 得到第二个分支的注意力权 重,
将这两个分支的注意力权 重进行相加得到一个新的注意力权 重.
最后将新的注意力权重特征图与CNN和transformer网络产生的特征进行相乘、 相加,
得到最终融合的特 征。
7.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在权 利 要 求 书 1/2 页
2
CN 115512096 A
2于, 所述多通道注 意力网络利用多个支路, 每个支路采用不同的卷积核来提取特征, 之后利
用通道注意力来增强特 征的表示能力, 公式如下:
x1=1×1Conv(x)
X11=x1+x1*Sigmoid(Conv6(Relu(COnv5(MaxPool(x1)))))
x3=3×3Conv(x)
x33=x3+x31*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x3)))))
x5=5×5Conv(x)
x55=x5+x5*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x5)))))
xoutput=x11+x33+x55
其中, Conv5为空洞卷积, 用于降维, Conv6为空洞卷积, 用于升维, xoutput为经注意力网络
输出的特 征。
8.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在
于, 所述交叉熵损失 公式如下:
其中, qi表示软标签, B表示一个批次的样本 数量, N表示类别总数也是预测向量的长度,
pi表示教师网络的样本图像的预测值。
9.一种基于CNN与Transformer的低分辨率图像分类系统, 其特征在于, 包括处理器、 存
储器以及存储在所述存储器上 的计算机程序, 所述处理器执行所述计算机程序时, 具体执
行如权利要求1 ‑8任一项所述的基于 CNN与Transformer的低分辨 率图像分类方法。权 利 要 求 书 2/2 页
3
CN 115512096 A
3
专利 基于CNN与Transformer的低分辨率图像分类方法及系统
文档预览
中文文档
10 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:24:36上传分享