(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256252.1 (22)申请日 2022.10.14 (71)申请人 福建帝视信息科技有限公司 地址 350002 福建省福州市 鼓楼区西洪路 528号云座2号楼5楼B区 (72)发明人 罗鸣 胡义 童同 谢军伟  杨宗晓  (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈鼎桂 蔡学俊 (51)Int.Cl. G06V 10/24(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于CNN与Transformer的低分辨率图像分 类方法及系统 (57)摘要 本发明涉及一种基于CNN与Transformer的 低分辨率图像分类方法, 包括以下步骤: 步骤S1: 构建图像数据集并对其中图像进行类别标注, 划 分为训练集和验证集; 步骤S2:对训练集和验证 集图像进行预处理 ; 步骤S3:基于CNN和 transformer, 构建双分支并行网络, 通过CNN网 络分支和tran sformer网络分支来对低分辨率图 像进行特征提取, 通过注意力特征融合网络将两 个分支每一层的特征进行有效融合, 并采用多通 道注意力网络对融合后的特征进行语义信息挖 掘; 步骤S4: 根据训练集和验证集对双分支并行 网络进行训练, 并利用交叉熵损失对其进行约 束, 得到图像分类网络; 步骤S5:将预处理后的待 测图像输入图像分类网络, 得到分类结果。 本发 明能有效提高对低分辨图像的分类性能。 权利要求书2页 说明书5页 附图2页 CN 115512096 A 2022.12.23 CN 115512096 A 1.一种基于 CNN与Transformer的低分辨 率图像分类方法, 其特 征在于, 包括以下步骤: 步骤S1:构建图像数据集并对其中图像进行类别标注, 同时将图像数据集按照一定比 例划分为训练集和验证集; 步骤S2:对训练集和验证集图像进行 预处理; 步骤S3:基于CNN和transformer, 构建双分支并行网络, 通过CNN网络分支和 transformer网络分支来对低分辨率图像进行特征提取, 通过注意力 特征融合网络将两个 分支每一层的特征进 行有效融合, 并采用多通道注意力网络对融合后的特征进行语义信息 挖掘; 步骤S4: 根据训练集和验证集对双分支并行网络进行训练, 并利用交叉熵损失对其进 行约束, 得到图像分类网络; 步骤S5:将预处 理后的待测图像输入图像分类网络, 得到分类结果。 2.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述预处理包括尺寸调整和数据增强, 所述尺寸调整是将输入的图像样本转化为预设 大小, 所述数据增强方式采用随机水平翻转、 随机垂直翻转以及随机 旋转。 3.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述transformer网络分支由四个阶段组成, 每个阶段由两个transformer编码器堆叠 而成, transformer网络分支会输出四种不同尺寸的一维特 征图。 4.根据权利要求3所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述transformer网络分支产生的一维特征输入到转换网络中进行转换, 使其与CNN网 络分支产生的特 征尺寸相同, 转换网络中的转换公式如下: Xi=1×1Conv(Reshape(xi))i∈(1, 2, 3, 4) 其中x为transformer网络分支四个阶段输出的一维特征, X为一维特征经过转换网络 后产生的四个不同尺度的二维特 征。 5.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述CNN网络 分支由5层组成, 每一层均产生不同尺 寸的二维特征, 将第一次层网络提取 的特征输入到t ransformer分支中进行提取。 6.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述注 意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的 特征进行融合, 具体如下: 将CNN网络分支和t ransformer网络分支产生的特 征进行相加得到一个融合特 征; 将融合特征分两个分支进行处理, 第 一个分支利用全局 平均池化得到融合特征的特征 向量, 同时利用卷积来降低维度, 再利用relu激活函数进 行处理, 最后利用卷积来改变特征 维度, 得到第一个分支的注意力权 重; 第二个分支, 直接将融合特征进行卷积改变其特征尺寸, 再利用relu来进行激活处理, 最后利用卷积来恢复其特 征尺寸, 得到第二个分支的注意力权 重, 将这两个分支的注意力权 重进行相加得到一个新的注意力权 重. 最后将新的注意力权重特征图与CNN和transformer网络产生的特征进行相乘、 相加, 得到最终融合的特 征。 7.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在权 利 要 求 书 1/2 页 2 CN 115512096 A 2于, 所述多通道注 意力网络利用多个支路, 每个支路采用不同的卷积核来提取特征, 之后利 用通道注意力来增强特 征的表示能力, 公式如下: x1=1×1Conv(x) X11=x1+x1*Sigmoid(Conv6(Relu(COnv5(MaxPool(x1))))) x3=3×3Conv(x) x33=x3+x31*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x3))))) x5=5×5Conv(x) x55=x5+x5*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x5))))) xoutput=x11+x33+x55 其中, Conv5为空洞卷积, 用于降维, Conv6为空洞卷积, 用于升维, xoutput为经注意力网络 输出的特 征。 8.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述交叉熵损失 公式如下: 其中, qi表示软标签, B表示一个批次的样本 数量, N表示类别总数也是预测向量的长度, pi表示教师网络的样本图像的预测值。 9.一种基于CNN与Transformer的低分辨率图像分类系统, 其特征在于, 包括处理器、 存 储器以及存储在所述存储器上 的计算机程序, 所述处理器执行所述计算机程序时, 具体执 行如权利要求1 ‑8任一项所述的基于 CNN与Transformer的低分辨 率图像分类方法。权 利 要 求 书 2/2 页 3 CN 115512096 A 3

PDF文档 专利 基于CNN与Transformer的低分辨率图像分类方法及系统

文档预览
中文文档 10 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于CNN与Transformer的低分辨率图像分类方法及系统 第 1 页 专利 基于CNN与Transformer的低分辨率图像分类方法及系统 第 2 页 专利 基于CNN与Transformer的低分辨率图像分类方法及系统 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:24:36上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。