文库搜索
切换导航
首页
频道
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
首页
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256252.1 (22)申请日 2022.10.14 (71)申请人 福建帝视信息科技有限公司 地址 350002 福建省福州市 鼓楼区西洪路 528号云座2号楼5楼B区 (72)发明人 罗鸣 胡义 童同 谢军伟 杨宗晓 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈鼎桂 蔡学俊 (51)Int.Cl. G06V 10/24(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于CNN与Transformer的低分辨率图像分 类方法及系统 (57)摘要 本发明涉及一种基于CNN与Transformer的 低分辨率图像分类方法, 包括以下步骤: 步骤S1: 构建图像数据集并对其中图像进行类别标注, 划 分为训练集和验证集; 步骤S2:对训练集和验证 集图像进行预处理 ; 步骤S3:基于CNN和 transformer, 构建双分支并行网络, 通过CNN网 络分支和tran sformer网络分支来对低分辨率图 像进行特征提取, 通过注意力特征融合网络将两 个分支每一层的特征进行有效融合, 并采用多通 道注意力网络对融合后的特征进行语义信息挖 掘; 步骤S4: 根据训练集和验证集对双分支并行 网络进行训练, 并利用交叉熵损失对其进行约 束, 得到图像分类网络; 步骤S5:将预处理后的待 测图像输入图像分类网络, 得到分类结果。 本发 明能有效提高对低分辨图像的分类性能。 权利要求书2页 说明书5页 附图2页 CN 115512096 A 2022.12.23 CN 115512096 A 1.一种基于 CNN与Transformer的低分辨 率图像分类方法, 其特 征在于, 包括以下步骤: 步骤S1:构建图像数据集并对其中图像进行类别标注, 同时将图像数据集按照一定比 例划分为训练集和验证集; 步骤S2:对训练集和验证集图像进行 预处理; 步骤S3:基于CNN和transformer, 构建双分支并行网络, 通过CNN网络分支和 transformer网络分支来对低分辨率图像进行特征提取, 通过注意力 特征融合网络将两个 分支每一层的特征进 行有效融合, 并采用多通道注意力网络对融合后的特征进行语义信息 挖掘; 步骤S4: 根据训练集和验证集对双分支并行网络进行训练, 并利用交叉熵损失对其进 行约束, 得到图像分类网络; 步骤S5:将预处 理后的待测图像输入图像分类网络, 得到分类结果。 2.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述预处理包括尺寸调整和数据增强, 所述尺寸调整是将输入的图像样本转化为预设 大小, 所述数据增强方式采用随机水平翻转、 随机垂直翻转以及随机 旋转。 3.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述transformer网络分支由四个阶段组成, 每个阶段由两个transformer编码器堆叠 而成, transformer网络分支会输出四种不同尺寸的一维特 征图。 4.根据权利要求3所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述transformer网络分支产生的一维特征输入到转换网络中进行转换, 使其与CNN网 络分支产生的特 征尺寸相同, 转换网络中的转换公式如下: Xi=1×1Conv(Reshape(xi))i∈(1, 2, 3, 4) 其中x为transformer网络分支四个阶段输出的一维特征, X为一维特征经过转换网络 后产生的四个不同尺度的二维特 征。 5.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述CNN网络 分支由5层组成, 每一层均产生不同尺 寸的二维特征, 将第一次层网络提取 的特征输入到t ransformer分支中进行提取。 6.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述注 意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的 特征进行融合, 具体如下: 将CNN网络分支和t ransformer网络分支产生的特 征进行相加得到一个融合特 征; 将融合特征分两个分支进行处理, 第 一个分支利用全局 平均池化得到融合特征的特征 向量, 同时利用卷积来降低维度, 再利用relu激活函数进 行处理, 最后利用卷积来改变特征 维度, 得到第一个分支的注意力权 重; 第二个分支, 直接将融合特征进行卷积改变其特征尺寸, 再利用relu来进行激活处理, 最后利用卷积来恢复其特 征尺寸, 得到第二个分支的注意力权 重, 将这两个分支的注意力权 重进行相加得到一个新的注意力权 重. 最后将新的注意力权重特征图与CNN和transformer网络产生的特征进行相乘、 相加, 得到最终融合的特 征。 7.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在权 利 要 求 书 1/2 页 2 CN 115512096 A 2于, 所述多通道注 意力网络利用多个支路, 每个支路采用不同的卷积核来提取特征, 之后利 用通道注意力来增强特 征的表示能力, 公式如下: x1=1×1Conv(x) X11=x1+x1*Sigmoid(Conv6(Relu(COnv5(MaxPool(x1))))) x3=3×3Conv(x) x33=x3+x31*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x3))))) x5=5×5Conv(x) x55=x5+x5*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x5))))) xoutput=x11+x33+x55 其中, Conv5为空洞卷积, 用于降维, Conv6为空洞卷积, 用于升维, xoutput为经注意力网络 输出的特 征。 8.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述交叉熵损失 公式如下: 其中, qi表示软标签, B表示一个批次的样本 数量, N表示类别总数也是预测向量的长度, pi表示教师网络的样本图像的预测值。 9.一种基于CNN与Transformer的低分辨率图像分类系统, 其特征在于, 包括处理器、 存 储器以及存储在所述存储器上 的计算机程序, 所述处理器执行所述计算机程序时, 具体执 行如权利要求1 ‑8任一项所述的基于 CNN与Transformer的低分辨 率图像分类方法。权 利 要 求 书 2/2 页 3 CN 115512096 A 3
专利 基于CNN与Transformer的低分辨率图像分类方法及系统
文档预览
中文文档
10 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 SC 于
2024-02-18 22:24:36
上传分享
举报
下载
原文档
(547.6 KB)
分享
友情链接
机房管理制度.pdf
T-GCHA 1.1—2018 定制家居产品 人造板定制衣柜 第1部分:术语和定义.pdf
信创云安全建设实践.pdf
ISO IEC 27701-2019.pdf
GB-T 17713-2022 吸油烟机及其他烹饪烟气吸排装置.pdf
CSA 云渗透测试指南.pdf
DL-T 1474—2021 交、直流系统用高压聚合物绝缘子憎水性测量及评估方法.pdf
防病毒安全管理制度.pdf
T-CISA 046—2020 铬—锰—镍—氮系奥氏体不锈钢冷轧钢板和钢带.pdf
T-CI 121—2023 RNA定量测序技术规程.pdf
GB-T 19668.7-2022 信息技术服务 监理 第7部分:监理工作量度量要求.pdf
GB-T 25810-2019 染料 产品标志、标签、包装、运输和贮存通则.pdf
奇安信 自动化渗透测试系统-主打PPT.pptx
GB-T 41997.3-2022 机械电气安全 基于视觉的电敏保护设备 第3部分:采用立体视觉保护器件特殊要求.pdf
GB-T 36959-2018 信息安全技术 网络安全等级保护测评机构能力要求和评估规范.pdf
中华人民共和国个人信息保护法 2021.pdf
DB4401-T 28-2019 排水管渠维修养护技术规范 广州市.pdf
SN-T 1549-2011 进出口煤炭外来杂物控制与监管技术规范.pdf
DB21-T 3722.2—2023 高标准农田建设指南 第2部分:项目概算编制 辽宁省.pdf
GB-T 4864-2008 金属钙及其制品.pdf
1
/
10
评价文档
赞助2元 点击下载(547.6 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。