文库搜索
切换导航
首页
频道
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
首页
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256252.1 (22)申请日 2022.10.14 (71)申请人 福建帝视信息科技有限公司 地址 350002 福建省福州市 鼓楼区西洪路 528号云座2号楼5楼B区 (72)发明人 罗鸣 胡义 童同 谢军伟 杨宗晓 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈鼎桂 蔡学俊 (51)Int.Cl. G06V 10/24(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于CNN与Transformer的低分辨率图像分 类方法及系统 (57)摘要 本发明涉及一种基于CNN与Transformer的 低分辨率图像分类方法, 包括以下步骤: 步骤S1: 构建图像数据集并对其中图像进行类别标注, 划 分为训练集和验证集; 步骤S2:对训练集和验证 集图像进行预处理 ; 步骤S3:基于CNN和 transformer, 构建双分支并行网络, 通过CNN网 络分支和tran sformer网络分支来对低分辨率图 像进行特征提取, 通过注意力特征融合网络将两 个分支每一层的特征进行有效融合, 并采用多通 道注意力网络对融合后的特征进行语义信息挖 掘; 步骤S4: 根据训练集和验证集对双分支并行 网络进行训练, 并利用交叉熵损失对其进行约 束, 得到图像分类网络; 步骤S5:将预处理后的待 测图像输入图像分类网络, 得到分类结果。 本发 明能有效提高对低分辨图像的分类性能。 权利要求书2页 说明书5页 附图2页 CN 115512096 A 2022.12.23 CN 115512096 A 1.一种基于 CNN与Transformer的低分辨 率图像分类方法, 其特 征在于, 包括以下步骤: 步骤S1:构建图像数据集并对其中图像进行类别标注, 同时将图像数据集按照一定比 例划分为训练集和验证集; 步骤S2:对训练集和验证集图像进行 预处理; 步骤S3:基于CNN和transformer, 构建双分支并行网络, 通过CNN网络分支和 transformer网络分支来对低分辨率图像进行特征提取, 通过注意力 特征融合网络将两个 分支每一层的特征进 行有效融合, 并采用多通道注意力网络对融合后的特征进行语义信息 挖掘; 步骤S4: 根据训练集和验证集对双分支并行网络进行训练, 并利用交叉熵损失对其进 行约束, 得到图像分类网络; 步骤S5:将预处 理后的待测图像输入图像分类网络, 得到分类结果。 2.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述预处理包括尺寸调整和数据增强, 所述尺寸调整是将输入的图像样本转化为预设 大小, 所述数据增强方式采用随机水平翻转、 随机垂直翻转以及随机 旋转。 3.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述transformer网络分支由四个阶段组成, 每个阶段由两个transformer编码器堆叠 而成, transformer网络分支会输出四种不同尺寸的一维特 征图。 4.根据权利要求3所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述transformer网络分支产生的一维特征输入到转换网络中进行转换, 使其与CNN网 络分支产生的特 征尺寸相同, 转换网络中的转换公式如下: Xi=1×1Conv(Reshape(xi))i∈(1, 2, 3, 4) 其中x为transformer网络分支四个阶段输出的一维特征, X为一维特征经过转换网络 后产生的四个不同尺度的二维特 征。 5.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述CNN网络 分支由5层组成, 每一层均产生不同尺 寸的二维特征, 将第一次层网络提取 的特征输入到t ransformer分支中进行提取。 6.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述注 意力特征融合网络将CNN分支和transformer分支所提取的两种不同语义信息的 特征进行融合, 具体如下: 将CNN网络分支和t ransformer网络分支产生的特 征进行相加得到一个融合特 征; 将融合特征分两个分支进行处理, 第 一个分支利用全局 平均池化得到融合特征的特征 向量, 同时利用卷积来降低维度, 再利用relu激活函数进 行处理, 最后利用卷积来改变特征 维度, 得到第一个分支的注意力权 重; 第二个分支, 直接将融合特征进行卷积改变其特征尺寸, 再利用relu来进行激活处理, 最后利用卷积来恢复其特 征尺寸, 得到第二个分支的注意力权 重, 将这两个分支的注意力权 重进行相加得到一个新的注意力权 重. 最后将新的注意力权重特征图与CNN和transformer网络产生的特征进行相乘、 相加, 得到最终融合的特 征。 7.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在权 利 要 求 书 1/2 页 2 CN 115512096 A 2于, 所述多通道注 意力网络利用多个支路, 每个支路采用不同的卷积核来提取特征, 之后利 用通道注意力来增强特 征的表示能力, 公式如下: x1=1×1Conv(x) X11=x1+x1*Sigmoid(Conv6(Relu(COnv5(MaxPool(x1))))) x3=3×3Conv(x) x33=x3+x31*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x3))))) x5=5×5Conv(x) x55=x5+x5*Sigmoid(Conv6(Relu(Co nv5(MaxPool(x5))))) xoutput=x11+x33+x55 其中, Conv5为空洞卷积, 用于降维, Conv6为空洞卷积, 用于升维, xoutput为经注意力网络 输出的特 征。 8.根据权利要求1所述的基于CNN与Transformer的低分辨率图像分类方法, 其特征在 于, 所述交叉熵损失 公式如下: 其中, qi表示软标签, B表示一个批次的样本 数量, N表示类别总数也是预测向量的长度, pi表示教师网络的样本图像的预测值。 9.一种基于CNN与Transformer的低分辨率图像分类系统, 其特征在于, 包括处理器、 存 储器以及存储在所述存储器上 的计算机程序, 所述处理器执行所述计算机程序时, 具体执 行如权利要求1 ‑8任一项所述的基于 CNN与Transformer的低分辨 率图像分类方法。权 利 要 求 书 2/2 页 3 CN 115512096 A 3
专利 基于CNN与Transformer的低分辨率图像分类方法及系统
文档预览
中文文档
10 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共10页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 SC 于
2024-02-18 22:24:36
上传分享
举报
下载
原文档
(547.6 KB)
分享
友情链接
GB 17411-2015 船用燃料油.pdf
T-SOFIDPA 0004—2023 有机肥 好氧发酵 低碳技术规范.pdf
信通院 数据资产管理实践白皮书5.0 2021.pdf
GA 1800.6-2021 电力系统治安反恐防范要求 第6部分:核能发电企业.pdf
GB-T 8174-2008 设备及管道绝热效果的测试与评价.pdf
GB-T 8446.1-2022 电力半导体器件用散热器 第1部分:散热体.pdf
GB-T 7931-2008 1500 11 000 12 000 地形图航空摄影测量外业规范.pdf
T-ZJXTJC 002—2020 信息安全服务 人员能力评估标准.pdf
T-ISAS 004—2021 沙棘果油.pdf
NIST 改善关键基础设施的网络安全框架 数据法盟翻译 2020.pdf
DB6528-T 189-2023 加工辣椒品种InDel指纹数据库构建规范 巴音郭楞蒙古自治州.pdf
GB-T 41910-2022 洗涤粪菌质量控制和粪菌样本分级.pdf
天空卫生 数据防泄露 DLP 技术指南完整电子版.pdf
安全事件管理制度.pdf
T-ZBDIA 0001—2020 多功能装配式铝合金门窗系统.pdf
DB3212-T 1126—2022 救助管理机构管理绩效评估规范 泰州市.pdf
GB-T 25328-2010 玻璃窑炉节能监测.pdf
GB-T 13869-2017 用电安全导则.pdf
GB-T 16433-2009 残疾人田径运动员医学和功能分级.pdf
中国评测 商用密码应用安全性评估白皮书(2021年).pdf
1
/
10
评价文档
赞助2元 点击下载(547.6 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。