(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210534466.4 (22)申请日 2022.05.17 (71)申请人 中国人民武装警察部队工程大 学 地址 710086 陕西省西安市未央区武警路1 号 (72)发明人 崔翛龙　高志强　郭少哲　于超　 (74)专利代理 机构 西安众和至成知识产权代理 事务所(普通 合伙) 61249 专利代理师 申玲红 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01)G06V 10/74(2022.01) (54)发明名称 一种无人机视角 灾情场景信息标注和检测 方法 (57)摘要 本发明公开了一种无人机视角 灾情场景信 息标注和检测方法， 包括如下步骤： (1)采用云边 端协同的方式建立待识别物体的数据字典； (2) 构建基于YOLOv5的神 经网络MIM ‑YOLOv5， (3)将 无人机捕获图像传入MIM ‑YOLOv5， 通过云中心、 前线指挥中心、 手持终端和无人机终端分别充当 云、 边、 端节点， 构成云边端协同系统， 采用云边 端协同方式对灾情场景信息进行自动标注和目 标检测， 当图像中出现灾情标签时， 神经网络自 动检测并报警， 并启用云边端三方协 同处理。 本 申请首次将云边端技术与灾情检测和调度指挥 相结合， 将云计算与终端设备协 同工作， 大幅度 提高了应急处置效率。 权利要求书1页 说明书4页 附图3页 CN 114943700 A 2022.08.26 CN 114943700 A 1.一种无 人机视角灾情场景信息标注和检测方法， 其特 征在于， 包括如下步骤： (1)采用云边端协同的方式建立待识别物体的数据字典； (2)构建基于YOLOv5的神经网络MIM ‑YOLOv5， 所述MIM ‑YOLOv5神经网络采取 transformer与Conv相结合的方式， 其中Swin ‑MIM模块采用自监督的方式扩充数据集； 采用 的目标检测算法为改进的模型MIM ‑YOLOv5， 所述MIM ‑YOLOv5采用Swin ‑MIM、 CSPDarknet53 和路径聚合网络作为主干和颈部， 并同时将原有的三个分别用于检测小 型、 中型、 大型物体 的预测头的输出尺寸下调二分之一倍得到三个分别用于检测微小、 小型、 中型物体的检测 模块以适应无人机捕获场景； 并采用卷积块注 意模块CBAM沿通道和空间维度顺序生 成注意 图； (3)将无人机捕获图像传入MIM ‑YOLOv5， 通过云中心、 前线指挥中心、 手持终端和无人 机终端分别充当云、 边、 端节点， 构成云边端协同系统， 采用云边端协同方式对灾情场景信 息进行自动标注和目标检测， 当图像中出现灾情标签时， 神经网络自动检测并报警， 并启 用 云边端三方协同处 理。 2.如权利要求1所述的无人机视角灾情场景信 息标注和检测方法， 其特征在于， 所述步 骤1)采用云边端协同的方式建立待识别物体的数据字典的具体步骤为： 以手持终端为端直 接在终端对新增灾情图像数据进行标签录入， 然后报备至附近部署的指挥中心， 定期向云 端服务器数据字典进行汇总， 更新总体数据字典， 最终形成标签和灾情图像的数据字典。 3.如权利要求1所述的无人机视角灾情场景信 息标注和检测方法， 其特征在于， 所述步 骤2)中的Sw in‑MIM在训练时掩码概 率设置为0.15， 实际测试时掩码概 率设置为0 。 4.如权利要求1所述的无人机视角灾情场景信 息标注和检测方法， 其特征在于， 所述步 骤3)采用云边端协同方式对灾情场景信息进行自动标注和目标检测的具体操作为： 使用终 端采集数据， 并将数据上传， 边端则进行动态标注新采集并向云中心上传标注好的灾情图 像数据， 云端服务器首先对既有开源灾情数据进行收集并与本地数据集进行匹配， 匹配算 法采用基于图像像素的余弦相似度计算值， 并设定一个标准值λ， 用来衡量数据的相似性， 若计算的相似度大于 λ， 则不更新和替换该图像； 若计算的相似度小于 λ， 则 在云端数据中增 加该数据， 以动态扩展云端数据集， 而后将拓展的数据 交由云中心专业人员进行实时的数 据标注， 云中心 服务器对已标注数据进 行汇聚， 并将整合的救援数据返回现场救援人员， 形 成云边端协同标注体系。 5.如权利要求1所述的无人机视角灾情场景信 息标注和检测方法， 其特征在于， 所述步 骤3)中云中心可提供API服务或利用模型仓库将镜像下发到指定的边缘节点上， 然后部署 成API， 运行在边沿节点， 即 云中心的N ode中， 用于管理所有服 务； 所述云边端协同系统中的所有传感器统一接入边缘节点的网关， 实现统一的分发， 以 提高数据传输效率； 所述云端会在获取到所有的原始数据后， 将规则引擎模块发送给分析 的模型服 务， 实现模型推理， 最终输出 数据洞察。权　利　要　求　书 1/1 页 2 CN 114943700 A 2一种无人机 视角灾情场景信息标注和检测方 法 技术领域 [0001]本发明涉及目标检测技术， 具体涉及一种无人机视角灾情场景信息标注和检测方 法。 背景技术 [0002]过去十年可以说是云计算大发展的十年， 国内外 的云计算市场格局初定。 而网络 的带宽是有限的， 5G技术基本已经限定未来10年的无线网络的大背景， 但终端的数量却在 成倍的增长， 据IDC的预测， 2021年的物联网终端数量已达 500亿， 到2025年将达 到1000亿。 [0003]在云计算相对 成熟， 网络带宽受限， 终端爆发式增长的大背景下。 边缘计算变得越 来越重要， 从2019年开始， 边缘计算技术的逐步成熟， 加上应用场景的丰富， 已经成为了业 内发展热点， 即将迎来5 ‑10年的大爆发时期。 [0004]边缘计算在低时延需求、 降低云端技术压力和网络带宽成本、 提高数据安全性和 可靠性方面都将发挥重要作用， 但是也面临着边缘节点异构、 资源传输受限、 边缘数据异 构、 工作负载调配不均衡、 安全与隐私等诸多挑战。 [0005]在智能制造瑕疵检测、 精密制造、 医学辅助诊疗、 自动驾驶、 云游戏、 超高清视频等 应用场景下， 云边协同是必 然选择的技术路径。 同样， 目标检测和灾情标注也是云边协同的 一种应用前 景。 [0006]简单来说， 云边协同， 是一个统一的数据交互模式， 统一调度和管理。 它是一个分 层方案， 每一层服 务， 处理逻辑和职责不同， 层与层之间分工协作。 [0007]从检测方法看， 近年来， 使用深度卷积神经 网络的目标检测任务取得了重大进展， 极大地促进了目标检测应用的发展。 然而， 以往的深卷积神经网络大多是针对自然场景图 像设计的。 直接应用前面的模型来处理无人机捕获灾情场景中的目标检测任务主要有三个 问题。 首先， 由于无人机的飞行高度变化很大， 物体比例变化很大。 其次， 无人机拍摄的图像 包含高密度的对象， 这会导致对象之间的遮挡。 第三， 无人机拍摄时， 考虑灾区现场的烟尘 阻挡， 拍摄的图片往往识别性差。 上述三个 问题使得无人机拍摄图像的目标检测具有很大 的挑战性。 [0008]从场景标注看， 受灾场景复杂， 数据集标注困难； 数据集少。 受灾特殊场景变化复 杂， 缺少对应的数据集。 标注方法多采用C/S端进行标绘， 这种方式灵活性、 时效性存在局 限， 数据共享困难， 很难第一时间反馈现场信息 。 发明内容 [0009]针对现有技术存在的不足， 本发明的目的在于提供一种无人机视角灾情场景信息 标注和检测方法， 以解决无人机识别物体准确率不高， 且受灾场景复杂， 数据集标注困难的 问题。 [0010]为了实现上述目的， 本发明采用以下技 术方案予以实现： [0011]一种无人机视角灾情场景信息标注和检测方法， 包括如下步骤：说　明　书 1/4 页 3 CN 114943700 A 3