(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211488786.7 (22)申请日 2022.11.25 (71)申请人 成都信息工程大学 地址 621005 四川省成 都市西南 航空港经 济开发区学府路一段24 号 (72)发明人 吴涛　邓宇萍　陈曦　吴锡　 周启钊　冯霞　 (74)专利代理 机构 北京元本知识产权代理事务 所(普通合伙) 11308 专利代理师 曹广生 (51)Int.Cl. G06N 5/04(2006.01) G06N 3/08(2006.01) H04N 7/18(2006.01) (54)发明名称 一种基于深度学习模型的边缘智能协同推 断方法及系统 (57)摘要 本发明涉及边缘智能技术领域， 公开了一种 基于深度学习模型的边缘智能协同推断方法及 系统， 通过 获取巡检设备和边缘 设备的参数信息 以及所述巡检设备采集的监控图像数据的处理 需求分别构建适用于巡检设备和边缘设备的简 单模型和复杂分支模型； 简单模 型较复杂分支模 型的网络层数和神经元个数更少， 神经网络计算 会明显减少任务推断时间和自身消耗的能耗； 巡 检设备端输出结果置信度值判定器以输出结果 的置信度最大值作为依据判断监控图像数据是 否需要传输到边缘设备端进行处理， 从而保证深 度学习模型结果准确率的同时， 最大程度的利用 巡检设备、 边缘设备的计算和存储能力， 以及降 低系统在单边执行任务时的所带来的高时延和 高能耗。 权利要求书4页 说明书13页 附图3页 CN 115545198 A 2022.12.30 CN 115545198 A 1.一种基于深度学习模型的边 缘智能协同推断方法， 其特 征在于， 包括： 获取巡检设备和边缘设备的参数信 息， 以及所述巡检设备采集的监控图像数据的处理 需求； 基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型， 其 中， 所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模 型， 以所述第二深度学习模型为主干网络， 在中间层构建若干退出点， 得到所述第二深度学 习模型的第三分支模型， 并分别将所述第一深度学习模型和 第三分支模型经过训练之后部 署到所述巡检设备和边 缘设备； 基于所述第 一深度学习 模型和处理需求对所述监控图像数据进行任务推断， 得到第 一 推断结果， 判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值， 若 是， 将所 述第一推 断结果发送给控制中心， 否则将所述监控图像数据发送给所述边缘设备， 由所述 第三分支模型进行任务推断， 得到第二推断结果， 将其发送给 所述控制中心。 2.如权利要求1所述的一种基于深度 学习模型的边缘智能协同推断方法， 其特征在于， 所述由所述第三分支模型进行任务推断， 具体包括： 从所述第三分支模型的输入层开始， 依次通过每个所述退出点， 当其中某一退出点的 输出层输出的第三推断结果满足预设的退出条件时， 则退出所述第三分支模型的输出结 果， 将所述第三推断结果作为所述第二推断结果。 3.如权利要求2所述的一种基于深度 学习模型的边缘智能协同推断方法， 其特征在于， 所述第三分支模型的每个分支网络退出点的损失函数都采用交叉熵损失函数计算， 每个交 叉熵损失函数分别乘以权重参数再相加进行联合优化作为所述第三分支模型的整个分支 网络的优化目标： ； 其中， 表示退出点 的加权系数,   为所有退出点的总数量，  表示单次推断 任务所产生的参数量， 表示输入样本 的标签， 表示所述第三分支模型推断结果： ， 其中 表示一个数 据集中的 不同的 标签 总数 ， 表示所述第三分支模型推断结果 的归一化函数， 表示所述第三分支模型 输出结果： ， 表示退出点 的推断结果； 表示所 述第三分支模型的损失函数： ， 其 中 表示某一退出点的样本输出信息熵 ： ， 的值与是否需要提前 退出所述第三分支模型的输出 结果呈正相关 关系。 4.如权利要求3的一种基于深度 学习模型的边缘智能协同推断方法， 其特征在于， 通过权　利　要　求　书 1/4 页 2 CN 115545198 A 2下式确定所述最佳置信度标准值， 将 推断结果正确率和通信时间延迟归一化后相减求极大 值， 作为所述 最佳置信度标准 值： ； 其中， 为在所述第一深度学习模型上进行任务推断的推断结果正确率函数： ， 为采集的监控图像的总数量； 其中， 为表示序列为 的监控图像 推断任务的准确率： ， 为所述第一推断结果的最大置信度值， 为 所述最佳置信度标准值， 表示所述巡检设备端第 次推断任务正确与 否， 若 则表示所述巡检设备端第 次推断任务正确， 若 则表示 所述巡检设备端第 次推断任务错误； 表示所述边缘设备端第 次推断 任务正确与否， 若 则表示所述边缘设备端第 次推断任务正确， 若 则表示所述 边缘设备端第 次推断任务 错误； 为通信时间延迟函数： ； 其中， 函数 为所述巡检设备和边缘设备之间是否需要数据传输的依据， 所述巡检设备端的推断 值大于等于 时， 值置为0； 所述巡检设备端的推断 值小于 时， 值置为1； 表示第 次所述巡检设备端向边缘设备端 进行数据传输的时间； 为通信延迟的权重系数， 为所有图像数据 均卸载到所述边缘设备端处理的 通信时间： 。 5.如权利要求4所述的一种基于深度 学习模型的边缘智能协同推断方法， 其特征在于， 所述否则将所述 监控图像数据发送给 所述边缘设备， 之前还 包括： 获取当前环境的网络状态信息， 判断当前网络状态是否满足最佳通信标准值， 若是， 则 将所述监控图像数据发送给所述边缘设备； 否则将所述监控图像数据输入到第四深度学习 模型中进行任务推 断， 得到第四推断结果， 并将其发送给所述控制中心； 其中， 所述第四深 度学习模型 的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第 二深度学习模型， 所述第四深度学习模型部署是基于所述参数信息和处理需求构建 并经过 训练之后部署到所述巡检设备的。 6.如权利要求5所述的一种基于深度 学习模型的边缘智能协同推断方法， 其特征在于， 通过下式确定所述最佳通信标准值， 基于归一化后的推 断结果正确 率、 巡检设备额外计算权　利　要　求　书 2/4 页 3 CN 115545198 A 3