(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651444.6 (22)申请日 2022.06.09 (71)申请人 南京南自信息技 术有限公司 地址 210012 江苏省南京市雨 花台区软件 大道190号 (72)发明人 王龙　周超　景文林　姜浏　 樊玉平　李雅芹　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06V 10/22(2022.01) G06T 7/73(2017.01)G06T 3/00(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度神经网络的指针仪表读数方 法 (57)摘要 本发明属于指针仪表读数应用技术领域， 具 体公开了一种基于深度神经网络的指针仪表读 数方法， 包括以下步骤， S1、 构建包含表盘和指针 两种类别的指针仪表目标检测数据集； S2、 构建 表盘刻度关键点数据集和指针关键点数据集； S3、 用训练好的目标检测算法分析摄像头采集图 像； S4、 用训练好的表盘刻度关键点预测算法和 指针关键点预测算法； S5、 通过关键点坐标计算 仪表读数； S6、 将读数结果存储并发送到监控中 心。 本发明的有益效果在于： 1、 具有使用范围广、 安装简单、 有图有真相、 易于使用等特点； 2、 指针 仪表的读数精 准度高， 同时能实时存储并传输发 送至的监控中心， 实现指针仪表的读数调阅、 复 查审核及实现远端智能管控。 权利要求书2页 说明书5页 附图4页 CN 115035364 A 2022.09.09 CN 115035364 A 1.一种基于深度神经网络的指针仪表读数 方法， 其特 征在于： 包括以下步骤， S1、 构建包 含表盘和指针两种类别的指针仪表目标检测数据集， 并训练目标检测算法； S2、 构建表盘刻度关键点数据集和指针关键点数据集， 并分别训练相应关键点预测算 法； S3、 用训练好的目标检测算法分析摄 像头采集图像， 得到表盘 检测框和指针 检测框； S4、 用训练好的表盘刻度关键点预测算法和指针关键点预测算法， 分别分析表盘检测 框图像和指针 检测框图像， 得到表盘刻度关键点和指针关键点； S5、 通过关键点 坐标计算仪表读数； S6、 将读数结果存储并发送到监控中心。 2.根据权利要求1所述的一种基于深度神经网络的指针仪表读数方法， 其特征在于： 所 述的步骤S1包括： 采集指针仪表的图像数据， 并分别标注出表盘和指针两类 检测框； 按照一定比例随机划分训练集和测试集， 对数据集检测框进行聚类分析， 得到更有针 对性检测参 考框的尺寸和长 宽比例； 将多张输入图像按照一定 权重合并成一张图像， 使用这种合成图像进行训练； 将输入图像上的随机矩形区域的像素值置为随机值， 来模拟物体遮挡情况； 将图像输入算法网络， 利用反向传播 算法迭代更新 参数数值， 完成检测算法训练。 3.根据权利要求1所述的一种基于深度神经网络的指针仪表读数方法， 其特征在于： 所 述的步骤S2包括： 采集指针仪表的图像数据， 并分别标注出表盘刻度和指针的关键点； 在线数据增强， 对关键点图像施加随机 镜像翻转、 随机对比度、 随机噪声； 将多张输入图像按照一定 权重合并成一张图像， 使用这种合成图像进行训练； 关键点预测学习采用最小二乘l oss函数； 针对难以识别的指针尖端点， 对这部分loss施加额外惩罚参数， 以加大对难以识别样 本的惩罚力度， 提升算法对其识别能力； 将图像输入算法网络， 利用反向传播 算法迭代更新 参数数值， 完成检测算法训练； 反向传播迭代开始时采用warm  up的学习率策略， 以避免 网络权重在初始时大幅震荡。 4.根据权利要求1所述的一种基于深度神经网络的指针仪表读数方法， 其特征在于： 所 述的步骤S3包括： 使用Boosting方法， 用训练所得的多个不同epoch的高精度权重， 检测同 一帧仪表图像， 得到多个检测 框， 再对这些检测框一起进行NMS非极大值抑制， 得到最终检 测结果。 5.根据权利要求1所述的一种基于深度神经网络的指针仪表读数方法， 其特征在于： 所 述的步骤S4包括： 根据表盘和指针 检测结果， 将对应区域分别从整张图像中裁 剪出来； 在裁剪图像块上， 分别预测表盘刻度关键点和指针关键点。 6.根根据权利要求1所述的一种基于深度神经网络的指针仪表读数方法， 其特征在于： 所述的步骤S5包括： ①从预测出的表盘刻度关键点中选取4个点， 利用其预测位置和真实位置， 解算透视变 换矩阵T， 并通过 该矩阵对表盘图像块施加透 视变换， 以将倾 斜的表盘 变换为正面视角；权　利　要　求　书 1/2 页 2 CN 115035364 A 2②任意选取一对表盘刻度关键点Pi和Pj， 其对应刻度分别为 Ni和Nj， 得到角度 θ1； ③根据指针尖端关键点Px和Pi， 计算指针角度 θ2； ④由同比例关系， 获得仪表读数， 角度法公式为： ⑤表盘刻度关键点总数为C时， 两 两组合， 不同的组合总数如下： ⑥将步骤②‑⑤重复H次， 并求取平均数， 故仪表读数最终结果公式表达如下： 同时将指针读数 结果发送到监控中心。权　利　要　求　书 2/2 页 3 CN 115035364 A 3