(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651684.6 (22)申请日 2022.06.10 (71)申请人 海南浙江大学研究院 地址 572024 海南省三 亚市崖州区崖州湾 科技城标准厂房二期三楼C 310区 申请人 浙江大学 (72)发明人 齐冬莲　李启　闫云凤　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/73(2017.01) G06V 10/28(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06T 3/00(2006.01) G06V 10/74(2022.01) (54)发明名称 一种变电站高压开关柜二次仓面板图像识 别系统 (57)摘要 本发明涉及变电站高压开关柜图像识别技 术领域， 尤其是指一种变电站高压开关柜二次仓 面板图像识别系统， 首先， 在每面高压开关柜二 次仓面板 上张贴一张ID唯一的Ap rilTag标签， 采 集二次仓面板图片， 并为每面高压开关柜选取1 张清晰图片作为处理模板图片； 其次， 将每张模 板图划分为指示灯区域、 压板开关区域、 表计区 域， 在切割出的区域图像上用部件矩形框标注每 一个部件； 然后， 检测模板图片和非模板图片中 AprilTag标签， 获取指示灯和压板开关数据集、 数字表数据集； 再次训练ResNet50分类网络， 获 取指示灯和压板开关状态， 设计基于模板匹配的 自动读数方法， 获取数字表读数； 最后根据每一 个部件预设的正常运行状态下标准阈值， 逻辑判 断部件是否异常， 并及时告警。 权利要求书3页 说明书11页 附图4页 CN 114998271 A 2022.09.02 CN 114998271 A 1.一种变电站高压开关柜二次仓面板图像识别系统， 包括以下步骤： 1)在每一面高压开关柜的二次仓面板水平中轴线上， 张贴一张ID唯一的AprilTag标 签， 并记录高压开关柜名称和标签ID一 一对应列表； 2)采集高压开关柜样本图片， 构成样本库， 每张样本图片包含变电站高压开关柜二次 仓面板和Apri lTag标签； 3)从样本库中， 为每面高压开关柜选取1张清晰图片作为模板图； 4)调用AprilTag算法检测模板图片中所有标签ID和标签四个角点像素坐标， 计算标签 中心点水平像素坐标和样本图片水平中轴线像素坐标差值， 差值最小的即为当前高压开关 柜上对应的标签； 5)按照步骤4)中获取的对应标签ID， 查找步骤1)中的名称和ID列表， 获取模板图片所 采集的高压开关柜名称， 并存 储模板图名称、 标签ID和四个角点像素坐标到数据库中； 6)依据高压开关柜二 次仓面板上部件类型和分布特征， 将每一张模板图划分指示灯区 域、 压板开关区域、 数字表区域， 切割区域图像并命名； 7)在区域图像 中标注部件， 命名部件名称， 按照部件标注框逐一切割部件图像， 并设定 每个部件的标准状态； 8)从样本库中依次读取非模板图片， 重复步骤4)获取每张非模板图片中标签ID和四个 角点像素坐标； 9)根据步骤8)中标签角点像素坐标， 结合步骤4)中模板图中标签角点像素坐标， 计算 模板图片和非模板图片之间的仿射变换矩阵； 10)根据仿射变换矩阵， 将模板图片中的区域标注框映射到非模板图片中， 切割区域图 像并命名保存， 再将模板图中部件标注框全部映射到非模板图片 中， 实现非模板图部件定 位； 11)按照定位的部件标注框， 切割样本库中每张非模板图片的部件图像， 并命名每张部 件图像， 获得部件图像数据集； 12)将数据集按照部件图像名称分为指示灯数据集、 压 板开关数据集、 数字表数据集； 13)基于步骤12)获取的指示灯和压板开关数据集， 进行数据增广， 将数据集划分为训 练集、 验证集和测试集， 在算法服务器上导入数据集和ResNet50分类模型， 训练基于 ResNet50的指示灯和压板开关分类算法模 型， 获取指示灯 “亮”或“灭”状态和压板开关 “开” 或“合”状态； 14)基于步骤12)获取的数字表数据集， 设计基于模板匹配的自动读数算法， 制作0～9 的LED数字二值化模板图， 并逐一计算新图片中LED数字表单个数字二值化图像和数字二值 化模板图的像素匹配度， 对匹配度排序得到匹配度最高的单个数字读数， 对数字位置按照 水平坐标排序， 按照位数计算数字表实际读数； 15)将新采集的高压开关柜图片， 输入到高压开关柜图像识别系统中， 重复步骤4)和步 骤5)， 获取图片中标签四个角点像素坐标， 重复步骤6)获取区域图像； 16)计算新采集图片和模板图片的仿射变换矩阵， 将模板 图中所有部件标注框映射到 新采集图片上， 切割部件图像并命名， 按照部件图像名称中的部件类型， 调用基于ResNet50 的分类算法模型或基于模板匹配的自动读数算法， 获取识别结果； 17)读取每一个指示灯、 压板开关、 数字表预设的标准状态， 逻辑判断部件状态是否异权　利　要　求　书 1/3 页 2 CN 114998271 A 2常， 并及时告警。 2.根据权利要求1所述的一种变电站高压开关柜二次仓面板图像识别系统， 其特征在 于： 所述步骤1)的标签ID， 具体是除0以外的自然数。 3.根据权利要求1所述的一种变电站高压开关柜二次仓面板图像识别系统， 其特征在 于： 所述步骤6)的二次仓面板上部件类型， 主要包含LED指示灯、 压板开关、 LED数字表， 依次 命名为LED、 SWITCH、 METER； 所述步骤6)的划分区域， 采用区域矩形框划分， 每面高压开关柜 二次仓面板图像最多划分3个区域， 对区域依次命名为 “*P‑PSx”， 其中“*P”表示高压开关柜 简称，“PSx”表示区域简称， “x”取值为1、 2、 3， 取值不重复； 所述区域矩形框， 要求按照部件 类型， 框到所有的待识别部件， 并以区域名称为key值， 区域矩形框的左上和右下角点像素 坐标为valu e， 存储到Redis数据库中； 所述步骤6)的切割区域图像， 按照区域矩形框切割图 片， 切割后按照区域名称对区域图像命名为 “*P‑PSx‑time.jpg ”，“time”为计算机当前毫秒 数， 并将区域图像保存在本地 服务器中； 所述本地 服务器， 操作系统为 Linux Ubuntu。 4.根据权利要求1所述的一种变电站高压开关柜二次仓面板图像识别系统， 其特征在 于： 所述步骤7)的标注部件， 采用部件矩形框标注， 对每一个部件命名， 并设定高压开关柜 正常运行状态下每一个部件的标准状态， 存储部件标注框角点坐标和部件名称到数据库 中， 所述部件命名， 结合区域名称、 部件类型和编号， 三种部件具体命名规则为 “*P‑PSx‑ LEDy”、“*P‑PSx‑SWITCHy”、“*P‑PSx‑METERy”，“y”表示非零自然数， 在单个区域图像内， y取 值唯一， 所述存储部件标注框角点坐标和 部件名称， 以部件名称为key值， 区域图像中部件 标注框和部件标准状态为value， 存储到Redis数据库； 所述步骤 7)的切割部件图像， 对切割 出每一个部件图像命名， 根据部件名称将部件图像命名为 “*P‑PSx‑LEDy‑time.jpg”或“*P‑ PSx‑SWITCHy‑time.jpg ”或“*P‑PSx‑METERy‑time.jpg ”， 并将部件图像保存在本地服务器 中。 5.根据权利要求1所述的一种变电站高压开关柜二次仓面板图像识别系统， 其特征在 于： 所述步骤9)的计算仿射变换矩阵， 具体为： 其中， M2×3为仿射变 换矩阵， 表示通过线 性变化将模板图片中的像 素齐次坐标(x0,y0,1) 变换到非模 板图片中对 应位置像素齐次坐 标(x1,y1,1)， 通过模板图和非模 板图片中对 应三 对像素坐标 可求解得到M； 所述三对像素坐标， 选取为AprilTag标签的左上、 右上、 右下三个角点像素坐标， 代入 上式即可求 解仿射变换矩阵。 6.根据权利要求1所述的一种变电站高压开关柜二次仓面板图像识别系统， 其特征在 于： 所述步骤10)的非模板图部件定位， 具体为： A1： 从Redis数据库中读取所有key为 “*P”的数据， 遍历比较value中标签ID值和当前非 模板图片中检测的标签ID值， 当ID相等时， 得到当前非模板图对应的高压开关柜名称； A2： 从Redis数据库中读取所有key为 “*P‑PSx”的数据，“*P”为当前非模板图片对应高 压开关柜名称， 将模板图片区域矩形框的左上和右下角点的像素坐标代入下式， 得到非模 板图片的区域矩形框坐标， 按照变换后的区域矩形框切割非模板图片；权　利　要　求　书 2/3 页 3 CN 114998271 A 3