(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210485858.6 (22)申请日 2022.05.06 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 申请人 江苏万维艾斯网络智能产业创新中 心有限公司 (72)发明人 王开　陈思远　高阳　刘文宇　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 专利代理师 张帆 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/764(2022.01)G06N 20/00(2019.01) (54)发明名称 一种基于机器视觉的ODF插口状态识别方法 及系统 (57)摘要 本发明提供了一种基于机器视觉的ODF插口 状态识别方法及系统。 包括如下步骤： 行处理， 将 插口按照行形成组， 采用CTPN进行整行位置检 测， 并行容错处理； 行内处理， 在得到完整的行区 域后， 采用faster ‑rcnn进行行内插口检测， 并进 行行过滤和插口位置估计； 根据插口检测结果， 确认行检测正确性， 过滤误判的行检测； 插口状 态识别， 采用resnet 34进行插口位置区域进行分 类， 得到插口的状态。 整体上本专利采用3阶段方 法实现最终插口状态， 首先使用CTPN对机架行位 置进行检测， 然后采用faster ‑rcnn对端口位置 进行检测， 最后使用resnet 50对端口状态进行分 类， 各模块间采用容错方式增强鲁棒性， 如漏行 推断、 漏框补全等。 在测试数据上能达到9 5%的准 确率。 权利要求书2页 说明书5页 附图2页 CN 114926414 A 2022.08.19 CN 114926414 A 1.一种基于 机器视觉的ODF插口状态 识别方法， 其特 征在于， 所述方法包括如下步骤： 步骤1、 行处 理： 将插口按照行 形成组， 采用CTPN进行整行位置检测， 并行容 错处理； 步骤2、 行内处理： 在得到完整的行区域后， 采用faster ‑rcnn进行行内插口检测， 并进 行行过滤和插口位置估计； 根据插口检测结果， 确认行检测正确性， 过 滤误判的行检测； 步骤3、 插口状态 识别： 采用resnet34进行插口位置区域进行分类， 得到插口 的状态。 2.根据权利要求1所述的ODF插口状态识别方法， 其特征在于， 步骤1中行处理的过程进 一步包括： 步骤1‑1、 行拼接； 步骤1‑2、 漏行推断。 3.根据权利 要求2所述的ODF插口状态识别方法， 其特征在于， 步骤1 ‑1中行拼接的过程 进一步包括： 步骤1‑1a、 输入CTPN原始行检测结果， 根据行位置纵坐标由小到大排序， 根据临近纵坐 标差值与阈值判断， 得到处于同一行的目标框， 该目标框是行检测中出现断裂， 同一行出现 多个分段 结果； 步骤1‑1b、 将其所有纵坐标求平均， 得到新的纵坐标值， 即为本行纵坐标值； 步骤1‑1c、 延展同一行多个分段结果的最左侧和最右侧， 得到拼接结果， 最后取所有行 的最左侧值和最右侧值作为所有行两端。 4.根据权利 要求2所述的ODF插口状态识别方法， 其特征在于， 步骤1 ‑2中漏行推断的过 程进一步包括： 求取行高平均值， 再次根据排序的插口行间距， 根据行间距小于行高的先验信 息， 若出 现距离大于行高平均值， 则认为出现漏行， 在该位置进行行补充， 添加一个行信息， 高为行 高平均值， 宽度为行拼接中最左侧值和最右侧值表示。 5.根据权利要求1所述的ODF插口状态识别方法， 其特征在于， 步骤2中的行过滤和插口 位置估计的过程进一 步包括： 步骤2‑1、 行过滤； 步骤2‑2、 插口间距统计； 步骤2‑3、 调整行起 位置； 步骤2‑4、 行内插口划分。 6.根据权利 要求5所述的ODF插口状态识别方法， 其特征在于， 步骤2 ‑1中行过滤的过程 进一步包括： 行检测本身存在误检， 根据行内插口检测数量与阈值判断， 若小于则认为是误 判， 将删除本行； 步骤2‑2中插口间距统计的过程进一步包括： 插口检测存在漏检， 根据插口间距小于插 口宽度的先验信息， 统计所有 小于插口宽度的插口间距， 并求平均， 得到平均插口间距。 7.根据权利 要求5所述的ODF插口状态识别方法， 其特征在于， 步骤2 ‑3中调整行起位置 的过程进一步包括： 根据行内最左侧插口位置， 进 行行起调整， 根据检测结果最左侧插口位 置， 和平均插口间距与插口宽度， 向左延展， 直到行左侧无法容下一个插口宽度为止， 则认 为这段不足一个插口的间距是行起调整间距， 也是行延展后与实际行左侧的差， 将行向右 侧平移该间距， 保证最左侧行与估计的最左侧插口左侧对齐；权　利　要　求　书 1/2 页 2 CN 114926414 A 2步骤2‑4中行内插口划分的过程进一步包括： 从行位置左侧开始， 按照平均插口间距依 次向行右侧展开， 得到估计的行内插口划分结果。 8.ODF插口状态识别系统， 用于驱动并执行权利要求1至6中任一项所述的ODF插口状态 识别方法， 其特 征在于， 包括： 输入模块， 对外提供http端口， 用于接收包括图片文件、 ftp输入、 虚拟磁盘地址在内的 输入数据； 行处理模块， 用于在得到完整的行区域后， 采用faster ‑rcnn进行行内插口检测， 并进 行行过滤和插口位置估计； 行内处理模块， 用于在得到完整的行区域后， 采用faster ‑rcnn进行行内插口检测， 并 进行行过滤和插口位置估计； 根据插口检测结果， 确认行检测正确性， 过 滤误判的行检测； 插口处理模块， 采用resnet34进行插口位置区域进行分类， 得到插口 的状态； 输出模块， 用于将得到的ODF机架插口分类阵列分布， 以文本数字形式返回， 数字代表 插口状态， 同时附带 行列信息 。 9.ODF插口状态 识别设备， 其特 征在于， 包括： 至少一个处 理器和存 储器； 所述存储器存储计算机执 行指令； 至少一个处理器执行所述存储器存储的计算机执行指令， 使得至少一个处理器执行如 权利要求1至7中任一项所述的ODF插口状态 识别方法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有计算机执行指令， 当 处理器执行所述计算机执行指令时， 实现如权利要求1至7中任一项所述的ODF插口状态识 别方法。权　利　要　求　书 2/2 页 3 CN 114926414 A 3