(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210535869.0 (22)申请日 2022.05.18 (65)同一申请的已公布的文献号 申请公布号 CN 114638963 A (43)申请公布日 2022.06.17 (73)专利权人 青岛美迪康数字 工程有限公司 地址 266005 山东省青岛市 市南区太平路 51号山东国际贸易大厦15层 (72)发明人 冯健　邵学军　 (74)专利代理 机构 北京慧智兴达知识产权代理 有限公司 1 1615 专利代理师 李丽颖 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/74(2022.01)G06K 9/62(2022.01) G06T 7/00(2017.01) (56)对比文件 CN 103116987 A,2013.0 5.22 CN 102930555 A,2013.02.13 审查员 李志研 (54)发明名称 内窥镜检查中对可疑组织进行识别跟踪的 方法及装置 (57)摘要 本发明涉及一种内窥镜检查中对可疑组织 进行识别跟踪的方法及装置， 方法包括： 提取第 一感兴趣区域； 判断第一列表是否为空； 若为空， 且第二列表中标识的数量小于预设数量， 则将第 一感兴趣区域的标识记录在第二列表中； 若第二 列表中标识的数量大于等于预设数量， 则计算第 一感兴趣区域与第二列表中各个标识对应的第 三感兴趣区域之间的相似度； 确定将第一感兴趣 区域的标识记录在第二列表中还是对第一列表 进行更新； 若不为空， 则计算第一感兴趣区域与 第一列表中各个标识所对应的第二感兴趣区域 之间的相似度； 确定将第一 感兴趣区域的标识记 录在第一列表中对应的目标ID下还是记录在第 二列表中。 本发 明可确定哪些感兴趣区域对应同 一个目标。 权利要求书3页 说明书10页 附图3页 CN 114638963 B 2022.08.16 CN 114638963 B 1.一种内窥镜检查中对可疑组织进行识别跟踪的方法， 其特 征在于， 包括： 提取内窥镜检查所产生的视频流中的当前帧图像中的感兴趣区域， 并将所述当前帧图 像中的感兴趣区域作为第一感兴趣区域； 判断第一列表是否为空； 若所述第一列表为空， 则判断第二列表中标识 的数量是否大于预设数量； 若小于所述 预设数量， 则将所述第一感兴趣区域的标识记录在所述第二列表中； 若大于等于所述预设 数量， 则计算所述第一感兴趣区域与所述第二列 表中各个标识对应的第三感兴趣区域之间 的相似度； 根据各个相似度和预设第一范围的关系， 确定将所述第一感兴趣区域的标识记 录在所述第二列表中还是对所述第一列表进行 更新； 其中， 所述根据各个相似度和预设第一范围的关系， 确定将所述第一感兴趣区域的标 识记录在所述第二列表中还是对所述第一列表进行更新， 包括如下 的至少一项： 若所述第 一感兴趣区域与所述第二列 表中至少N个标识对应的第三感兴趣区域之间的相似度均大于 所述预设第一范围的下限值， 则创建一个目标ID， 将所述第一感兴趣区域的标识和所述至 少N个标识中的至少一个标识记录在所述目标ID下， 并将该目标ID和记录在该目标ID下的 标识移至所述第一列表中， 实现对所述第一列表的更新； 其中， N为大于等于2的正整数； 若 所述第二列表中与所述第一感兴趣区域之间的相似度大于所述下限值的第三感兴趣区域 的标识的数量小于N个， 则将所述第一感兴趣区域的标识 记录在所述第二列表中； 若所述第 一列表不为空， 则计算所述第一感兴趣区域与所述第一列表中的各个目标ID 下各个标识所对应的第二感兴趣区域之 间的相似度； 根据各个相似度和预设第一范围的关 系， 确定将所述第一感兴趣区域的标识记录在所述第一列 表中对应的目标ID下还是记录在 第二列表中； 其中， 不为空的所述第一列表中包含至少一个目标ID， 每一个目标ID下对应至 少一个所述第二感兴趣区域的标识， 一个目标ID对应一个可疑组织； 其中， 所述根据各个相似度和预设第一范围的关系， 确定将所述第一感兴趣区域的标 识记录在所述第一列表中对应的目标ID下还是记录在第二列表中， 包括： 若所述第一感兴 趣区域与所述第一列表中一个标识对应的第二感兴趣区域之间的相似度在所述预设第一 范围内， 则将所述第一感兴趣区域的标识记录在所述第一列 表中该第二感兴趣区域的标识 所对应的目标ID下； 若 所述第一感兴趣区域与所述第一列表中各个目标ID下的各个标识所 对应的所述第二感兴趣区域之 间的相似度均低于所述预设第一范围的下限值， 则将所述第 一感兴趣区域的标识 记录在第二列表中。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 若所述第一感兴趣区域与一个所述第二感兴趣区域之间的相似度大于所述预设第一 范围的上限值， 则将所述第一感兴趣区域丢弃。 3.根据权利要求1所述的方法， 其特征在于， 所述第 二感兴趣区域或第 三感兴趣区域为 已记录感兴趣区域； 对应的， 计算所述第一感兴趣区域和任意一个所述已记录感兴趣区域 之间的相似度， 包括： 分别提取所述第一感兴趣区域和所述已记录感兴趣区域中的图像特征向量、 检测框位 置信息以及所在图像的帧号信息； 计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量 之间的相似度， 并将该相似度作为第一相似度；权　利　要　求　书 1/3 页 2 CN 114638963 B 2计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置 信息之间的相似度， 并将该相似度作为第二相似度； 计算所述第一感兴趣区域的帧号信息和所述已记录感兴趣区域的帧号信息之间的相 似度， 并将该相似度作为第三相似度； 根据所述第一相似度、 所述第二相似度和所述第三相似度， 计算所述第一感兴趣区域 和所述已记录感兴趣区域之间的相似度。 4.根据权利要求3所述的方法， 其特征在于， 所述计算所述第 一感兴趣区域的图像特征 向量和所述已记录感兴趣区域的图像特征向量之间的相似度， 并将该相似度作为第一相似 度， 包括： 计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量 之间的余弦相似度， 并将所述 余弦相似度作为所述第一相似度。 5.根据权利要求3所述的方法， 其特征在于， 所述计算所述第 一感兴趣区域的检测框位 置信息和所述已记录感兴趣区域的检测框位置信息之 间的相似度， 并将该相似度作为第二 相似度， 包括： 计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置 信息之间的交并比， 并将所述交并比作为所述第二相似度。 6.根据权利要求3所述的方法， 其特征在于， 所述计算所述第 一感兴趣区域的帧号信 息 和所述已记录感兴趣区域的帧号信息 之间的相似度， 并将该相似度作为第三相似度， 包括： 采用第一计算式计算所述第三相似度， 所述第一计算式包括： Time_Sim = 1  ‑  0.2* log(quary_frame   ‑  check_frame) 式中， Time_Sim为所述第三相似度， quary_frame为所述第一感兴趣区域所在图像的帧 号， check_frame为所述已记录感兴趣区域所在图像的帧号。 7.根据权利要求3所述的方法， 其特征在于， 所述根据所述第一相似度、 所述第二相似 度和所述第三相似度， 计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度， 包括： 采用第二计算式计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度， 所述第二计算式包括： Total_Sim  = a*Feature_sim+b*Time_Sim+c *IOU_Sim 式中， Total_Sim为所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度， Feature_sim为所述第一相似度， Ti me_Sim为所述第三相似度， IOU_Sim为所述第二相似度， a、 b和c均为权 重， a大于b且a大于 c。 8.一种内窥镜检查中对可疑组织进行识别跟踪的装置， 其特 征在于， 包括： 区域提取模块， 用于提取内窥镜检查所产生的视频流中的当前帧图像中的感兴趣区 域， 并将所述当前帧图像中的感兴趣区域作为第一感兴趣区域； 列表判断模块， 用于判断第一列表是否为空； 第一记录模块， 用于若所述第一列表为空， 则判断第二列表中标识 的数量是否大于预 设数量； 若小于所述预设数量， 则将所述第一 感兴趣区域的标识记录在所述第二列 表中； 若 大于等于所述预设数量， 则计算所述第一感兴趣区域与所述第二列 表中各个标识对应的第 三感兴趣区域之间的相似度； 根据各个相似度和预设第一范围的关系， 确定将所述第一感 兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新； 其中， 第一记录模权　利　要　求　书 2/3 页 3 CN 114638963 B 3