(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210681792.8 (22)申请日 2022.06.15 (71)申请人 中国医学 科学院北京协和医院 地址 100730 北京市东城区帅府园一 号北 京协和医院 (72)发明人 陈有信　于伟泓　 (74)专利代理 机构 北京墨丘知识产权代理事务 所(普通合伙) 11878 专利代理师 唐忠仙 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 图像标注可靠性预测方法、 装置、 电子设备 及存储介质 (57)摘要 本申请公开了一种图像标注可靠性预测方 法、 装置、 电子设备及存储介质。 其中， 该方法包 括： 获取与标注结果相关的局部图像区域， 基于 所述与标注结果相关的局部图像区域， 获取与标 注结果相关的视觉特征； 分别计算所述局部图像 区域、 所述视觉特征与标注者的历史标注结果的 相似度， 预测标注者的当前标注结果的可靠性。 本申请实施例利用局部图像区域和视觉特征的 多项量化指标对 标注结果进行分析， 通过计算当 前阅片结果与历史标注内容的相似度， 预测当前 阅片结果的可靠性， 实现了对主观结果的客观统 一的评估。 权利要求书2页 说明书9页 附图3页 CN 115239945 A 2022.10.25 CN 115239945 A 1.一种图像标注可靠性预测方法， 其特 征在于， 包括： 获取与当前标注结果相关的局部图像区域， 基于所述与当前标注结果相关的局部图像 区域， 获取与当前 标注结果相关的视 觉特征； 分别计算所述局部 图像区域、 所述视觉特征与标注者的历史标注结果的相似度， 预测 标注者的当前 标注结果的可靠性。 2.根据权利要求1所述的方法， 其特征在于， 所述获取与标注结果相关的局部图像区域 之前， 还包括： 计算标注者的当前 标注结果与历史标注结果的相似度。 3.根据权利要求2所述的方法， 其特征在于， 所述计算标注者的当前标注结果与历史标 注结果的相似度包括： 将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集； 计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注 结果与正确图像集g1的第二相似度s1； 基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相 似度。 4.根据权利要求1所述的方法， 其特征在于， 所述与标注结果相关的视觉特征包括： 视 盘形态、 视盘颜色、 视杯形态、 视盘视杯小血管走向、 上下血管弓附近的神经纤维层的缺损 程度、 视网膜区域的相关病灶中的至少一种。 5.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 通过标准数据库来管理 各个所述标注结果。 6.根据权利要求1 ‑5中任一项所述的方法， 其特征在于， 各个所述相似度的计算通过计 算向量相似度实现。 7.一种图像标注可靠性预测装置， 其特 征在于， 包括： 视觉特征处理模块， 用于获取与标注结果相关的局部 图像区域， 基于所述与标注结果 相关的局部图像区域， 获取与当前 标注结果相关的视 觉特征； 标注结果可靠性预测模块， 分别计算所述局部 图像区域、 所述视觉特征与标注者的历 史标注结果的相似度， 预测标注者的当前 标注结果的可靠性。 8.根据权利要求7所述的装置， 其特征在于， 所述装置还包括： 相似度计算模块， 用于计 算标注者的当前 标注结果与历史标注结果的相似度。 9.根据权利要求8所述的装置， 其特征在于， 所述计算标注者的当前标注结果与历史标 注结果的相似度包括： 将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集； 计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注 结果与正确图像集g1的第二相似度s1； 基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相 似度。 10.根据权利要求7所述的装置， 其特征在于， 所述与 标注结果相关的视觉特征包括： 视 盘形态、 视盘颜色、 视杯形态、 视盘视杯小血管走向、 上下血管弓附近的神经纤维层的缺损 程度、 视网膜区域的相关病灶。 11.根据权利要求7所述的装置， 其特征在于， 所述装置还包括标准数据库模块， 用于通权　利　要　求　书 1/2 页 2 CN 115239945 A 2过标准数据库来管理各个所述标注结果。 12.根据权利要求7 ‑11中任一项所述的装置， 其特征在于， 各个所述相似度的计算通过 计算向量相似度实现。 13.一种电子设备， 其特 征在于， 包括： 存储器以及一个或多个处 理器； 其中， 所述存储器与所述一个或多个处理器通信连接， 所述存储器中存储有可被所述 一个或多个处理器执行 的指令， 所述指令被所述一个或多个处理器执行时， 所述电子设备 用于实现如权利要求1 ‑6任一项所述的方法。 14.一种计算机可读存储介质， 其上存储有计算机可执行指令， 当所述计算机可执行指 令被计算装置执 行时， 可用来实现如权利要求1 ‑6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115239945 A 3