(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211097146.3 (22)申请日 2022.09.08 (71)申请人 共道网络科技有限公司 地址 311100 浙江省杭州市余杭区五常街 道文一西路9 98号18幢1 11-1室 (72)发明人 赵仪琳　葛书航　魏海巍　刘凯　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 李威 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种外观侵 权的检测方法、 装置及存 储介质 (57)摘要 本申请提供一种外观侵权的检测方法、 装置 及存储介质。 该方法可以包括： 获取待检测对象 的外观图像， 并提取该外观图像中的待检测关键 点； 构建初始待检测关键点局部特征集， 其中包 含每个待检测关键点对应的初始待检测关键点 局部特征； 基于注意力机制确定每个待检测关键 点对应的注 意力权重， 根据注 意力权重对初始待 检测关键点局部特征进行编码， 生成目标待检测 关键点局部特征集； 基于目标待检测关键点局部 特征集和目标候选关键点局部特征集， 计算每个 待检测关键点与每个候选关键点之间的相似度； 当相似关键点比例超 过预设比例阈值时， 判定待 检测对象对目标候选对象形成外观侵权。 通过本 申请的技术方案， 可以从海量数据中快速准确地 寻找到侵权图像。 权利要求书3页 说明书12页 附图3页 CN 115482398 A 2022.12.16 CN 115482398 A 1.一种外观侵 权的检测方法， 其特 征在于， 所述方法包括： 获取待检测对象的外观图像， 并提取 所述外观图像中的待检测关键点； 构建初始待检测关键点局部特征集， 该特征集包含每个待检测关键点对应的初始待检 测关键点局部特征， 其中， 所述初始待检测关键点局部特征包括相 应待检测关键点的位置 信息， 以及该待检测关键点在所述外观图像上对应的图像特 征； 基于注意力 机制确定每个待检测关键点对应的注意力 权重， 根据 所述注意力 权重对所 述初始待检测关键点局部特征集中的特征进 行编码， 生成包含编 码得到的目标待检测关键 点局部特 征的目标待检测关键点局部特 征集； 基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选 关键点局部特征集， 计算所述每个待检测关键点与每个候选关键点之 间的相似度； 其中， 所 述目标候选 关键点局部特征集由初始候选 关键点局部特征集基于注意力机制编 码生成， 所 述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组 成， 所述初始候选关键点局部特征包括所述候选关键点的位置信息， 以及所述候选关键点 在所述目标候选对象的外观图像上对应的图像特 征； 当相似的关键点比例超过预设比例阈值 时， 判定所述待检测对象对所述目标候选对象 形成外观侵 权。 2.根据权利要求1所述的方法， 其特征在于， 所述基于注意力 机制确定所述每个待检测 关键点对应的注意力权 重， 包括： 针对每个待检测关键点， 基于注意力 机制确定该待检测关键点与其他各个待检测关键 点之间的注意力权 重， 以及该待检测关键点与各个候选图像关键点之间的注意力权 重。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述注意力 权重对所述初始待检 测关键点局部特 征集进行编码， 生成目标待检测关键点局部特 征集， 包括： 向多层图神经网络输入所述初始待检测关键点局部特征集以及所述初始候选关键点 局部特征集， 所述多层图神经网络包含多个全连接层， 且每层包括所述待检测关键点与所 述候选关键点分别对应的节点； 获取所述多层图神经网络输出的所述目标待检测关键点局部特征集； 其中， 所述初始 待检测关键点局部特征集以及所述初始候选关键点局部特征集为所述多层图神经网络的 首层节点的输入， 且非首层节点的输入为 其前一层节点的输出。 4.根据权利要求1所述的方法， 其特 征在于， 还 包括： 计算所述初始待检测关键点局部特征集与预先计算得到的所有候选对象的外观图像 对应的初始候选关键点局部特 征集之间的余弦相似度； 选取相似度相对更高的预设数量的外观图像， 作为所述目标候选对象的外观图像。 5.一种外观侵 权检测模型的训练方法， 其特 征在于， 该 方法包括： 获取样本待检测对象的外观图像， 以及样本目标候选对象的外观图像； 将所述样本待检测对象的外观图像输入外观侵权检测模型， 该外观侵权检测模型包含 关键点提取层、 关键点特 征生成层、 关键点编码层、 关键点匹配层， 其中： 所述关键点 提取层用于提取 所述样本待检测对象的外观图像中的样本待检测关键点； 所述关键点特征生成层用于构建样本初始待检测关键点局部特征集， 该特征集包含每 个样本待检测关键点对应的样本初始待检测关键点局部特征， 其中， 所述样本初始待检测权　利　要　求　书 1/3 页 2 CN 115482398 A 2关键点局部特征包括相应样本待检测关键点的位置信息， 以及该样本待检测关键点在所述 样本待检测对象的外观图像上对应的图像特 征； 所述关键点编码层用于基于注意力机制确定每个样本待检测关键点对应的注意力权 重， 根据所述注意力权重对所述样本初始待检测关键点局部特征集中的特征进行编码， 生 成包含编码得到的样本目标待检测关键点局部特 征的样本目标待检测关键点局部特 征集； 所述关键点匹配层用于基于所述样本目标待检测关键点局部特征集和样本目标候选 对象的外观图像对应的样本目标候选关键点局部特征集， 计算所述每个样本待检测关键点 与每个样本候选关键点之间的相似度； 其中， 所述样本目标候选关键点局部特征集由样本 初始候选关键点局部特征集基于注意力机制编 码生成， 所述样本初始候选 关键点局部特征 集由所述每个样本候选 关键点对应的样本初始 候选关键点局部特征组成， 所述样本初始 候 选关键点局部特征包括所述样本候选关键点的位置信息， 以及所述样本候选关键点在所述 样本目标候选对象的外观图像上对应的图像特 征； 根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练， 直至迭代次数 达到次数上限或损失函数收敛。 6.一种外观侵 权检测的装置， 其特 征在于， 该装置包括： 获取单元， 用于获取待检测对象的外观图像， 并提取 所述外观图像中的待检测关键点； 构建单元， 用于构建初始待检测关键点局部特征集， 该特征集包含每个待检测关键点 对应的初始待检测关键点局部特征， 其中， 所述初始待检测关键点局部特征包括相应待检 测关键点的位置信息， 以及该待检测关键点在所述外观图像上对应的图像特 征； 生成单元， 用于基于注意力机制确定每个待检测关键点对应的注意力权重， 根据所述 注意力权重对所述初始待检测关键点局部特征集中的特征进 行编码， 生成包含编 码得到的 目标待检测关键点局部特 征的目标待检测关键点局部特 征集； 计算单元， 用于基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对 应的目标候选 关键点局部特征集， 计算所述每个待检测关键点与每个候选 关键点之 间的相 似度； 其中， 所述 目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机 制编码生成， 所述初始 候选关键点局部特征集由所述每个候选 关键点对应的初始候选 关键 点局部特征组成， 所述初始候选关键点局部特征包括所述候选关键点的位置信息， 以及所 述候选关键点在所述目标候选对象的外观图像上对应的图像特 征； 判定单元， 用于当相似的关键点比例超过预设比例阈值时， 判定所述待检测对象对所 述目标候选对象形成外观侵 权。 7.根据权利要求6所述的装置， 其特征在于， 所述基于注意力 机制确定所述每个待检测 关键点对应的注意力权 重， 包括： 针对每个待检测关键点， 基于注意力 机制确定该待检测关键点与其他各个待检测关键 点之间的注意力权 重， 以及该待检测关键点与各个候选图像关键点之间的注意力权 重。 8.一种外观侵 权检测模型的训练装置， 其特 征在于， 该装置包括： 样本获取单元， 用于获取样本待检测对象的外观图像， 以及样本目标候选对象的外观 图像； 输入单元， 用于将所述样本待检测对象的外观图像以及样本目标候选对象的外观图像 输入所述外观侵权检测模型， 输出每个样本待检测关键点与每个样本候选 关键点之 间的相权　利　要　求　书 2/3 页 3 CN 115482398 A 3