(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210666154.9 (22)申请日 2022.06.14 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 刘芳　崔盛兰　张默涵　郑宝莹　 宁斌　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 唐品利 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/538(2019.01) G06F 16/583(2019.01) G06V 10/74(2022.01)G06V 10/77(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度学习的海报图像查重检索方法、 装 置和电子设备 (57)摘要 本申请涉及 图像查重和人工智能技术领域 的一种基于深度学习的海报图像查重检索方法、 装置和电子设备。 所述方法通过 获取海报图像数 据库， 并采用基于深度学习的特征提取网络提取 该数据库中每张海报图像的关键元素的种类特 征和视觉 特征； 根据关键元素的特征建立特征索 引库； 根据提取到的待查海报图像的关键元素种 类特征在特征索引库中进行相似性检索， 得到相 似海报图像集合； 将待查海报图像和相似海报集 合中每张海报图像的关键元素视觉特征进行相 似度比对， 得到待查海报图像的查重结果。 本方 法通过预先建立特征索引库， 对待查海报图像先 后根据关键元素的种类特征和视觉特征在索引 库中进行两次检索， 提高了侵权海报图像查重的 效率和准确度。 权利要求书3页 说明书10页 附图2页 CN 115017350 A 2022.09.06 CN 115017350 A 1.一种基于深度学习的海报图像查重检索方法， 其特 征在于， 所述方法包括： 获取海报图像数据库； 通过深度学习特征提取网络对所述海报图像数据库中的每张海 报图像进行特征提取， 得到每张海报图像的关键元素特征； 所述关键元素特征包括关键元 素种类特 征和关键元 素视觉特征； 根据所述海报图像数据库中的每张海报图像和每张海报图像的关键元素特征， 构建关 键元素特征索引库； 获取待查海报图像， 并对所述待查海报图像通过深度学习特征提取网络进行特征提 取， 得到待查海报图像的关键元 素种类特 征和关键元 素视觉特征； 根据所述待查海报图像的关键元素种类特征在关键元素特征索引库中进行相似性检 索， 得到相似 海报图像集 合； 计算所述待查海报图像与所述相似海报图像集合中每张海报图像的相同种类的关键 元素的关键元素视觉特征之间的相似度， 并对得到的相似度进行加权求和， 得到所述待查 海报图像与所述相似 海报图像集 合中每张海报图像的关键元 素视觉相似度； 根据所述关键元素视觉相似度和所述相似海报图像集合， 得到所述待查海报图像的查 重结果。 2.根据权利要求1所述的方法， 其特征在于， 获取海报图像数据库； 通过深度学习特征 提取网络对所述海报图像数据库中的每张海报图像进 行特征提取， 得到每张海报图像的关 键元素特征， 包括： 获取海报图像数据库； 通过基于深度学习的全局特征提取网络提取所述海报图像数据库中每张海报图像的 特征， 得到所述海报图像数据库中每张海报图像的关键元 素种类特 征； 通过基于深度学习的局部特征提取网络提取所述海报图像数据库中每张海报图像的 每个关键元素的视觉特征， 得到所述海报图像数据库中每张海报图像的关键元素视觉特 征。 3.根据权利要求2所述的方法， 其特征在于， 通过基于深度 学习的全局特征提取网络提 取所述海报图像数据库中每张海报图像的特征， 得到所述海报图像数据库中每张海报图像 的关键元 素种类特 征， 包括： 将所述海报图像数据库中海报图像输入到Yolov3 网络中进行特征提取， 得到目标元素 种类预测结果和目标 元素的边界框坐标； 将满足预设条件的目标元素种类预测结果作为关键元素， 并将每张海报图像中的同类 型的关键元素按照元素面积最大的原则进 行了筛选， 将筛选后的结果中包含的关键元素的 种类组成的集 合作为所述海报图像数据库中每张海报图像的关键元 素种类特 征。 4.根据权利要求3所述的方法， 其特征在于， 通过基于深度 学习的局部特征提取网络提 取所述海报图像数据库中每张海报图像的每个关键元素的视觉特征， 得到所述海报图像数 据库中每张海报图像的关键元 素视觉特征， 包括： 根据关键元素的边界框坐标， 采用轻量级的卷积神经网络Mobilenetv2提取所述海报 图像数据库中每张海报图像的每个关键元素区域的视觉特征向量， 得到所述海报图像数据 库中每张海报图像的关键元素视觉特征； 所述关键元素视觉特征包括与关键元素数量相同 的关键元 素的视觉特征向量。权　利　要　求　书 1/3 页 2 CN 115017350 A 25.根据权利要求1所述的方法， 其特征在于， 根据 所述海报图像数据库中的每张海报图 像和每张海报图像的关键元 素特征， 构建关键元素特征索引库， 包括： 将所述海报图像数据库中每张海报图像进行编 号， 并将所述海报图像数据库中每张海 报图像的编号与所述海报图像数据库中每张海报图像的关键元素特征对应起来， 得到 关键 元素特征索引库。 6.根据权利要求1所述的方法， 其特征在于， 根据 所述待查海报图像的关键元素种类特 征在关键元 素特征索引库中进行相似性检索， 得到相似 海报图像集 合， 包括： 将所述待查海报图像的关键元素种类特征中所包含的关键元素的种类名称逐一在所 述关键元素特征索引库中进行相似性检索， 得到相似海报图像集合； 所述相似海报图像集 合包括若干张与待查海报图像具有相似关键元素种类特征的所述关键元素特征索引库中 的海报图像。 7.根据权利要求1所述的方法， 其特征在于， 计算所述待查海报图像与 所述相似海报图 像集合中每张海报图像的相同种类的关键元素的关键元素视觉特征之 间的相似度， 并对得 到的相似度进 行加权求和， 得到所述待查海报图像与所述相似海报图像集合中每张海报图 像的关键元 素视觉相似度， 包括： 根据所述待查海报图像的所有关键元素的面积比例关系为每个关键元素赋予面积权 重值； 所有面积权 重值之和为1； 计算所述待查海报图像与所述相似海报图像集合中每张海报图像的相同种类的关键 元素的关键元 素视觉特征之间的余弦相似度； 根据所述待查海报图像的每个关键元素的面积权重值和对应的余弦相似度进行加权 求和， 得到所述待查海报图像与所述相似海报图像集合中每张海报图像的关键元素视觉相 似度。 8.根据权利要求1所述的方法， 其特征在于， 根据 所述关键元素视觉相似度和所述相似 海报图像集 合， 得到所述待查海报图像的查重结果， 包括： 根据所述关键元素视觉相似度从大到小的顺序将所述相似海报图像集合中的海报图 像进行排序， 得到相似 海报图像序列； 根据所述相似 海报图像序列和预设判定阈值， 得到所述待查海报图像的查重结果。 9.一种基于深度学习的海报图像查重检索装置， 其特 征在于， 所述装置包括： 海报图像数据库关键元素特征提取模块， 用于获取海报图像数据库； 通过深度学习特 征提取网络对所述海报图像数据库中的每张海报图像进行特征提取， 得到每张海报图像的 关键元素特征； 所述关键元 素特征包括关键元 素种类特 征和关键元 素视觉特征； 关键元素特征索引库构建模块， 用于根据 所述海报图像数据库中的每张海报图像和每 张海报图像的关键元 素特征， 构建关键元素特征索引库； 待查海报图像关键元素特征提取模块， 用于获取待查海报图像， 并对所述待查海报图 像通过深度学习特征提取网络进 行特征提取， 得到待查海报图像的关键元素种类特征和关 键元素视觉特征； 相似海报图像集合确定模块， 用于根据所述待查海报图像的关键元素种类特征在 关键 元素特征索引库中进行相似性检索， 得到相似 海报图像集 合； 图像查重结果确定模块， 用于计算所述待查海报图像与 所述相似海报图像集合中每张权　利　要　求　书 2/3 页 3 CN 115017350 A 3