(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210630185.9 (22)申请日 2022.06.06 (71)申请人 杭州多麦电子商务股份有限公司 地址 310000 浙江省杭州市江干区普 盛巷9 号东谷创业中心1幢9 楼 (72)发明人 胡毅　李文炜　朱卫祥　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 邵捷 (51)Int.Cl. G06V 20/20(2022.01) G06F 16/51(2019.01) G06F 16/55(2019.01) G06V 10/22(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/70(2017.01) (54)发明名称 一种社交媒体图片中商品识别方法及系统 (57)摘要 本发明涉及图像识别技术领域， 尤其涉及一 种社交媒体图片中商品识别方法及系统。 本发明 的一种社交媒体图片中商品识别方法， 包含如下 步骤： S1， 索引数据库构建步骤； S2， 类目检测模 型建立步骤； S3， 最优特征匹配阈值Topt获取步 骤； S4， 待搜索核心MP4确定步骤； 步骤S5， 识别结 果生成步骤。 本发明的一种社交媒体图片中商品 识别系统， 包括索引数据库构建模块、 类目检测 模块、 图像特征提取模块、 图像特征匹配模块和 分析模块。 本发 明的识别方式有利于提高识别结 果的准确性， 还 有利于减少识别过程的计算 量。 权利要求书3页 说明书8页 附图1页 CN 114937220 A 2022.08.23 CN 114937220 A 1.一种社交媒体图片中商品识别方法， 其特 征在于， 包 含如下步骤： S1， 索引数据库构建步骤； 所述索引数据库包含多个索引集， 每个索引集对应一个商品类目； 每个所述索引集包 含多个索引簇， 每个索引簇对应一个组； 每个所述索引簇均包含一个表征特征D和多个索引 对， 每个索引对 包含一个商品图像特 征QP1及其对应的商品编号； S2， 类目检测模型建立 步骤； 建立类目检测模型， 用于检测出图片中的商品区域N， 以及该商品区域N包含的商品在 索引数据库中对应的商品类目和索引集； S3， 最优特 征匹配阈值Topt获取步骤； 预识别以确定兼顾 精确率和召回率的最优特 征匹配阈值Topt； S4， 待搜索核心MP4确定步骤； 通过类目检测 模型， 获取待识别的社交媒体图片P4中的商品区域NP4， 及该商品区域NP4 对应的商品类 目和索引集； 获取该商品区域NP4的商品图像特征QP4； 在对应的索引集中， 计 算各表征特征D分别与该商品图像特征QP4的距离， 根据计 算结果， 选出与所述商品图像特征 QP4的距离值小的表征 特征D所对应的索引簇作为待搜索核心MP4， 用于进一 步识别； 步骤S5， 识别结果 生成步骤； 从待搜索核心MP4中， 获取与商品图像特征QP4距离最小的商品图像特征QP1及对应的距 离S2min； 若该距离S2min小于等于最优 特征匹配阈值Topt， 则输出得出该距离S2min的商品图像 特征QP1所对应的商品， 为社交媒体图片P4的商品区域NP4的识别结果； 若该距离S2min大于最 优特征匹配阈值Topt， 则输出识别失败的结果信息 。 2.根据权利要求1所述一种社交媒体图片中商 品识别方法， 其特征在于， 所述索引数据 库的构建步骤具体包括： 步骤S11,预选商品分类步骤； 收集预选商品， 按照商品类目进行分类； 步骤S12， 照片 P1获取步骤； 对预选商品进行拍摄， 获得 各包含一个预选商品的照片 P1； 步骤S13， 商品图像特 征QP1获取步骤； 通过图像特征提取网络提取各照片P1的图像特征， 获得各对应一张照片P1的商品图像 特征QP1； 步骤S14， 聚类划分步骤； 通过聚类算法， 将同一商品类目的商品图像特 征QP1根据计算结果划分为多组； 步骤S15， 索引数据库获取步骤； 获取每组的所有商品图像特征QP1的平均值， 作为该组的表征特征D； 每个商品图像特征 QP1及其对应商品的商 品编号构成一个索引对； 同一组的索引对和该组 的表征特征D构成一 个索引簇； 同一商品类目的索引簇构成一个索引集， 所有的索引集构成索引数据库。 3.根据权利要求1所述一种社交媒体图片中商 品识别方法， 其特征在于， 所述类目检测 模型的建立 步骤具体包括： 步骤S21， 模型训练样本形成步骤； 获取多张包含预选商品的社交媒体图片P2； 标记出各社交媒体图片P2中的商品区域权　利　要　求　书 1/3 页 2 CN 114937220 A 2NP2,以及各商品区域NP2包含的商品所对应的步骤S1中的商品类目， 标记了商品类目的商品 区域NP2组成模型训练样本； 步骤S22， 模型训练样本学习步骤； 对模型训练样本进行学习， 让模型学习出图片商品区域检测及其所属步骤S1的商品类 目的判定能力； 步骤S23， 类目检测模型获得步骤； 对模型训练参数进行调节并评估学习效果， 以获得类目检测模型。 4.根据权利要求2所述一种社交媒体图片中商 品识别方法， 其特征在于， 所述最优特征 匹配阈值Topt的获取步骤具体包括： 步骤S31， 商品图像特 征QP3获取步骤； 获取多张包含已知商品编号的所述预选商品的社交媒体图片P3； 通过所述类目检测模 型， 检测出各社交媒体图片P3的商品区域NP3， 并识别各商品区域NP3中的商品所对应的索引 数据库中的商品类目及索引集； 通过所述图像特征提 取网络获得所述商品区域NP3的商品图 像特征QP3； 步骤S32， 待搜索核心MP3确定步骤； 计算商品图像特征QP3与对应的索引集下各表征特征D的距离， 根据计算结果， 选出与所 述商品图像特征QP3的距离值小的表征特征D 所对应的索引簇作为待搜索核心MP3， 用于进一 步计算； 其中， 一个待搜索核心MP3对应一个索引簇； 步骤S33， 距离S1min获取步骤； 获取商品图像特征QP3的所有待搜索核心MP3中的商品图像特征QP1， 计算这些商品图像 特征QP1分别与该商品图像特征QP3的距离S1， 获得该商品图像特征QP3对应的最小的距离 S1min； 步骤S34， 最优特 征匹配阈值Topt确定步骤； 预设不同大小的阈值T； 在各阈值T下， 比较由商品图像特征QP3对应获得的距离S1min与 所在阈值T的大小， 若距离S1min小于等于所在阈值T， 将得出该距离S1min的对应商品图像特 征QP1所对应的商品， 作为该商品图像特征QP3的识别结果； 否则， 输出无法识别的结果信息； 分别在各阈值T下， 统计输出的识别结果中， 与商品图像特征QP3实际对应的商品相符的数量 TP、 不符的数量FP， 以及无法识别的数量FN， 以计算获得最优特 征匹配阈值Topt。 5.根据权利要求4所述一种社交媒体图片中商 品识别方法， 其特征在于， 计算获得最优 特征匹配阈值Topt的具体方法包括： 在各阈值T下， 通过TP、 FP、 FN、 精确率P的计算公式P=TP/ （TP+FP） ， 以及召回率R的计算 公式R=TP/ （TP+FN） ， 获得各阈值T对应的精确率P和召回率T， 然后， 通过分数F1 的计算公式 F1=2*P*R/ （P+R） ， 获得各阈值T对应的分数F1； 获取最大的F1max所对应的阈值T， 作为最优特 征匹配阈值Topt。 6.根据权利要求2所述一种社交媒体图片中商 品识别方法， 其特征在于， 确定所述待搜 索核心MP4的具体步骤 包括： 步骤S41， 商品图像特 征QP4获取步骤； 获取待识别的社交媒体图片P4， 通过所述类目检测模型， 检测出该图片P4中的商品区 域NP4， 并识别出该商品区域NP4对应的所述索引数据库中 的商品类目及索引集； 通过所述图权　利　要　求　书 2/3 页 3 CN 114937220 A 3