(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210917784.9 (22)申请日 2022.08.01 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 陈犇　金林波　王新欣　蒋文　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 金鹏 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 对象检测方法、 商品检测方法及相似度预测 模型训练方法 (57)摘要 本说明书实施例提供对象检测方法、 商品检 测方法及相似度预测模型训练方法， 其中所述对 象检测方法包括： 获取至少两个待检测对象 的描 述文本和对象图像； 对各待检测对象的描述文本 和对象图像进行特征提取， 得到各待检测对象 的 文本特征、 图像特征和图文特征； 基于第一待检 测对象的文本特征、 图像特征、 图文特征 以及第 二待检测对象的图文特征， 确定所述第一待检测 对象与所述第二待检测对象的相似度， 其中， 所 述第一待检测对象和所述第二待检测对象为任 意两个待检测对象； 根据所述相似度确定所述至 少两个待检测对象中的目标对象， 并对所述目标 对象进行处理。 可以有效地提高相似度的准确 性， 进而提高对象检测的效率。 权利要求书3页 说明书33页 附图8页 CN 115272722 A 2022.11.01 CN 115272722 A 1.一种对象检测方法， 包括： 获取至少两个待检测对象的描述文本和对象图像； 对各待检测对象的描述文本和对象图像进行特征提取， 得到各待检测对象的文本特 征、 图像特 征和图文特 征； 基于第一待检测对象的文本特征、 图像特征、 图文特征以及第二待检测对象的图文特 征， 确定所述第一待检测对象与所述第二待检测对象 的相似度， 其中， 所述第一待检测对象 和所述第二待检测对象为任意两个待检测对象； 根据所述相似度确定所述至少两个待检测对象中的目标对象， 并对所述目标对象进行 处理。 2.根据权利要求1所述的方法， 所述相似度包括文本相似度、 图像相似度和图文相似 度； 相应地， 所述基于第一待检测对象的文本特征、 图像特征、 图文特征以及第 二待检测对 象的图文特 征， 确定所述第一待检测对象与所述第二待检测对象的相似度， 包括： 将所述第一待检测对象的文本特征与所述第二待检测对象的图文特征进行相似度计 算， 得到所述第一待检测对象与所述第二待检测对象的文本相似度； 将所述第一待检测对象的图像特征与所述第二待检测对象的图文特征进行相似度计 算， 得到所述第一待检测对象与所述第二待检测对象的图像相似度； 将所述第一待检测对象的图文特征与所述第二待检测对象的图文特征进行相似度计 算， 得到所述第一待检测对象与所述第二待检测对象的图文相似度。 3.根据权利要求1所述的方法， 所述对各待检测对象的描述文本和对象图像进行特征 提取， 得到各待检测对象的文本特 征、 图像特 征和图文特 征， 包括： 针对所述至少两个待检测对象中的任一待检测对象， 将该待检测对象的所述描述文本 拆分为多个子描述文本， 并将该待检测对象的对象图像 拆分为多个子对象图像； 对各子描述文本进行特征提取得到所述各子描述文本的子文本特征， 并对各子对象图 像进行特征提取得到所述各子对象图像的子图像特 征； 根据所述子文本特征和所述子 图像特征， 得到该待检测对象的文本特征、 图像特征和 图文特征。 4.根据权利要求1 ‑3任意一项所述的方法， 所述对各待检测对象的描述文本和对象图 像进行特征提取， 得到各待检测对象的文本特 征、 图像特 征和图文特 征之前， 还 包括： 获取预先训练的相似度预测模型， 其中， 所述相似度预测模型包括特征提取层和相似 度确定层； 相应地， 所述对各待检测对象的描述文本和对象图像进行特征提取， 得到各待检测对 象的文本特 征、 图像特 征和图文特 征， 包括： 将各待检测对象的描述文本和对象图像输入至所述特征提取层进行特征提取， 得到各 待检测对象的文本特 征、 图像特 征和图文特 征； 相应地， 所述基于第一待检测对象的文本特征、 图像特征、 图文特征以及第 二待检测对 象的图文特 征， 确定所述第一待检测对象与所述第二待检测对象的相似度， 包括： 将第一待检测对象的文本特征、 图像特征、 图文特征以及第二待检测对象的图文特征 输入至所述相似度确定层进行相似度计算， 确定所述第一待检测对象与所述第二待检测对权　利　要　求　书 1/3 页 2 CN 115272722 A 2象的相似度。 5.一种商品检测方法， 包括： 获取查询商品和至少一个候选商品的商品标题和商品图像； 对所述商 品标题和所述商 品图像进行特征提取， 得到所述查询商 品和各候选商 品的文 本特征、 图像特 征和图文特 征； 将所述查询商品的文本特征、 图像特征和图文特征与 各候选商品的图文特征进行相似 度计算， 确定所述 查询商品与各候选商品的相似度； 根据所述相似度确定所述至少一个候选商品中的目标商品， 并对所述目标商品进行处 理。 6.一种相似度预测模型训练方法， 包括： 获取训练集， 其中， 所述训练集中包含至少一个样本对， 所述样本对包括两个样本对象 的样本文本和样本图像； 将各样本对中各样本对象的样本文本和样本 图像， 输入待训练模型的特征提取层， 得 到各样本对象的预测文本特 征、 预测图像特 征和预测图文特 征； 针对任一样本对对应的第 一样本对象和第 二样本对象， 将该第 一样本对象的预测文本 特征、 预测图像特征和预测图文 特征与该第二样本对象的预测图文特征输入至所述待训练 模型的相似度确定层， 得到该第一样本对象与该第二样本对象的预测相似度； 根据所述预测相似度确定总损 失值， 并根据所述总损 失值， 调整所述特征提取层和所 述相似度确定层的模型参数， 继续执行所述获取训练集的步骤， 在达到预设训练停止条件 的情况下停止训练， 获得相似度预测模型。 7.根据权利要求6所述的方法， 所述预测相似度包括预测文本相似度、 预测图像相似度 和图文预测相似度， 所述相似度确定层包括文本相似度确定子层、 图像相似度确定子层和 图文相似度确定 子层； 相应地， 所述将该第一样本对象的预测文本特征、 预测图像特征和预测图文特征与该 第二样本对象的预测图文 特征输入至所述待训练模型的相似度确定层， 得到该第一样本对 象与该第二样本对象的预测相似度， 包括： 将该第一样本对象的预测文本特征与该第二样本对象的预测图文特征输入至所述文 本相似度确定 子层， 得到该第一样本对象与该第二样本对象的预测文本相似度； 将该第一样本对象的预测图像特征与该第二样本对象的预测图文特征输入至所述图 像相似度确定 子层， 得到该第一样本对象与该第二样本对象的预测图像相似度； 将该第一样本对象的预测图文特征与该第二样本对象的预测图文特征输入至所述图 文相似度确定 子层， 得到该第一样本对象与该第二样本对象的预测图文相似度。 8.根据权利要求7 所述的方法， 所述 根据所述预测相似度确定总损失值， 包括： 将正样本对对应的预测图文相似度、 预测图像相似度和预测文本相似度， 分别确定为 指定预测图文相似度、 指 定预测图像相似度和指 定预测文本相似度， 其中， 所述正样本对为 携带有正样本标识的样本对； 根据所述预测图文相似度、 所述预测图像相似度、 所述预测文本相似度、 所述指定预测 图文相似度、 所述指定预测图像相似度和所述指定预测文本相似度， 确定第一损失值； 根据所述预测图文相似度、 所述指定预测文本相似度和所述指定预测图像相似度， 确权　利　要　求　书 2/3 页 3 CN 115272722 A 3