(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889494.8 (22)申请日 2022.07.27 (71)申请人 诺优信息技 术 （上海） 有限公司 地址 200233 上海市徐汇区桂平路418号20 层 （名义楼层2 2层） (72)发明人 张潘　夏非　杨永超　 (74)专利代理 机构 山东三邦知识产权代理事务 所(普通合伙) 37308 专利代理师 肖太升 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像检索的行李匹配方法 (57)摘要 本发明涉及一种基于图像检索的行李匹配 方法， 通过提前构建行李目标检测模 型来获取行 李目标， 之后通过特征提取模型对目标进行特征 提取， 之后将特征提取的输出送入 行李图片自编 码模型进行二进制编码， 再将生成的行李照片的 二进制编码存入一个缓存数据库； 当出现行李掉 牌的情况时， 只需将掉牌的行李进行拍张上传， 通过行李目标检测模型、 特征提取模 型和行李图 片自编码模 型得到掉牌行李照片的二进制编码， 使用该二进制编码在缓存数据库中进行查询， 即 可找到行李对应的旅客信息。 本发 明的方法能够 有效地帮助丢失的掉牌行李集中找到失主， 减少 客服人员找 寻行李时的被动性。 本发 明采用图像 检索和重量匹配结合的办法， 极大地提高准确 率。 权利要求书3页 说明书7页 附图5页 CN 115131654 A 2022.09.30 CN 115131654 A 1.一种基于图像 检索的行李匹配方法， 其特 征在于， 包括如下步骤: (1)构建行李目标检测模型； 构 建YoloV5目标检测模型， 构 建后的模型存储在云服务器 上； (2)在值机行李托 运时， 对旅客的行李进行拍照和称重； (3)拍照和称重完成后， 航班的照片上传到云服务器； 加载步骤(1)预训练好的行李 目 标检测模型(YoloV5目标检测模型)， 对行李图片上的行李进行 目标检测， 检测到行李的包 围框后， 然后裁剪出只含行李的图片； 图片被送入 预训练的ResNet ‑50卷积神经网络模 型进 行特征提取， 提取倒数第二层的输出； 特征提取 的输出被送入行李图片自编码模型进行二 进制编码， 之后将生成的行李图片的二进制编码存入缓存数据库； 所述的行李图片自编码 模型为自编码器 ‑解码器模型； (4)最后， 在航班到达后， 如果行李的识别牌脱落， 需要对行李进行拍照和 称重； 拍摄的 图片发送到 云服务器； 加载步骤(1)预训练好的行李目标检测模型， 对 行李图片上的行李进 行目标检测， 检测到行李的包围框后， 然后裁剪出只含行李的图片； 图片被送入预训练的 ResNet‑50卷积神经网络模 型进行特征提取， 提取倒数第二层的输出； 特征提取的输出被送 入行李图片自编码模型进行二进制编码， 使用得到的二进制编码在步骤(3)中的缓存数据 库中查询， 查询出10张相似度最高的图片， 匹配上行李照 片对应的重量信息， 最 终找到图片 相似度和重量匹配度均靠前 的5张， 找到这5张图片的对应的旅客信息， 返回给航班到达客 户端。 2.根据权利要求1所述的基于图像检索的行李匹配方法， 其特征在于， 步骤(1)中 YoloV5目标检测模型的构建方法为： 首先， 收集到大批量的带有行李的图片(该图片从常见的航班行李照片选取， 尽量覆盖 各种类型的行李如提箱式、 袋式以及各种颜色和样式)， 大约5000张， 使用LabelMe软件将行 李的包围框用长方形绘出来， 保存为json格式的文件， json文件包含有行李目标的长方形 框的坐标信息， 分别为(xmin,ymin)表示左上角坐标,(xmax,ymax)表 示右下角坐标。 带有 标 记好的json文件和原图片文件一起， 作为训练数据， 同时将训练数据进行5:1的采样分组， 比例为5的继续作为训练数据集， 比例为1的作为验证数据集。 将训练数据和验证数据送入 到YoloV5目标检测模型中去， 经过500代的训练后， 模型收敛， 得到一个精确度最高的用于 行李检测的训练好的YoloV5模型， 为二进制文件格式， 可用于后面步骤中的行李图片的行 李目标的检测。 特别指出的是， 目标检测模型的训练通常是一次性工作， 不需要为每个航班 的数据集做一次模型训练。 3.根据权利要求1所述的基于图像检索的行李匹配方法， 其特征在于， 所述的行李图片 自编码模型 是对输入数据生成二进制的编码输出， 以作为图片搜索的哈希值。 4.根据权利要求3所述的基于图像检索的行李匹配方法， 其特征在于， 所述的行李图片 自编码模型由编码器、 中间层、 解码器组成； 所述编码器用于接受ResNet ‑50的特征提取向量作为输入后， 经过一个全连接以及 Relu激活函数， 得到输出； 该输出分成两路， 第一路首先通过一个全连接层以及Sigmoid激 活函数， 然后输入给离散随机元， 离散随机元 的输出经过编码函数 的编码得到二进制隐变 量b； 编码函数 可以用公式表示如下： b＝α(f1(x； θ1)， ∈)∈{0， 1}M，权　利　要　求　书 1/3 页 2 CN 115131654 A 2这里x是输入向量， θ1是指网络的参数， f1是指全连接层和非线 性的sigmoid激活函数， M 是指输出的二进制的长度； α( ·， ∈)在这里是指元素级别的离散随机元函数， 它包含随机 变量 范围在0到1之间； 该输出的第二路通过一个全连接层和Relu激活函数， 得到连续隐变量z， 公式表示如 下： 这里x代表输入向量， θ2代表网络的参数， f2代表全连接和Relu激活函数， L代表输出z的 维度； 所 述的 中 间 层 ， 首 先 接收 到 二 进 制隐 变 量 b 和连 续隐 变 量 z 作 为 输 入 ； 记为一个批处理数量的二进制隐变量， 这里bi代 表二进制隐变量的每一个元 素， NB代表最大长度， M代 表维度； 记作一个批处理数量的连续隐变量， 这里zi代 表二进制隐变量的每一个元 素， NB代表最大长度， L代 表维度； 为了构建一个基于所有的训练数据的图， 每条数据为一个图的顶点， 边则由二进制隐 变量间的Ham ming距离所决定； 归一 化的图邻接矩阵 计算如下： 这里 是全为1的矩阵(即行列所有元 素均为1)， M代表维度， BB为二进制隐变量； 对于A中 的每个元素， 该公式等 价于下公式： Aij＝1‑Hamming(bi， bj)/M 这里bi代表BB的元素， M代表维度， Ham ming码是一种线性调试码的编码方式； 处理得到的邻接矩阵A， 和连续隐变量zB一起， 作为GCN(图神经网络)的输入， 其输出则 为维度为 L的向量， 每一个的值 为(0,1)， 记作Z ’； 在解码器， 首先通过一个全连接和 Relu激活函数， 然后输出传到一个全连接和等量激 活函数； 该模型的自编码损失函数如下： 这里λ是一个超参数， b是二进制隐变量， x表示真实值， 是来自解码器的输出， 表 示对二进制隐变量的期望； 和 是两个区别函数， 和 表示网络 参数， NB代表最大长度。 5.根据权利要求1所述的基于图像检索的行李匹配方法， 其特征在于， 步骤(4)的具体 方法为： 在航班到达后， 掉牌行李被送到掉牌行李找回处， 拍摄照 片、 称重， 之后照 片和重量权　利　要　求　书 2/3 页 3 CN 115131654 A 3