(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763096.1 (22)申请日 2022.06.29 (71)申请人 京东方科技 集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路10号 (72)发明人 陈明轩　上官泽钰　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 李威 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) (54)发明名称 货品识别方法及装置 (57)摘要 一种货品识别方法及装置。 所述方法包括： 获取第一相机和第二相机针对货品摆放区域分 别采集到的第一当前帧图像和第二当前帧图像， 第一相机和第二相机分别装配于所述货品摆放 区域之外的不同位置； 分别识别第一当前帧图像 中的第一货品和第二当前帧图像中的第二货品， 并根据第一货品和第二货品的识别结果确定当 前时刻被移动的目标货品； 在确定出所述目标货 品的目标货品类型和目标移动方式的情况下， 根 据所述目标货品的数量在货品计数列表中更新 所述目标货品类型和目标移动方式对应的货品 数量， 所述目标移动方式包括 从所述货品摆放区 域中拿出或者放入所述货品摆放区域。 该方法可 以以较低的硬件成本提升货品识别的精确度。 权利要求书4页 说明书26页 附图10页 CN 115019177 A 2022.09.06 CN 115019177 A 1.一种货品识别方法， 包括： 获取第一相机和第二相机针对货品摆放区域分别采集到的第一当前帧图像和第二当 前帧图像， 第一相机和第二相机分别装配于所述货品摆放区域之外的不同位置； 分别识别第 一当前帧图像中的第 一货品和第 二当前帧图像中的第 二货品， 并根据第 一 货品和第二货品的识别结果确定当前时刻被移动的目标货品； 在确定出所述目标货品的目标货品类型和目标移动方式的情况下， 根据 所述目标货品 的数量在货品计数列 表中更新所述目标货品类型和目标移动方式对应的货品数量， 所述目 标移动方式包括从所述货品摆放区域中拿出或者 放入所述货品摆放区域。 2.根据权利要求1所述的方法， 对于第一当前帧图像和第二当前帧图像中的任一当前 帧图像， 识别所述任一当前帧图像中被移动的货品， 包括： 检测所述任一当前帧图像中包 含的货品及其当前坐标； 在所述货品的当前坐标与 所述货品的历史坐标不同的情况下， 确定所述货品为被移动 的货品， 所述历史坐标为所述货品在历史帧图像中的位置坐标， 所述历史帧图像是在所述 任一当前帧图像所属视频中处于所述任一当前帧图像之前的视频帧图像； 识别所述被移动的货品的货品类型。 3.根据权利要求2所述的方法， 所述任一当前帧图像所属视频包含的各张视频帧图像 中被设置有位于所述货品摆放区域边缘的边缘标记框， 所述识别所述被移动的货品的货品 类型， 包括： 在确定所述被移动的货品在当前时刻位于所述边缘标记框外侧的情况下， 识别所述被 移动的货品的货品类型； 或者， 在确定所述被移动的货品被从所述边缘标记框 内侧移动至外侧的情况下， 识别所述被 移动的货品的货品类型。 4.根据权利要求3所述的方法， 确定所述被移动的货品在当前时刻位于所述边缘标记 框的某一侧， 包括： 若从所述任一当前帧图像在内的连续预设数量的视频帧图像中检测出的所述被移动 的货品位于所述边缘标记框的同一侧， 则确定该货品当前时刻处于所述边缘标记框的这一 侧。 5.根据权利要求3所述的方法， 所述边缘标记框包括存在预设间隔的内侧标记框和外 侧标记框， 确定所述被移动的货品在任一时刻相对所述 边缘标记框所处的位置， 包括： 若所述被移动的货品在任一 时刻位于所述内侧标记框以内， 则确定所述被移动的货品 在所述任一时刻位于所述 边缘标记框内侧； 以及， 若所述被移动的货品在任一 时刻位于所述外侧标记框以外， 则确定所述被移动的货品 在所述任一时刻位于所述 边缘标记框 外侧。 6.根据权利要求2所述的方法， 所述检测所述任一当前帧图像中包含的货品及其当前坐标， 包括： 将所述任一当前帧 图像输入货品检测模型， 并获取所述货品检测模型输出的被检测出的货品在所述任一当前 帧图像中的位置信息； 和/或， 所述识别所述被移动的货品的货品类型， 包括： 将所述任一当前帧图像或对所述任一 当前帧图像中被检测出的货品进 行裁剪得到的裁剪图像输入货品识别模型， 并获取所述货权　利　要　求　书 1/4 页 2 CN 115019177 A 2品识别模型输出的用于表征 所述货品的货品类型的类型 标签。 7.根据权利要求6所述的方法， 所述货品摆放 区域位于智能货柜内， 所述货品检测模型 和/或所述货品识别模型被部署于所述智能货柜本地。 8.根据权利要求1所述的方法， 对于第一当前帧图像和第二当前帧图像中的任一当前 帧图像， 还 包括： 在所述任一当前帧图像表明被移动的货品越过所述货品摆放区域边缘的情况下， 识别 所述被移动的货品的移动方式， 所述移动方式包括从所述货品摆放区域中拿出或者放入所 述货品摆放区域。 9.根据权利要求1所述的方法， 还包括： 在从第一当前帧图像中检测出第一货品的情况下， 在第一当前帧列表中记录 第一货品的货品信息； 以及， 在从第二当前帧图像中检测出第二货品的情况下， 在第二当前 帧列表中记录第二货品的货品信息； 所述根据第一货品和第二货品的识别结果确定当前时刻被移动的目标货品， 包括： 根 据第一当前帧列表和第二当前帧列表中分别记录的货品信息确定当前时刻被移动的目标 货品。 10.根据权利要求9所述的方法， 第一当前帧图像所属的第一视频和第二当前帧图像所 属的第二视频中的任一视频存在相应的移动 货品列表， 所述移动 货品列表用于以货品标识 为索引记录从所述任一视频中识别出的货品的跟踪信息， 对于从所述任一视频的当前帧图 像中检测出的任一货品， 所述方法还 包括： 在确定所述任一货品与所述移动货品列表中任一货品标识所表征的货品为同一货品 的情况下， 根据所述任一货品更新所述移动 货品列表中以所述任一货品标识 为索引记录的 跟踪信息； 在确定所述任一货品与所述移动货品列表中各个货品标识所表征的货品均不同的情 况下， 为所述任一货品分配新增货品标识， 并在所述移动货品列表中 以所述新增货品标识 为索引记录所述任一货品的跟踪信息 。 11.根据权利要求10所述的方法， 所述移动货品列表中记录的跟踪信 息包括跟踪状态， 其中， 跟踪持续状态用于表征从所述当前帧图像的前一视频帧图像中检测出所述任一货 品、 跟踪丢失状态用于表征未从所述当前帧图像的前一视频帧图像中检测出所述任一货品 且从所述前一视频帧图像之前的其他历史视频帧图像中检测出所述任一货品； 所述根据所 述任一货品更新所述移动货品列表中以所述任一货品标识为索引记录的跟踪信息， 包括： 若所述任一货品标识对应的跟踪状态为跟踪持续状态， 则更新以所述任一货品标识为 索引记录的除所述第一 值之外的其 他跟踪信息； 若所述任一货品标识对应的跟踪状态为跟踪丢失状态， 则更新以所述任一货品标识为 索引记录的全部跟踪信息， 其中， 所述跟踪丢失状态被更新 为跟踪持续状态。 12.根据权利要求11所述的方法， 确定所述任一货品与所述移动货品列表中任一货品 标识对应的跟踪状态为跟踪丢失状态的货品为同一货品， 包括下述至少之一： 所述任一货品的出现时刻晚于所述任一货品标识的出现时刻； 所述任一货品的货品类型与所述任一货品标识所表征货品的货品类型相同； 所述任一货品与所述任一货品标识所表征货品之间的距离， 不大于所述任一货品与跟权　利　要　求　书 2/4 页 3 CN 115019177 A 3