(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210884752.3 (22)申请日 2022.07.26 (71)申请人 北京龙智数 科科技服务有限公司 地址 100020 北京市朝阳区北 苑小街8号6 号楼五层5 305 (72)发明人 黄泽元　王夏洪　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 杨超 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 视频流中的人体匹配方法及装置 (57)摘要 本公开涉及视频处理技术领域， 提供了一种 视频流中的人体匹配方法及装置。 该方法包括： 利用人体特征提取模型提取每张人体图像对应 的第一特征； 基于每张人体图像对应的第一特 征， 利用分类模 型确定每张人体图像对应的第一 类别中心； 基于每张人体图像对应的第一类别中 心， 利用质量分计算模型计算每张人体图像对应 的第一质量 分； 依据每个图像分区中每张人体图 像对应的第一特征、 第一类别中心和第一质量 分， 确定每个图像分区对应的第二特征、 第二类 别中心和第二质量分； 依据每条人体序列中每个 图像分区对应的第二特征、 第二类别中心和第二 质量分， 确定每条人体序列对应的目标特征； 依 据每条人体序列对应的目标特征， 对多条人体序 列进行匹配 。 权利要求书2页 说明书11页 附图4页 CN 115187912 A 2022.10.14 CN 115187912 A 1.一种视频流中的人体匹配方法， 其特 征在于， 包括： 获取多条视频流， 并依次使用人体检测算法和人体跟踪算法处理多条视频流， 得到多 条人体序列， 其中， 每条 人体序列包括多张人体图像； 将每条人体序列划分为预设数量的图像分区， 其中， 每 个图像分区包括多张人体图像； 利用人体特 征提取模型提取每张人体图像对应的第一特 征； 基于每张人体图像对应的第 一特征， 利用分类模型确定每张人体图像对应的第 一类别 中心； 基于每张人体图像对应的第 一类别中心， 利用质量分计算模型计算每张人体图像对应 的第一质量分； 依据每个图像分区中每张人体图像对应的第一特征、 第一类别 中心和第一质量分， 确 定每个图像分区对应的第二特 征、 第二类别中心和第二质量分； 依据每条人体序列中每个图像分区对应的第二特征、 第二类别 中心和第二质量分， 确 定每条人体序列对应的目标 特征； 依据每条 人体序列对应的目标 特征， 对多条 人体序列进行匹配。 2.根据权利要求1所述的方法， 其特征在于， 所述依据每个图像分区中每张人体图像对 应的第一特征、 第一类别中心和 第一质量分， 确定每个图像分区对应的第二特征、 第二类别 中心和第二质量分， 包括： 将每个图像分区中人体图像对应数量最多的第 一类别中心， 作为每个图像分区对应的 第二类别中心； 将每个图像分区对应的第二类别中心对应的多张人体图像中第一质量分最高的人体 图像对应的第一特 征， 作为每 个图像分区对应的第二特 征； 将每个图像分区对应的第 二特征对应的第 一质量分， 作为每个图像分区对应的第 二质 量分。 3.根据权利要求1所述的方法， 其特征在于， 所述依据每条人体序列中每个图像分区对 应的第二特 征、 第二类别中心和第二质量分， 确定每条 人体序列对应的目标 特征， 包括： 在每条人体序列中： 将对应相同第二类别中心的图像分区划分为同一个 类别， 得到多个 类别； 对每个类别中的图像分区对应的第 二特征进行加权求平均运算， 得到每个类别对应的 目标特征， 其中， 所述加权求平均运算中每个图像分区的权值由每个图像分区的第二质量 分决定。 4.根据权利要求1所述的方法， 其特征在于， 所述依据每条人体序列对应的目标特征， 对多条人体序列进行匹配， 包括： 计算两条人体序列中相同类别对应的目标特征之间的相似度， 其中， 每条人体序列包 括多个类别； 将对应相似度大于预设阈值的两条 人体序列确定为同一目标的人体序列。 5.根据权利要求1所述的方法， 其特 征在于， 包括： 获取训练数据集， 其中， 所述训练数据集， 包括： 多个目标， 每个目标下有该目标的多张 人体图像， 每个目标对应如下第三类别中心： 人体正面中心、 人体侧面中心、 人体背面中心 和人体融合中心， 每个目标的每张人体图像对应的第三类别中心为人体正面中心或人体侧权　利　要　求　书 1/2 页 2 CN 115187912 A 2面中心或人体背面中心； 基于余弦相似度和减性间隔项构建第 一相似度公式， 并基于所述第 一相似度公式构建 第一损失函数； 基于所述余弦相似度和加性间隔项构建第 二相似度公式， 并基于所述第 二相似度公式 构建第二损失函数； 基于所述训练数据集， 利用所述第 一损失函数和所述第 二损失函数对所述人体特征提 取模型进行第一次训练。 6.根据权利要求1所述的方法， 其特 征在于， 包括： 构建空间质量回归器和阈值质量回归器； 基于所述空间质量回归器和所述阈值质量回归器， 构建所述质量分计算模型。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述空间质量 回归器和所述阈值 质量回归器， 构建所述质量分计算模型之后， 所述方法还 包括： 基于所述质量分计算模型的输出更新第 一相似度公式和第 二相似度公式， 以更新第 一 损失函数和第二损失函数； 基于训练数据集， 利用更新后的第 一损失函数和第 二损失函数对所述人体特征提取模 型进行第二次训练； 并在对所述人体特征提取模型进行第 二次训练的同时， 完成所述质量分计算模型的训 练。 8.一种视频流中的人体匹配装置， 其特 征在于， 包括： 获取模块， 被配置为获取多条视频流， 并依次使用人体检测算法和人体跟踪算法处理 多条视频流， 得到多条 人体序列， 其中， 每条 人体序列包括多张人体图像； 划分模块， 被配置为将每条人体序列划分为预设数量的图像分区， 其中， 每个图像分区 包括多张人体图像； 提取模块， 被 配置为利用人体特 征提取模型提取每张人体图像对应的第一特 征； 第一确定模块， 被配置为基于每张人体图像对应的第一特征， 利用分类模型确定每张 人体图像对应的第一类别中心； 计算模块， 被配置为基于每张人体图像对应的第一类别 中心， 利用质量分计算模型计 算每张人体图像对应的第一质量分； 第二确定模块， 被配置为依据每个图像分区中每张人体图像对应的第一特征、 第一类 别中心和第一质量分， 确定每 个图像分区对应的第二特 征、 第二类别中心和第二质量分； 第三确定模块， 被配置为依据每条人体序列中每个图像分区对应的第二特征、 第二类 别中心和第二质量分， 确定每条 人体序列对应的目标 特征； 匹配模块， 被 配置为依据每条 人体序列对应的目标 特征， 对多条 人体序列进行匹配。 9.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并且可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115187912 A 3