(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210670639.5 (22)申请日 2022.06.15 (65)同一申请的已公布的文献号 申请公布号 CN 114758362 A (43)申请公布日 2022.07.15 (73)专利权人 山东省人工智能研究院 地址 250000 山东省济南市历下区科院路 19号 专利权人 山东大学　 烟台艾睿光电科技有限公司 　 苏州天瞳威视电子科技有限公司 (72)发明人 高赞　魏宏伟　宋健明　顾竟潇　 王水跟　徐国智　聂礼强　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 丁奎英 (51)Int.Cl. G06V 40/10(2022.01)G06V 20/52(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 112418134 A,2021.02.26 CN 110321801 A,2019.10.1 1 CN 112784728 A,2021.0 5.11 CN 113420697 A,2021.09.21 CN 111582126 A,2020.08.25 US 2007237364 A1,20 07.10.11 审查员 杨继爽 (54)发明名称 基于语义感知注意力和视觉屏蔽的换衣行 人重识别方法 (57)摘要 本发明提供一种基于语义感知注意力和视 觉屏蔽的换衣行人重识别方法、 系统、 电子设备 及存储介质， 属于计算机视觉技术领域， 根据人 体语义分割信息分别定位人体和服装区域。 通过 人体语义注 意力网络获得前景增强的特征表示， 以突出前景信息并为原始特征图重新赋权重。 通 过衣物视觉外观屏蔽网络获得原始特征和视觉 屏蔽特征表示。 本发明通过人体语义注意力网 络， 可以尽可能地减少背景信息的负面影响， 并 获得更多的辨别性特征。 通过衣物视觉外观屏蔽 网络， 将换衣 行人重识别模型集中在与衣服无关 的视觉语义信息上为行人提取更稳健的特征表 示。 本发明具备科学性、 系统性和鲁棒性的技术 效果。 权利要求书3页 说明书14页 附图2页 CN 114758362 B 2022.10.11 CN 114758362 B 1.一种基于语义感知注意力和视 觉屏蔽的换衣行 人重识别方法， 其特 征在于， 包括： 获取待处 理的行人图像； 利用预训练的语义分割 模型对所述待处理 的行人图像进行处理， 获取各个语义 区域对 应的语义分割图像； 将各个语义区域对应的语义分割图像输入预训练 的换衣行人重识别模型， 进行人体所 在的前景区域定位并获取前景信息； 其中， 所述换衣行人重识别模型利用行人图像数据集 和预获取的视觉屏蔽图进 行训练获得； 所述换衣行人重识别模型利用行人图像数据集和预 获取的视觉屏蔽图进 行训练获得的方法包括， 利用预训练的语义分割模型对行人图像数据 集的行人图像进行处理， 获取各个语义区域对应的语义分割图像； 对各个语义区域对应的 语义分割图像分别进 行人体所在的前景区域和衣服所在区域的定位， 并分别获取前景信息 和视觉屏蔽信息； 通过人体语义注意力网络， 根据所述前景信息获取前景增强的特征表示； 通过衣物视觉外观屏蔽网络， 根据预获取的视觉屏蔽图和各个语义区域对应的语义分割图 像获取原始特征和视觉屏蔽特征表示； 利用损失函数对所述前景增强的特征表示、 原始特 征和视觉屏蔽特 征表示进行训练约束； 获取训练好的换衣行 人重识别模型； 通过人体语义注意力网络， 根据所述前景信息获取前景增强的特征表示； 并根据所述 前景增强的特 征表示获取待检索图像； 将所述待检索图像与检索库中的各个行 人图像进行 逐一匹配并获取相似性； 按照相似性从高到低的顺序对所述检索库中各个行人图像进行排列， 并将相似性最高 的行人图像作为待处 理的行人图像对应的识别结果。 2.如权利要求1所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法， 其特 征在于， 所述视 觉屏蔽图的预获取 方法包括， 利用预训练的语义分割 模型对行人图像数据集的行人图像进行处理， 获取各个语义 区 域对应的语义分割图像； 对各个语义区域对应的语义分割图像进行衣服所在区域的定位并获取视 觉屏蔽信息； 利用所述视 觉屏蔽信息对已屏蔽的衣服区域进行重新 渲染， 获取视 觉屏蔽图。 3.如权利要求1所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法， 其特 征在于， 对各个语义区域对应的语义分割图像进行人体所在的前景区域的定位， 并获取前 景信息的方法， 包括， 将各个语义区域对应的语义分割图像进行二值化处理， 获得各个语义 区域对应的二值 化后的语义分割图像； 其中， 将所述语义分割图像中所有包含人体部件的部分置为1， 剩余 背景部分置为0； 将原始行人图像与 各个语义 区域对应的二值化后的语义分割图像做乘运算， 获取只保 留身体区域的图像矩阵； 将所述只保留身体区域的图像矩阵作为前 景信息。 4.如权利要求1中所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法， 其 特征在于， 通过人体语义注意力网络， 根据所述前景信息获取前景增强的特征表示的方法， 包括， 对所述前 景信息进行基础特 征提取， 获取 特征图； 通过加权特征向量对所述特征图的通道特征进行重新赋权重， 并通过全局池化操作，权　利　要　求　书 1/3 页 2 CN 114758362 B 2获取前景增强的特 征表示； 其中， 所述加权特 征向量通过以下公式获取： 其中，FA表示特征图； FGAP表示全局平均池化的操作， FC1和FC2分别表示两个全连接层的 权重矩阵。 5.如权利要求1中所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法， 其 特征在于， 所述损失函数通过以下公式实现： 其中，Lid为用于约束所述前景增强的特征表示的分类损失、 L2为用于衡量样本对之间 距离的度量损失； L3为用于约束所述原 始特征和视觉屏蔽特 征表示的语义损失。 6.如权利要求5中所述的基于语义感知注意力和视觉屏蔽的换衣行人重识别方法， 其 特征在于， 所述语义损失通过以下公式实现： 其中，b表示训练批次的大小， ||*||2代表L2范化， 和 表示衣物视觉外观屏蔽网络 的输出； 其中 来自行人图像数据集， 来自视觉屏蔽图。 7.一种基于语义感知注意力和视 觉屏蔽的换衣行 人重识别系统， 其特 征在于， 包括： 语义分割单元， 用于获取待处理的行人图像； 利用预训练的语义分割模型对所述待处 理的行人图像进行处 理， 获取各个语义区域对应的语义分割图像； 前景增强获取单元， 用于将各个语义 区域对应的语义分割图像输入预训练的换衣行人 重识别模 型， 进行人体所在的前景区域定位并获取前景信息； 其中， 所述换衣行人重识别模 型利用行人图像数据集和预获取 的视觉屏蔽 图进行训练获得； 通过人体语义注意力网络， 根据所述前景信息获取前景增强的特征表示； 并根据所述前景增强的特征表示获取待检索 图像； 所述换衣行人重识别模型利用行人图像数据集和预获取的视觉屏蔽图进行训练获得 的方法包括， 利用预训练的语义分割模型对行人图像数据集的行人图像进行处理， 获取各 个语义区域对应的语义分割图像； 对各个语义区域对应的语义分割图像分别进行人体所在 的前景区域和衣服所在区域的定位， 并分别获取前景信息和视觉屏蔽信息； 通过人体语义 注意力网络， 根据所述前景信息获取前景增强的特征表示； 通过衣物视觉外观屏蔽网络， 根 据预获取 的视觉屏蔽图和各个语义区域对应的语义分割图像获取原始特征和视觉屏蔽特 征表示； 利用损失函数对所述前景增强的特征表示、 原始特征和视觉屏蔽特征表示进行训 练约束； 获取训练好的换衣行 人重识别模型； 结果识别单元将所述待检索图像与检索库中的各个行人图像进行逐一匹配并获取相 似性； 按照相似性从高到低的顺序对所述检索库中各个行人图像进行排列， 并将相似性最 高的行人图像作为待处 理的行人图像对应的识别结果。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中，权　利　要　求　书 2/3 页 3 CN 114758362 B 3