(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211374764.8 (22)申请日 2022.11.04 (71)申请人 浙江莲荷科技有限公司 地址 310030 浙江省杭州市西湖区文二西 路820号3幢5 034室 (72)发明人 潘科辰　 (74)专利代理 机构 北京清源汇知识产权代理事 务所(特殊普通 合伙) 11644 专利代理师 冯德魁 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) (54)发明名称 行为类别识别方法、 装置、 电子设备以及计 算机存储介质 (57)摘要 本申请提供行为类别识别方法、 装置、 电子 设备以及计算机存储介质， 在该方法中， 先确定 待识别视频中的关注区域， 基于关注区域， 在待 识别视频中筛选视频帧， 并对选定视频帧中移动 对象的行为特征进行特征提取， 获得移动对象 的 行为特征， 由于在获得移动对象的行为特征时， 基于选定视频帧进行特征提取， 进而使得提取移 动对象的行为特征的效率更高。 在获得移动对象 的行为特征后， 将移动对象 的行为特征与各个标 准行为特征进行比较， 进而确定移动对象的行为 特征与各个标准行为特征之间的第一相似度， 之 后， 基于第一相似度与标准行为特征的标准行为 类型， 确定移动对象的目标行为类型， 使得确定 的移动对象的行为类型 更加准确。 权利要求书3页 说明书17页 附图4页 CN 115512279 A 2022.12.23 CN 115512279 A 1.一种行为类别识别方法， 其特 征在于， 包括： 对待识别视频进行区域检测， 确定所述待识别视频中的关注区域； 将所述待识别 视频中存在有在所述关注区域范围进行移动的移动对象的视频帧， 作为 选定视频帧； 基于所述移动对象， 对所述选 定视频帧进行 特征提取， 获得 所述移动对象的行为特 征； 确定所述移动对象的行为特 征与各个标准行为特 征之间的第一相似度； 基于所述第 一相似度与所述标准行为特征的标准行为类型， 确定所述移动对象的目标 行为类型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一相似度与所述标准行为 特征的标准行为类型， 确定所述移动对象的目标 行为类型， 包括： 基于所述第 一相似度， 确定各个标准行为特征中与所述移动对象的行为特征最相似的 候选标准行为特 征； 判断所述候选标准行为特征与所述移动对象的行为特征之间的第一相似度是否满足 设定的第一相似度阈值条件； 如果是， 则将所述 候选标准行为特 征的标准行为类型作为所述目标 行为类型。 3.根据权利要求1所述的方法， 其特征在于， 所述待识别视频包括多个视频， 所述多个 视频来自于多个视频获取设备； 所述第一相似度包括各个视频中移动对象的行为特征与各 个标准行为特 征之间的第一相似度； 所述基于所述第一相似度与 所述标准行为特征的标准行为类型， 确定所述移动对象的 目标行为类型， 包括： 针对某个选定视频， 确定所述选定视频中移动对象的标准行为类型作为候选标准行为 类型； 确定所述选定视频中移动对象的行为特征与所述候选标准行为类型的标准行为特征 之间的第一 候选相似度； 将各个候选标准行为类型与其对应的第 一候选相似度进行加权运算， 确定所述移动对 象的目标行为类型， 所述各个候选标准行为类型为各个选定视频中移动对象的标准行为类 型。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述待识别 视频中存在有在所述关 注区域范围进行移动的移动对象的视频帧， 作为选 定视频帧， 包括： 基于所述待识别视频， 对所述关注区域进行背景建模， 确定所述待识别视频的背景； 基于所述背景， 在所述待识别视频中识别出 前景区域； 判断所述前景区域像素在相邻接的视频帧中是否存在像素偏差， 若是， 则选择存在像 素偏差的相关视频帧序列 作为所述选 定视频帧。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述移动对象， 对所述选定视频 帧进行特征提取， 获得 所述移动对象的行为特 征， 包括： 将所述选定视频帧作为经过训练的特征提取网络模型的输入数据， 获得所述移动对象 的行为特征； 所述经过训练的特征提取网络模型是用于根据视频帧获得视频帧中对象的行 为特征的模型。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 获得 各个标准行为特 征；权　利　要　求　书 1/3 页 2 CN 115512279 A 2所述获得各个标准行为特征， 包括： 将预先采集的包含各个标准行为的视频帧序列分 别作为所述特征提取网络模型 的输入数据， 从中提取各个标准行为的属 性特征， 作为所述 标准行为特 征。 7.根据权利要求5所述的方法， 其特征在于， 还包括： 基于所述选定视频帧， 在预设的标 准对象库中， 确定所述移动对象对应的标准对象。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述选定视频帧， 在预设的标准 对象库中， 确定所述移动对象对应的标准对象， 包括： 获得所述选定视频帧中移动对象的属性特 征； 确定所述移动对象的属性特征与所述标准对象库中各个标准对象的属性特征之间的 第二相似度； 基于所述第二相似度， 确定各个标准对象中与所述移动对象最相似的候选标准对象； 判断所述候选标准对象的属性特征与所述移动对象的属性特征之间的第二相似度是 否满足设定的第二相似度阈值条件； 如果是， 则将所述 候选标准对象作为所述移动对象对应的标准对象。 9.根据权利要求1所述的方法， 其特征在于， 所述确定所述移动对象的行为特征与 各个 标准行为特 征之间的第一相似度， 包括： 获得用于对所述移动对象的行为特 征进行向量表示的对象行为特 征向量； 获得用于对所述各个标准行为特 征进行向量表示的各个标准行为特 征向量； 分别对所述对象行为特征向量与 所述各个标准行为特征向量进行向量点积运算， 确定 所述移动对象的行为特 征与各个标准行为特 征之间的第一相似度。 10.根据权利要求2所述的方法， 其特征在于， 如果所述候选标准行为特征与所述移动 对象的行为特 征之间的第一相似度不满足设定的第一相似度阈值条件， 所述方法还 包括： 计算所述移动对象的行为类型被确认为各个标准行为类型的置信度； 将置信度最高的标准行为类型作为所述目标 行为类型。 11.根据权利要求10所述的方法， 其特征在于， 所述计算所述移动对象的行为类型被确 认为各个标准行为类型的置信度， 包括： 针对某个选定标准行为类型， 将所述选定标准行为类型的标准行为特征与 所述移动对 象的行为特征之间的第一相似度、 用于评价 获取所述待识别视频的视频获取设备的质量指 标进行相乘， 获得 所述移动对象的行为类型被确认为所述选 定标准行为类型的置信度。 12.根据权利要求11所述的方法， 其特征在于， 还包括： 获得用于评价获取所述待识别 视频的视频获取设备的质量指标； 所述获得用于 评价获取 所述待识别视频的视频获取设备的质量指标， 包括： 将所述待识别 视频的各个视频帧作为图像质量指标获得模型的输入数据， 获得各个视 频帧对应的图像质量指标； 所述图像质量指标获得模型是用于根据图像获得图像对应的图 像质量指标的模型； 根据所述各个视频帧对应的图像质量指标， 获得用于评价获取所述待识别视频的视频 获取设备的质量指标。 13.根据权利要求1所述的方法， 其特征在于， 还包括： 针对所述目标行为类型进行计数 处理， 获得所述目标 行为类型的计数 结果。权　利　要　求　书 2/3 页 3 CN 115512279 A 3