(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211148927.0 (22)申请日 2022.09.21 (65)同一申请的已公布的文献号 申请公布号 CN 115240120 A (43)申请公布日 2022.10.25 (73)专利权人 中山大学深圳研究院 地址 518000 广东省深圳市南 山区科技园 南区粤海街道粤兴四道1号中山大学 深圳产学研大楼15层 专利权人 中山大学 (72)发明人 苏航　周凡　刘海亮　陈小燕　 汤武惊　张怡　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 任敏 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114818989 A,202 2.07.29 CN 113920581 A,202 2.01.11 CN 109919032 A,2019.0 6.21 CN 114783069 A,202 2.07.22 CN 112419326 A,2021.02.26 WO 2022154457 A1,202 2.07.21 CN 114332288 A,2022.04.12 CN 114049581 A,202 2.02.15 袁首.基于深度学习的行为识别方法综述. 《微电子学与计算机》 .202 2,第39卷(第8 期), Tianqi Zhao.De ep Multimodal Learn ing: An Effective Method for Video Classificati on. 《 2019 IE EE Internati onal Conference o n Web Services (ICWS)》 .2019, (续) 审查员 周婷 (54)发明名称 一种基于对抗网络的行为识别方法及电子 设备 (57)摘要 本申请适用于设备管 理技术领域， 提供了一 种基于对抗网络的行为识别方法、 装置、 电子设 备及存储介质， 方法包括： 接收待识别的目标视 频数据； 从目标视频数据中提取多个关键视频 帧， 并将关键视频帧上传至云端服务器， 以通过 部署于云端服务器的行为指导网络生成第一行 为数据； 将目标视频数据导入预设的帧间动作提 取网络， 得到帧间动作特征数据； 将目标视频数 据导入上下文注意力网络， 确定目标视频数据中 目标对象的第二行为数据； 接收云端服务器反馈 的第一行为数据， 并根据动作特征信息、 第一行 为数据以及第二行为数据， 确定目标对象的行为类别。 采用上述方法能够在确保行为识别准确性 的同时， 能够减少本地 运算的运算量。 [转续页] 权利要求书3页 说明书20页 附图9页 CN 115240120 B 2022.12.13 CN 115240120 B (56)对比文件 穆高原.基 于深度学习的危险驾驶行为识别 研究. 《中国优秀硕士学位 论文全文数据库 (工 程科技Ⅱ辑)》 .2021,(第1期), Yuzhu Ji et al. .CASNet: A Cros s-Attention Siamese Netw ork for Video Salient Object Detecti on. 《IEEE Transacti ons on Neural Netw orks and Learning System s》 .2020,第32卷(第6期),2/2 页 2[接上页] CN 115240120 B1.一种基于对抗网络的行为识别方法， 其特 征在于， 包括： 接收待识别的目标视频 数据； 从所述目标视频数据中提取多个关键视频帧， 并将所述关键视频帧上传至云端服务 器， 以通过部署于云端服 务器的行为指导网络生成第一行为数据； 将所述目标视频数据导入预设的帧间动作提取网络， 得到帧间动作特征数据； 所述帧 间动作特 征数据用于确定所述目标视频 数据中相邻的视频图像帧之间的动作特 征信息； 将所述目标视频数据导入上下文注意力网络， 确定所述目标视频数据中目标对象的第 二行为数据； 所述上下文注意力网络用于提取所述目标视频数据中所述目标对象与 环境对 象之间的相互位置关系； 接收所述云端服务器反馈的所述第一行为数据， 并根据所述动作特征信息、 所述第一 行为数据以及所述第二行为数据， 确定所述目标对象的行为类别； 所述第一行为数据包 含多个行为标签以及至少一个伪标签； 所述接收所述云端服务器反馈的所述第一行为数据， 并根据所述动作特征信息、 所述 第一行为数据以及所述第二行为数据， 确定所述目标对象的行为类别， 包括： 根据所述第一行为数据中的多个所述行为标签以及所述伪标签， 构建行为 监督矩阵； 根据基于第 二行为数据构建的行为识别矩阵以及所述行为监督矩阵， 确定所述目标视 频数据对应的第一自相关系数； 若所述第一自相关系数小于或等于预设的相关阈值， 则从第 二行为数据中移除与 所述 伪标签对应的无效数据， 以及为所述第二行为数据中与所述行为标签对应的关联行为数据 进行数据加权， 得到监 督行为数据； 根据所述 监督行为数据以及所述动作特 征信息， 确定所述行为类别。 2.根据权利要求1所述的行为识别方法， 其特征在于， 在所述若所述第 一自相关系数小 于或等于预设的相关阈值， 则从第二行为数据中移除与所述伪标签对应的无效数据， 以及 为所述第二行为数据中与所述行为标签对应的关联行为数据进行数据加权， 得到监督行为 数据之后， 还 包括： 根据所述第一行为数据以及所述第二行为数据， 构建上下文注意网络对应的偏差矩 阵； 基于所述偏差矩阵对所述上下文注意网络 内的学习参量进行参量校正， 得到待验证网 络； 基于所述待验证网络 输出所述目标视频 数据的第三行为数据； 若所述第三行为数据与所述第一行为数据之间的第二自相关系数小于或等于所述相 关阈值， 则将第三行为数据识别为所述第一行为数据， 并返回执行所述根据所述第一行为 数据以及所述第二行为数据， 构建上 下文注意网络对应的偏差矩阵的操作； 若所述第二自相关系数大于所述相关阈值， 则将所述待验证网络替换所述上下文注意 网络。 3.根据权利要求1所述的行为识别方法， 其特征在于， 所述从所述目标视频数据中提取 多个关键 视频帧， 并将所述关键 视频帧上传至云端服 务器， 包括： 根据预设的采集帧率， 从所述目标视频 数据中获取多个候选 视频帧； 计算相邻的任意两个候选 视频帧之间的帧相似度；权　利　要　求　书 1/3 页 2 CN 115240120 B 3