(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211002712.8 (22)申请日 2022.08.22 (65)同一申请的已公布的文献号 申请公布号 CN 115083229 A (43)申请公布日 2022.09.20 (73)专利权人 珠海翔翼航空技 术有限公司 地址 519030 广东省珠海市 保税区32号 地 (72)发明人 曾宇　李德斌　郑福君　杨磊　 李剑华　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G09B 9/08(2006.01) G06V 40/20(2022.01)G06F 40/58(2020.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) 审查员 陈燕兰 (54)发明名称 基于AI视觉识别的飞行训练设备智能识别 与警示系统 (57)摘要 本发明属于飞行训练设备、 计算机视觉识别 技术领域， 具体涉及一种基于AI视觉识别的飞行 训练设备智能识别与警示系统， 旨在解决飞行训 练设备智能识别 与警示系统数据来源 单一、 不能 实现本地部署 的AI算法、 导致人体行为、 设备运 行状态识别精度差、 效率低的问题。 本系统包括： 视频采集设备， 配置为采集影像数据； 数据分类 单元， 配置为将影像数据分类； 异常行为识别单 元， 配置为判断人体的行为是否异常； 设备异常 感知单元， 配置为判断设备的运行是否异常； 场 景翻译与人机交互单元， 配置为基于场景翻译模 型， 实现机器对当前模拟舱内场景的基本状态描 述， 并采用语音的形式输出结果。 本发明提升了 人体行为、 设备运行状态 识别精度以及效率。 权利要求书4页 说明书13页 附图4页 CN 115083229 B 2022.11.08 CN 115083229 B 1.一种基于AI视觉识别的飞行训练设备智能识别与警示系统， 其特征在于， 该系统包 括： 视频采集设备、 远程服务器； 所述视频采集设备与所述远程服务器通信连接； 所述远程 服务器包括数据分类单元、 异常行为识别单元、 设备异常感知单元、 场景翻译与人机交互单 元； 所述视频采集设备， 配置为采集飞行训练设备各设定监测点的影像数据； 所述影像数 据包括二维影像数据、 三维影 像数据； 所述数据分类单元， 配置为将各设定监测点采集的影像数据按照目标对象不同进行分 类， 得到包 含人体的影 像数据和包 含设备的影 像数据； 所述异常行为识别单元， 配置为通过预构建的前景特征提取模型提取所述包含人体的 影像数据中人体对应的前景特征数据  集合； 并基于摘要算法对所述前景特征数据集合中 特征数据进 行处理得到S条比对摘要 数据， 构建比对摘要数据集； 通过预设的匹配方法将所 述比对摘要数据集与预构建的人体信息数据库进行匹配， 得到人体身份信息； S为 正整数； 基于所述包含人体的影像数据， 提取人体的多模态特征， 并通过行为识别模型获取人 体的行为识别结果； 所述多模态特征包括时空特征、 外观与运动特征、 运动轨迹特征、 深度 信息特征、 人体骨骼信息特 征； 基于人体身份信息及其对应的人体的行为识别结果， 与预构建的行为数据库进行匹 配， 判断人体的行为是否异常； 所述设备异常感知单元， 配置为基于所述包含设备的影像数据， 判断设备的运行是否 异常； 所述场景翻译与人机交互单元， 配置为基于预构建的场景翻译模型， 获取当前飞行训 练设备模拟舱内场景 的基本状态描述， 并采用语音的形式输出结果， 反馈给处在飞行训练 中的飞行员； 还配置为当存在异常的行为或设备运行异常时， 进行警报提 示； 其中， 所述人体信息数据库包含人体前景特征对应的多个标准摘要数据； 所述标准摘 要数据为基于包含人体的影像数据获取人体对应的前景特征， 并通过摘要算法处理后得到 的摘要数据； 所述行为数据库包 含预设的人体身份信息与预设的行为的映射关系； 所述前景特征提取模型基于卷积神经网络、 行分类 器构建； 所述行为识别模型基于特征提取模型、 分类器构建； 所述特征提取模型包括三维卷积 神经网络、 双流卷积神经网络、 深度卷积神经网络； 所述场景翻译模 型基于依次连接的多层 感知机、 基于注意力机制的长短期记 忆人工神经网络构建； 所述行为识别模型， 其训练方法为： 步骤A10， 获取训练样本数据， 构建训练集； 所述训练样本数据包括包含人体的影像数 据及影像数据中各 人体行为的识别结果的真值标签； 步骤A20， 获取训练样本数据中各人体行为对应的概率分布， 并选取概率分布最小的两 个人体行为进行合并， 合并后输入预构建的行为识别模型， 得到人体行为对应的预测识别 结果， 作为第一结果； 步骤A30， 基于所述第一结果， 结合影像数据中各人体行为的识别结果的真值标签， 计 算损失值， 更新所述行为识别模型的模型参数； 所述损失值， 其计算方法为：权　利　要　求　书 1/4 页 2 CN 115083229 B 2其中， 表示行为识别模型其在训练过程中的损失值， 、 表示人体行为对应的 预测识别结果、 影像数据中各人体行为的识别结果的真值标签， 表示行为识别 模型的输 入， 表示行为识别模型的权 重， 表示Mask 函数值； 步骤A40， 循环步骤A20 ‑A30， 直至达到设定的训练次数， 进而得到训练好的行为识别模 型； 所述场景翻译模型中的多层感知机其在训练过程中的损失函数， 其构建方法为： 其中， 表示场景翻译模型中的多层感知机其在训练过程中的损失函数值， 表示训练数据 集中描述语句的数量， 表示多层感知机输出的预测语义属性向量标签的维 度， 表示多层感知机的输入， 、 表示正则化参数， 、 分别表示多层感知机输 出的预测语义属性 向量标签、 真实的语义属性 向量标签， 、 分别表示多层感知机输 出的前景特征对应的预测语义属 性向量标签、 前景特征对应的真实的语义属 性向量标签， 、 分别表示多层感知机输出背景特征对应的预测语义属性向量标签、 背景特征对 应的真实的语义属性向量标签， 表示下标， 、 为预设的权重， 为多层感知机所有 的权重矩阵和偏置矩阵参数的集 合。 2.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统， 其特 征在于， 所述远程 服务器还包括管理单 元； 所述管理单元， 配置为查看飞行训练设备的状态、 控制是否接收边缘节点传输给远程 服务器的数据； 还配置为对飞行训练设备驾驶舱的摄像头和麦克风管理、 设置抽帧功能、 配 置AI技能、 控制业 务节点智能分析需要警示的事 件以及进行终端警示。 3.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统， 其特 征在于， 所述远程 服务器通过组播方式发送和接收数据， 具体为： 首先调用socket()函数创建一个Socket套接字， 然后定义一个sockaddr_in结构体， 并权　利　要　求　书 2/4 页 3 CN 115083229 B 3