(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556212.2 (22)申请日 2022.05.19 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 王国华　刘福平　陈永亨　郭荣琛　 孔馨月　陈伟庭　张英昊　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 李鹏 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/136(2017.01) G06T 7/269(2017.01) G06T 7/73(2017.01) G06T 7/62(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于异常检测的实时老人跌倒检测方 法 (57)摘要 本发明公开一种基于异常检测的实时老人 跌倒检测方法， 检测前， 进行数据集人工构造与 半自动标注。 完成网络训练后， 拍摄红外图像， 将 红外图像转化为光流图。 将每张红外图与对应光 流图叠加， 共同输入到状态检测网络中检测老人 位置与状态， 并使用卡尔曼滤波实现跟踪。 其中， 目标检测网络预测老人可能的状态， 当老人发生 状态切换时， 表明发现了一个可疑跌倒动作， 触 发动作识别网络。 然后， 选取发生状态切换的视 频序列输入到动作识别网络进一步确认。 最后， 根据异常分数判断该次动作是否为跌倒事件， 若 是则发出警报， 否则排除虚警。 本发明设计了状 态识别网络和动作识别网络， 结合异常检测原理 和状态动作联合策略， 实现室内老人全天实时跌 倒检测。 权利要求书2页 说明书12页 附图4页 CN 114842397 A 2022.08.02 CN 114842397 A 1.一种基于异常检测的实时老人跌倒检测方法， 其特征在于针对跌倒检测场景数据集 缺失和数据本身 特殊性的特点， 提出一种人物旋转拍摄和半自动标注的方法来获得训练数 据集， 使用联合红外图和光流图检测老人位置和状态， 为 获得连续视频中动作片段， 使用人 物状态切换的方法定位时序动作， 基于异常检测原理， 结合红外和光流特征确认跌倒事件， 针对动作识别实时性差的问题， 提出一种状态识别网络和动作识别网络联合判别的方法， 具体包括： 步骤一， 利用人物旋转拍摄和半自动标注方法构造数据集训练模型； 步骤二， 联合红外图和光 流图检测人物位置和状态； 步骤三， 基于人物状态切换的方法定位时序动作； 步骤四， 动作识别网络预测跌倒异常 分数； 步骤五， 状态 识别网络和动作识别网络联合获得跌倒识别结果。 2.权利要求1所述一种基于异常检测的实时老人跌倒检测方法， 其特征在于， 步骤一所 述人物旋转拍摄是指首先选取室内环境作为拍摄地点， 人以各种姿势位于转盘处模拟真实 场景， 然后， 旋转转盘拍摄得到人不同方向的红外图像， 将红外摄像头安装在转盘中心的不 同方位， 以同样方法旋转转盘获得人不同背景 的红外图像， 重复操作构造大量人不同状态 的图像。 3.权利要求1所述一种基于异常检测的实时老人跌倒检测方法， 其特征在于， 步骤一所 述半自动标注方法是指将拍摄获得的红外 图像进行OTSU最大类间方差法(Maximization   of interclass  variance)阈值分割， 利用Opencv内置连通区域标记函数获得二值图像的 连通区域， 进一步获得连通区域的外接矩形， 通过筛选获得目标矩形框。 筛选策略为， 对于 不同人物状态的二值图， 设定不同的目标矩形 的长宽比范围和矩形面积范围， 对于每一个 矩形框， 若长宽比或矩形面积不在设定范围内则直接剔除， 而对于满足范围要求的矩形框， 计算其长宽比与设定长宽比范围的中值和矩形面积与设定矩形面积范围中值的距离， 将距 离转化为所占范围比例， 求出长宽比比例与面积比例的和作为异常得分， 选取得分最小的 框作为算法最终的矩形框。 最后， 由人工检查图片， 将有明显标注错误的矩形框做出调整， 获得最终数据集。 4.权利要求1所述一种基于异常检测的实时老人跌倒检测方法， 其特征在于， 步骤二所 述联合红外图和光流图检测人物位置和状态是指， 构造一个状态识别网络， 其检测过程是 对于连续两帧红外图像， 使用Flownet2计算其代表上一 帧运动趋势的光流图， 将当前帧红 外图和上一帧到当前帧的光流图按通道堆叠为<红外,光流>对作为输入， 然后Thermal ‑ Flow YOLOv5预测人物的位置和状态。 状态识别网络的训练策略为， 利用旋转构 造的数据作 为数据集， 单独训练YOLOv5， 使得网络学习红外特征， 能够预测红外图像中人物位置和状 态， 接着， 使用人物 正常活动的连续视频序列训练整个跌倒检测网络， 使 得YOLOv5同时学会 光流特征获得更准确的预测结果。 5.权利要求1所述一种基于异常检测的实时老人跌倒检测方法， 其特征在于， 步骤三所 述基于人物状态切换的方法定位时序动作是指， 本专利将跌倒动作的开始和结束看作是人 物单帧状态的切换过程， 即人的跌倒是人由 “站立”到“躺下”或“坐着”到“躺下”状态的切 换。 定位时， 保存状态识别网络的状态识别结果， 并维持一个 队列保存红外和光流图片序 列， 当状态变更至 “躺下”时， 将当前帧前后共8张红外和光流图作为动作片段输入到动作 识权　利　要　求　书 1/2 页 2 CN 114842397 A 2别网络。 6.权利要求1所述一种基于异常检测的实时老人跌倒检测方法， 其特征在于， 步骤四所 述动作识别网络预测跌倒异常分数是指剔除状态识别网络识别结果的人物周围环境， 将仅 含人物的16张红外光流图动作片段按通道叠在一起作为动作识别网络的输入， 首先使用1 ×1卷积核将光流和红外图像进行特征融合， 获得压缩的融合特征向量， 标准流 (Normalizing  flow)将融合特征向量映射到隐空间， 将预定义的分布与映射在隐空间的分 布求均方差获得异常分数。 由于训练过程均为正常活动， 故标准流学习到的为人 的正常动 作， 当跌倒发生时， 异常分数将很高， 可以通过设定一个阈值， 大于阈值的异常分数就认定 为跌倒事 件， 反之则为正常活动。 7.权利要求1所述一种基于异常检测的实时老人跌倒检测方法， 其特征在于， 步骤五所 述状态识别网络和动作识别网络联合获得跌倒识别结果是指， 为实现动作检测的实时性， 在仅通过单帧图像就能判断人必然正常活动的情况下， 使用状态识别网络实时检测跟踪 人， 在人具有跌倒动作可能的情况下联合动作 识别网络判别。 具体为， 状态识别网络全天实 时检测跟踪 人， 当网络检测到人物状态为 “站立”或“坐下”时， 为正常状态， 当 网络检测到人 “躺下”时， 此时激活动作 识别网络检测跌倒事件， 动作 识别网络将此时前后共8帧红外和光 流图作为输入， 进一步确认动作类型， 若异常分数低于阈值则为正常躺下事件， 反馈至状态 识别网络， 标注为正常状态， 直到状态识别网络识别到下一次异常， 若异常分数高于阈值则 认定为跌倒事 件， 发出警报。 状态 识别网络和动作识别网络共同工作实现 跌倒的实时检测。权　利　要　求　书 2/2 页 3 CN 114842397 A 3