(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150567.8 (22)申请日 2022.09.21 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 张芷瑜　程锦儒　薛睿　王翔远　 杨文　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向高空坠物的动态视觉监测方法及 装置 (57)摘要 本发明公开了一种面向高空坠物的动态视 觉监测方法及装置， 主要由高空坠物检测器和轨 迹预测器两部分组成， 涵盖了基于事件相机的高 空坠物事件检测、 高空坠物轨迹预测两个功能， 能够实现在一定复杂环境下对于坠物目标的精 确识别与轨迹追踪。 由于事件相机本身高动态范 围， 低延时等特点， 相比于基于传统光学相机的 监测方法， 本发 明项目可适用于更加复杂的现实 环境并带来更高的监测能力。 项目成果可为当前 高空坠物的监测监管问题提供全新解决方案， 并 为社会带来较大的社会效益与经济效益， 有着重 要的现实意 义。 权利要求书2页 说明书8页 附图4页 CN 115512263 A 2022.12.23 CN 115512263 A 1.一种面向高空坠物的动态视 觉监测方法， 其特 征在于， 包括： 预先构建目标检测网络和轨 迹预测网络； 分别对目标检测网络和轨迹预测网络进行训练， 得到训练好的目标检测网络和轨迹预 测网络； 利用事件相机采集待监测场景下的事件点数据， 并进行预处理和建帧操作， 构成事件 建帧图像； 将待监测场景下的事件建帧图像输入训练好的目标检测网络， 得到检测结果， 检测结 果包括目标类别和目标的位置信息， 将 检测结果中目标的位置信息和当前的时间构成多 元 组存入检测结果缓冲区， 采用的事 件点数据存 入事件数据缓冲区； 当检测结果缓冲区存储的数据达到4帧时， 对数据缓冲区中对应时间段的事件点数据 进行建帧构成视觉输入信息， 对检测结果缓冲区中4帧数据对应的多元组计算最小外接矩 形， 并根据检测结果中的位置信息和最小外 接矩形的尺寸信息构成位置 输入信息； 将视觉输入信 息和位置输入信 息输入训练好的轨迹预测网络， 得到检测目标的轨迹预 测结果。 2.如权利要求1所述的面向高空坠物的动态视觉监测方法， 其特征在于， 目标检测网络 采用YOLOV7算法的网络结构。 3.如权利要求1所述的面向高空坠物的动态视觉监测方法， 其特征在于， 轨迹预测网络 包括DNN模块、 CNN模块和全连接层， 第一个DNN模块用于对位置输入信息进 行特征提取得到 空间位置信息， CNN模块用于对视觉输入信息进 行特征提取得到图像语义信息， 提取得到的 图像语义信息进行重塑后与空间位置信息进行连接， 然后输入第二个DNN模块进行特征融 合， 融合后的特 征输入全连接层， 最终得到 轨迹预测结果。 4.如权利要求1所述的面向高空坠物的动态视觉监测方法， 其特征在于， 对目标检测网 络进行训练时， 采用的训练数据为利用事件相机采集的不同高空坠物场景下的事件点数据 后， 进行预处理和建帧后的图像数据。 5.如权利要求1所述的面向高空坠物的动态视觉监测方法， 其特征在于， 利用事件相机 采集待监测场景 下的事件点数据， 并进行 预处理和建帧操作， 构成事 件建帧图像， 包括： 利用事件相机采集待监测场景 下的事件点数据； 对采集的事 件点数据进行空间配准和时间戳配准； 给定归一化时间戳， 将事件流分为N段， 选择该时间戳附近1/N时间长度的事件点数据 进行累加， 得到H ×W×2的数据形式， 其中H、 W、 N分别代表图像的高和宽以及分段数， 2表示 正负极， 该数据用于反 映每个像素点上光强变化程度信息和场景中运动物体的边缘信息； 给定归一化时间戳， 在每个像素上保留该像素最后一个事件的时间戳， 同样得到H ×W×2的 数据， 该数据为事 件建帧图像， 用于获得物体的运动信息 。 6.如权利要求1所述的面向高空坠物的动态视觉监测方法， 其特征在于， 每一个检测目 标具有对应的检测结果 缓冲区和数据缓冲区， 检测结果缓冲区中的每一个检测结果对应一 帧数据； 对检测结果缓冲区中4帧数据对应的多 元组计算最小外接矩形， 根据检测结果中的 位置信息和最小外 接矩形的尺寸信息构成位置 输入信息， 包括； 获取检测结果缓冲区中连续 4个检测结果的目标位置信息的中点 坐标； 计算目标的最小外 接矩形， 获取最小外 接矩形的高度和高宽；权　利　要　求　书 1/2 页 2 CN 115512263 A 2将目标位置信息的中点坐标、 最小外接矩形的高度、 宽度以及对应的时间构造成多元 组(x,y,h,w,t)， 作为 位置输入信息 。 7.如权利要求1所述的面向高空坠物的动态视觉监测方法， 其特征在于， 将视觉输入信 息和位置输入信息输入训练好的轨迹预测网络进行轨迹预测时， 每一次输入的是4帧检测 结果构造的多元组和对应建帧图像数据， 当一次轨迹预测完毕后， 从检测结果缓冲区删除 时间戳最早的多元组， 并从数据缓冲区除该多元组时间戳之前的事件数据； 上述步骤循环 进行， 最终得到检测物体下落的轨 迹。 8.一种面向高空坠物的动态视 觉监测装置， 其特 征在于， 包括： 网络构建模块， 用于预 先构建目标检测网络和轨 迹预测网络； 网络训练模块， 用于分别对目标检测网络和轨迹预测网络进行训练， 得到训练好的目 标检测网络和轨 迹预测网络； 采集和预处理模块， 用于利用事件相机采集待监测场景下的事件点数据， 并进行预处 理和建帧操作， 构成事 件建帧图像； 目标检测模块， 用于将待监测场景下的事件建帧图像输入训练好的目标检测网络， 得 到检测结果， 检测结果包括 目标类别和目标 的位置信息， 将检测结果中目标 的位置信息和 当前的时间构成多元组存 入检测结果缓冲区， 采用的事 件点数据存 入事件数据缓冲区； 数据处理模块， 用于当检测结果缓冲区存储的数据达到4帧时， 对数据缓冲区中对应时 间段的事件点数据进行建帧构成视觉输入信息， 对检测结果缓冲区中4帧数据对应的多元 组计算最小外接矩形， 并根据检测结果中的位置信息和最小外接矩形的尺寸信息构成位置 输入信息； 轨迹预测模块， 用于将视觉输入信息和位置输入信息输入训练好的轨迹预测网络， 得 到检测目标的轨 迹预测结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被执行时实 现如权利要求1至7中任一项权利要求所述的方法。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7中任一项权利要 求所述的方法。权　利　要　求　书 2/2 页 3 CN 115512263 A 3