(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221079741 1.2 (22)申请日 2022.07.08 (71)申请人 杭州电子科技大 学 地址 311217 浙江省杭州市下沙高教园区 申请人 浙江正泰中自控制工程有限公司 (72)发明人 陈军松　徐瑞东　曹福国　许琮擎　 陈华杰　郭云飞　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 龙伟 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于局部搜索的运动小目标快速光流估计 方法及存 储介质 (57)摘要 本发明涉及深度学习领域， 尤其涉及一种基 于局部搜索 的运动小目标快速光流估计方法及 储存介质， 首先获取两帧相邻图像并通过特征提 取分别获取相应的特征图 、 和上下文信 息， 并对第一帧图像单独编码获取上下文信息； 然后为特征图 中每个特征向量在特征图 中匹配出对应的局部搜索区域， 并依次根据特征 图 中每个特征向量从对应的局部搜索区域中 匹配中相应的相似信息， 并将所有的相似信息集 合成匹配信息； 最后利用上下文信息和匹配信息 通过预设循环网络进行迭代光流估计。 通过将特 征搜索匹配由全局搜索改为在一个适当合理的 局部范围内进行搜索， 减少了搜索耗时和计算量， 一定程度避免了因下采样导致计算量增大的 问题， 同时在保证运动小目标光流估计的精度 下， 提升了光流估计的速度。 权利要求书3页 说明书12页 附图3页 CN 115170826 A 2022.10.11 CN 115170826 A 1.一种基于局部 搜索的运动小目标 快速光流估计方法， 其特 征 在于， 包括： 获取两帧相邻的图像， 对两帧图像进行特征提取， 获得分别与两帧图像相应的特征图 和 ， 并对第一帧图像单独编码获取 上下文信息； 为特征图 中每个特征向量在特 征图 中匹配出对应的局部 搜索区域； 依次根据特征图 中每个特征 向量从对应的局部搜索区域中匹配出相应的相似信息， 并将所有的相似信息集 合成匹配信息； 利用所述上下文信息和所述匹配信息， 通过预设的循环网络进行迭代光流估计， 并输 出光流估计结果。 2.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 对第一帧图像单独编码获取 上下文信息， 包括： 根据预设的上下文网络对第一帧图像进行多尺度特征提取分别获取局部特征和全局 特征； 对局部特 征和全局特 征进行融合以得到上 下文信息 。 3.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 为特 征图 中每个特征向量在特 征图 中匹配出对应的局部 搜索区域， 包括： 对特征图 进行划分以形成多个连续区域 ,其中 为正整数； 对任意一块区域 在特征图 中找到相同位置的映射区域 ； 对映射区域 进行扩充以得到扩充后的区域 ， 区域 即为特征图 中 区域内所有特 征向量在特 征图 中的局部 搜索区域。 4.根据权利要求3所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 对映射区域 进行扩充以得到扩充后的区域 ， 包括： 获取运动小目标的尺寸、 在两帧图像之间的位移量； 根据运动小目标的尺寸、 在两帧图像之间的位移量， 计算出扩充边长； 获取映射区域 在特征图 中的位置信息； 根据映射区域 在特征图 中的位置信息以及扩充边长， 得到扩充后的区域 。 5.根据权利要求4所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 根据映射区域 在特征图 中的位置信息以及扩充边长， 得到扩充后的区域 ， 包括： 根据映射区域 在特征图 的位置信息以及扩充边长， 获取扩充后的区域 在特征图权　利　要　求　书 1/3 页 2 CN 115170826 A 2的位置信息； 根据扩充后的区域 在特征图 的位置信息， 判断扩充后的区域 是否有超出特征图 的范围， 若 有超出部分， 则重新调整扩充后的区域 的位置信息 。 6.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 根据特征图 中每个特征向量从对应的局部搜索区域中匹配出相应的相似信息， 包 括： 根据特征图 中的特征向量 ， 获取其对应的局部搜索区域内所有特征向量,并形成 特征向量集 ； 从特征向量集 中匹配出与特征向量 相似度最高的k个特征向量， 并获取所匹配的k 个特征向量的位置信息和相似度； 将匹配出的k个特征向量的位置信息和相似度整合， 以形成特征图 中特征向量 的 相似信息 。 7.根据权利要求6所述的一种基于局部搜索的运动小目标快光流估计方法， 其特征在 于， 从特征向量集 中匹配出与特征向量 相似度最高的k个特征向量， 并获取所匹配的k 个特征向量的位置信息和相似度,包括： 对特征向量集 构建索引； 对特征向量 和特征向量集 进行k近邻搜索， 获取与特征向量 相似度最高的k个特 征向量的区域索引值和相似度； 将区域的索引值 转换为全图的索引值； 根据全图索引值， 从特 征图 中获取与特 征向量 匹配的k个特 征向量的位置信息 。 8.根据权利要求1所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 利用所述上下文信息和所述匹配信息， 通过预设的循环网络进行迭代光流估计， 包 括： 获取光流估计初始值； 根据光流估计初始值、 匹配信息和上 下文信息， 获取输入信息； 根据输入信息， 通过循环网络进行迭代得到光 流估计。 9.根据权利要求8所述的一种基于局部搜索的运动小目标快速光流估计方法， 其特征 在于， 通过循环网络进行迭代得到光 流估计， 包括： 获取上一次迭代的光 流估计； 根据上一次迭代的光流估计、 匹配信息和上下文信息， 获取当前迭代的输入 和历史隐 藏层状态 ；权　利　要　求　书 2/3 页 3 CN 115170826 A 3