(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210896598.1 (22)申请日 2022.07.28 (71)申请人 闽南师范大学 地址 363000 福建省漳州市芗城区县前直 街36号 (72)发明人 张华林　胡强　林晨　陈颖频　 严嘉怡　李凯特　李一凡　乔嘉琪　 何耀驰　张月轩　杨博文　张夏杰　 蔡宇晴　陈振雕　陈育群　陈海英　 (74)专利代理 机构 厦门市精诚新创知识产权代 理有限公司 3 5218 专利代理师 赵薇 (51)Int.Cl. G06V 10/50(2022.01) G06V 10/56(2022.01)G06V 10/74(2022.01) (54)发明名称 一种目标跟踪方法、 终端设备及存 储介质 (57)摘要 本发明涉及一种目标跟踪 方法、 终端设备及 存储介质， 该方法中包括： 当接收到新一帧的图 片时， 提取特征并估计空间注意力掩码矩阵； 获 取当前帧样 本各通道响应， 并更新相关滤波器中 各通道的实际注意力权重， 计算 当前帧各样本的 相关滤波响应， 并提取其中响应最大的样本作为 当前帧的候选样本； 提取候选样本的特征， 并将 其与历史多模态目标模板池内各目标模板的特 征进行相似度计算， 当计算的最大相似度超 过相 似度阈值时， 判定该候选样本可靠， 将候选样本 对应的图片添加至历史多模态目标模板池内， 更 新当前帧训练样本、 滤波器、 模板池、 目标和背景 颜色直方图； 否则， 不更新。 本发明可以实现遮挡 场景下鲁棒跟踪的目的， 提升了目标跟踪的准确 性。 权利要求书4页 说明书16页 附图2页 CN 115272707 A 2022.11.01 CN 115272707 A 1.一种目标跟踪方法， 其特 征在于， 包括以下步骤： S1： 当接收到新一帧的图片时， 提取新一帧图片中各样本的特征， 并根据 前一帧样本对 应的目标颜色直方图和背景颜色直方图， 估计当前帧样本对应的空间注意力掩码矩阵； S2： 根据前一帧实际的相关滤波器获取当前帧样本各通道响应， 并更新相关滤波器中 各通道的实际注意力权重， 进而计算当前帧各样本的相关滤波响应， 并提取其中相关滤波 响应最大的样本作为当前帧的候选样本； S3： 提取候选样本的特征， 并将其与历史多模态目标模板池内各目标模板的特征进行 相似度计算， 当计算的最大相似度超过相似度阈值时， 判定该候选样本可靠， 基于该候选样 本进行目标跟踪， 将候选样本对应的图片添加至历史多模态目标模板池内， 更新当前帧训 练样本、 滤波器、 历史多模态目标模板池、 目标和背 景颜色直方图； 否则， 判定该候选样本不 可靠， 不对该帧进 行目标跟踪， 不更新当前帧训练样 本、 滤波器、 历史多模态目标模板池、 目 标和背景颜色直方图。 2.根据权利要求1所述的目标跟踪方法， 其特征在于： 空间注意力掩码矩阵M的计算公 式为： 其中， r和c分别表示行和列的序号； others表示其他； 表示像素x是目标 中像素点的概率； m表示样本的序号； 表示当前帧训练样本； x表示当前帧训练样本中像素 所在位置； p表示概率； K表示正比例系数； 表示目标空间移动的空间先验 概率； σ 表 示高斯窗的标准差； 表示x的L2范数的平方； 表示颜色似然概率， 由颜色直方图c＝{co,cb}反向投影到空间像素点获得， co表示目标颜色直方图， cb表示背景 颜色直方图； ψ[x]表示独热编码的向量； β 表 示颜色直方图的回归滤波器； 上标T表 示矩阵的 转置； α 表示 概率阈值。 3.根据权利要求2所述的目标跟踪方法， 其特征在于： 颜色直方图的回归滤波器β 的求 解方法为： 在目标 和背景区域 上对每个像素的颜色特 征进行线性回归， 设定其目标函数为： 对上式进行求 解， 可得： 其中， J表示目标函数， Nj表示颜色特征类别的总数， j表示颜 色特征类别的序号， βj表示 颜色直方图中第j种颜色对应的回归滤波器， 表示第j种颜色对应的目标颜色直方图， 权　利　要　求　书 1/4 页 2 CN 115272707 A 2表示第j种颜色对应的背景颜色直方图。 4.根据权利要求1所述的目标跟踪方法， 其特征在于： 相关滤波器中各通道的实际注意 力权重的更新过程包括： S201： 根据前一帧样本图像， 计算各通道的学习注意力权 重： 其中， 表示第d个通道的学习注意力权重， ζ表示归一化标量， Fd表示第d个通道的 特征， 表示Hc,d的反折信号， Hc,d表示空间约束滤波器的第d个通道 滤波器， *表示卷积 算 子； S202： 以前一帧样本图像的中心点为中心生成包含M个尺度因子的尺度池， 通过双线性 插值法将各尺度样本变为初始样本的大小； 根据前一帧实际的相关滤波器 获取各尺 度样本的响应， 利用基于响应图中次峰ρmax2与主峰ρmax1之间的比率计算各通道的检测注意 力权重： 其中， 表示第d个通道的检测注意力权 重， δ表示次主峰比率； S203： 根据各通道的学习注 意力权重 和检测注意力权重 计算各通道的理论 通道注意力权 重： 其中， 表示第d个通道的理论 通道注意力权 重； S204： 更新当前帧各通道的实际通道 注意力权 重： 其中， 表示当前帧第d个通道的实际通道注 意力权重， 表示前一帧第d个通道的 实际通道 注意力权 重 η表示学习率。 5.根据权利要求1所述的目标跟踪方法， 其特征在于： 历史多模态目标模板池中存储的 数据格式为： 将目标模板图片进行 灰度变换为矩阵形式后， 在将矩阵形式转换为列向量。 6.根据权利要求1所述的目标跟踪方法， 其特征在于： 历史多模态目标模板池的构建方 法为： 设定历史多模态目标模板池的大小为N； 针对第一帧， 将历史多模态目标模板池的N个 位置全部填充第一帧目标图片； 从第二帧开始， 当新一帧的候选样本可靠时， 使用新一帧的 候选样本替换历史多模态目标模板池第2到第N个模板中与候选样本的相似度最低的模板； 当新一帧的候选样本不可靠时， 该帧不更新历史多模态目标模板池。 7.根据权利要求1所述的目标跟踪方法， 其特征在于： 当前帧实际的相关滤波器的更新 公式为： 其中， 表示当前帧实际的相关滤波器， 表示前一帧实际的相关滤波器， 表示 当前帧理论的相关滤波器， η表示学习率。权　利　要　求　书 2/4 页 3 CN 115272707 A 3