(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211024886.4 (22)申请日 2022.08.25 (71)申请人 东南大学 地址 210096 江苏省南京市江宁区东 南大 学路2号 (72)发明人 李志斌　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06T 7/246(2017.01) G06T 5/50(2006.01) G06T 5/00(2006.01) G06T 7/194(2017.01) G06T 7/13(2017.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于像素级图像融合的多目标车辆轨迹提 取方法 (57)摘要 本发明提供了一种基于像素级图像融合的 多目标车辆轨迹提取方法， 包括如下步骤： S1、 获 取异源图像序列数据与道路环境信息； S2、 图像 预处理； S3、 双源图像融合； S4、 双源图像融合； S5、 轨迹后处理。 本发明提升了融合图像抗晕光 能力与目标清晰度， 提升乐融合图像中目标检测 效果， 加快了融合图像中多目标跟踪算法运行速 度， 能够自动提取完整高精度融合图像车辆轨 迹， 有利于增加交通数据获取场景， 提升交通数 据准确性。 权利要求书5页 说明书14页 附图4页 CN 115457080 A 2022.12.09 CN 115457080 A 1.一种基于像素级图像融合的多目标 车辆轨迹提取方法， 包括如下步骤： S1、 获取异源图像序列数据与道路环境信息； S2、 图像预处 理； S3、 双源图像融合； S4、 双源图像融合； S5、 轨迹后处理。 2.根据权利要求1所述的基于像素级图像融合的多目标车辆轨迹提取方法， 其特征在 于， 所述S1中， 图像源为可见光与红外图像， 在同一时间同一地点采集的相同场景图像数 据。 3.根据权利要求1所述的基于像素级图像融合的多目标车辆轨迹提取方法， 其特征在 于， 所述S2的改进FAST邻域像素 特征点匹配策略具体步骤如下： S201、 使用Shi ‑Tomasi算子寻找背景区域中的特 征角点； S202、 对于背景区域中的特 征角点pi， 首先使用下式判断pi是否处于密集角点簇中： minj||pi， pj||2≤DiSth (I) 其中||pi,pj||2为特征点pi与pj的欧式距离， Disth为判断角点密 集程度的距离阈值， Dth 为比例阈值； 若pi不处于密集角点簇中， 则将其直接计入候选特征点集Cd， 若pi处于密集角点簇中， 设角点簇中角点数量 为N0， 计算应保留的角点数量 N： 即密集角点簇中最少保留1个角点， 最多保留N ‑1个角点； 确定角点数量N后， 遍历角点簇中所有数量为N的角点组合， 选取间距最大的组合作为 需要保留的角点， 并计入候选特 征点集Cd， 完成特 征点粗筛选； S203、 寻找候选特征点集Cd中每个特征点的FAST4邻域描述子， 并根据曼哈顿距离相等 条件将描述子扩展至8邻域； S204、 计算8邻域描述子相似度特 征： 其中Dpq为两描述子归一 化距离， Ppq为描述子归一 化像素差： 其中x,y为描述子图像坐标， L,W 为图像长 宽， Prange为图像像素值区间； S205、 选取Ssm最高的前 K个特征点作为精筛 选后的匹配特 征点参与透视变换生成。 4.根据权利要求1所述的一种基于像素级图像融合的多目标车辆轨迹提取方法， 其特 征在于， 所述S3的双源图像 像素级融合具体步骤如下：权　利　要　求　书 1/5 页 2 CN 115457080 A 2S301、 采用K ‑Means算法聚类轨迹提取 区域内目标的尺寸信息， 获取带分割的图像块尺 寸； S302、 采用E ‑Net对源图像进行语义分割， 设计目标面积占比阈值以判断某一图像块属 于目标或是背景： N＝max{lmean， wmean}+α 其中lmean,wmean为K‑means算法求得的中心目标外接框长与宽， 均为整数， α 为使N满足网 络结构要求的常整数； patchn为编号为n的图像块， tar与bgd分别代表该图像被分类为目标 与背景， Tarth为目标面积占比阈值， 若超过该阈值， 则图像块为目标， 反之为背景， 分别为可 见光与红外图像块中目标 所占面积； S303、 将目标图像块与背景图像块分别代入目标网络组与背景网络组进行权重训练与 图像融合； S304、 设置背景网络组网络结构； S305、 还原图像块至源图像位置， 输出 具有抗晕光能力的融合图像。 5.根据权利要求4所述的一种基于像素级图像融合的多目标车辆轨迹提取方法， 其特 征在于， 所述S3 03中目标网络组具体结构如下： S3031、 采用U型网络进行伪融合图像生成， 设计7层网络， 使用步长为2的卷积层降低特 征图分辨率， 并设卷积核为4*4， Padding为1， 保证特征图及输入输出图像尺 寸一致， 并设计 激活函数为 Leaky‑Relu； S3032、 目标网络采用PatchGAN结构设计判别器网络， 使用三层步长为2的卷积层进行 下采样， 获取降维后的特征图， 并进 行尺寸为2的零值填充； 接下来使用步长为 1的卷积层精 确提取特征， 通过BatchNorm+LeakyReLU的处理归一化特征值； 最后， 再次填充特征图后， 用 卷积核数量 为1的卷积层合并特 征图维度， 并通过tanh 激活函数直接 输出n*n的得分矩阵； S3033、 目标网络生成器损失函数计算方式如下： 其中LSSIM为由结构相似性指标SSIM计算得到的结构损失， LL1为由L1范数计算得到的边 缘损失， δ1、 δ2为衡量目标网络中结构损失与边 缘损失重要性的权 重参数； LSSIM的计算方式如下： 其中， 为像素p点的S SIM损失， 可以表示 为： 其中 表示预期图像方差， 表示预期图像与伪融合图像协方差； LL1计算方式如下：权　利　要　求　书 2/5 页 3 CN 115457080 A 3