(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211545815.9 (22)申请日 2022.12.05 (71)申请人 深圳佑驾创新科技有限公司 地址 518051 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园1栋401 (72)发明人 杨超　刘国清　杨广　王启程　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江嘉玲 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G01S 13/86(2006.01) (54)发明名称 一种提取伪图像特征的图像和毫米波雷达 目标的匹配方法 (57)摘要 本申请涉及一种提取伪图像特征的图像和 毫米波雷达目标的匹配方法， 其包括基于时间同 步下的图像和该时间下的毫米波雷达目标， 将毫 米波雷达目标投影到图像上； 标注图像的目标区 域， 将目标区域与毫米波雷达目标一一对应， 获 得匹配关系， 并根据图像目标区域和毫米波雷达 目标的信息， 构建伪图像； 根据匹配关系监督训 练得到第一特征提取模型， 提取伪图像的图像特 征， 将图像特征进行融合； 提取目标点特征和雷 达点特征， 采用第二特征提取模 型进行特征再加 工， 并结合匹配关系监督训练第二特征提取模 型， 获得目标特征提取模型后输出待匹配特征； 采用匹配模 型对待匹配特征进行最优匹配， 得到 匹配矩阵后解析。 本申请具有提高匹配准确率的 效果。 权利要求书3页 说明书10页 附图5页 CN 115546519 A 2022.12.30 CN 115546519 A 1.一种提取伪图像特征的图像和毫米波雷达目标的匹配方法， 其特征在于， 包括以下 步骤， 基于时间 同步下的图像和该时间下的毫米波雷达目标， 将所述毫米波雷达目标投影到 所述图像上， 获得 所述毫米波雷达目标在所述图像上的雷达点 坐标； 标注所述图像的目标区域， 将属于真实世界的同一个目标物体的所述图像的目标区域 与所述毫米波雷达目标一一对应， 获得匹配关系， 并根据所述图像的目标区域和所述毫米 波雷达目标的信息， 构建伪图像； 根据所述匹配关系监督训练得到第一特征提取模型， 基于所述第一特征提取模型， 提 取所述伪图像的图像特 征， 将所述图像特 征进行融合， 得到全局特 征； 提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷 达点特征； 基于所述目标点特征和所述雷达点特征， 采用第二特征提取模型进行特征再加工， 并 结合所述匹配关系监督训练所述第二特征提取模型， 获得目标特征提取模 型后输出待匹配 特征； 采用匹配模型对所述待匹配特 征进行最优匹配， 得到匹配矩阵； 基于所述匹配矩阵， 解析 出所述图像和所述毫米波雷达目标的匹配结果。 2.根据权利要求1所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法， 其特 征在于， 还 包括以下步骤， 所述待匹配特征包括图像目标点特征和雷达点特征， 对所述图像目标点特征和所述雷 达点特征进行内积计算， 得到得分矩阵； 采用匹配模型， 将所述得分矩阵经 过优化匹配层进行最优匹配， 得到目标扩充矩阵； 根据所述目标扩充矩阵得到匹配矩阵， 初始化回归参数， 将所述回归参数放入优化匹 配层中进行迭代， 并通过监 督训练更新回归参数。 3.根据权利要求2所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法， 其特 征在于， 所述采用匹配模型， 将所述得分矩阵经过优化匹配层进 行最优匹配， 得到目标扩充 矩阵的步骤 包括， 初始化最优匹配后的每行之和及每列之和的目标常数； 对所述得分矩阵的最后 一行和最后一列分别增加一行和一列， 并在增加的一行和一列 中以回归参数进行填充， 得到第一扩充矩阵； 开始第一次迭代， 计算所述第一扩充矩阵的每行之和， 对应得到第一常数； 对于第一扩充矩阵的每一行除以第一常数， 并乘以目标常数， 得到第二扩充矩阵； 计算所述第二扩充矩阵的每列之和， 对应得到第二常数； 对于第二扩充矩阵的每一列除以第 二常数， 并乘以目标常数， 得到第 三扩充矩阵， 结束 第一次迭代； 按照第一次迭代的方式， 继续迭代第 三扩充矩阵的每行和每列， 直到达到预设次数， 得 到目标扩充矩阵。 4.根据权利要求3所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法， 其特 征在于， 还 包括以下步骤， 求解所述匹配矩阵的每一列的最大分数值所在的行数i， 并判断所述最大分数值是否权　利　要　求　书 1/3 页 2 CN 115546519 A 2大于预设阈值； 若所述匹配矩阵的最大分数值大于预设阈值 时， 则位于当前列 数的所述图像目标和所 述行数i的所述毫米波雷达目标的第i个雷达点匹配； 若所述匹配矩阵的最大分数值小于预设阈值 时， 则该列 所对应的某个图像目标没有与 之匹配的雷达点。 5.根据权利要求1 ‑4任意一项所述的提取伪图像特征的图像和毫米波雷达目标的匹配 方法， 其特征在于， 所述根据所述目标区域和所述毫米波雷达目标的信息， 构建伪图像的步 骤包括， 选取任一时刻 下的RGB彩色图像， 并标注出所述RGB彩色图像内图像目标的目标中心位 置以及宽、 高和目标类别， 并记录下 此时的相机参数； 选取相同时刻下的毫米波雷达输出的雷达目标信 息， 所述雷达目标信 息包含有雷达目 标Id、 目标点可能性概率、 雷达目标在雷达坐标系 下的第一位置和雷达目标在雷达坐标系 下的速度； 将雷达目标的所述第一位置通过所述相机参数， 利用坐标系转换， 获得所述雷达目标 在图像上的第二 位置； 创建一个与所述RGB彩色图像的大小一样的7通道的第一矩阵， 将所述雷达目标的雷达 目标Id、 目标点可能性概率、 雷达目标在雷达坐标系下的第一位置、 雷达目标在雷达坐标系 下的速度和雷达目标热图的特征值填充至所述第一矩阵位于所述雷达目标在图像上的第 二位置处的7个通道上； 创建一个与所述RGB彩色图像的大小一样的4通道的第二矩阵， 将图像目标的宽、 高、 目 标类别和图像目标热图的特征值填充至所述第二矩阵位于所述图像目标的中心 位置处的4 个通道上； 将所述RGB彩色图像的3通道矩阵、 所述第一矩阵的7通道矩阵以及所述第二矩阵的4通 道矩阵进行拼接， 形成一个14 通道的伪图像。 6.根据权利要求1 ‑4任意一项所述的提取伪图像特征的图像和毫米波雷达目标的匹配 方法， 其特 征在于， 所述第一特 征提取模型为ResNet5 0/34/18或VG G16/19中的任意 一种。 7.根据权利要求1 ‑4任意一项所述的提取伪图像特征的图像和毫米波雷达目标的匹配 方法， 其特 征在于， 所述第二特 征提取模型为SuperGlue模型。 8.根据权利要求1 ‑4任意一项所述的提取伪图像特征的图像和毫米波雷达目标的匹配 方法， 其特 征在于， 所述匹配模型为si nkhorn模型。 9.一种提取伪图像特 征的图像和毫米波雷达目标的匹配装置， 其特 征在于， 包括， 映射模块， 用于基于时间同步下的图像和该时间下的毫米波雷达目标， 将所述毫米波 雷达目标投影到所述图像上， 获得 所述毫米波雷达目标在所述图像上的雷达点 坐标； 伪图像模块， 用于标注所述图像的目标区域， 将属于真实世界的同一个目标物体的所 述图像的目标区域与所述毫米波雷达目标一一对应， 获得匹配关系， 并根据所述图像的目 标区域和所述毫米波雷达目标的信息， 构建伪图像； 第一特征提取模块， 用于根据所述匹配关系监督训练得到第一特征提取模型， 基于所 述第一特征提取模型， 提取所述伪图像的图像特征， 将所述图像特征进 行融合， 得到全局特 征；权　利　要　求　书 2/3 页 3 CN 115546519 A 3