(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211023758.8 (22)申请日 2022.08.25 (65)同一申请的已公布的文献号 申请公布号 CN 115100556 A (43)申请公布日 2022.09.23 (73)专利权人 北京亮亮视野科技有限公司 地址 102600 北京市大兴区北京经济技 术 开发区荣华中路19号院1号楼B座 19层 1905室 (72)发明人 刘天一　吴斐　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 杨叁 (51)Int.Cl. G06V 20/20(2022.01)G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06T 19/00(2011.01) H04N 5/247(2006.01) H04N 5/33(2006.01) 审查员 林炜威 (54)发明名称 基于图像 分割与融合的增强现实的方法、 装 置及电子设备 (57)摘要 本申请涉及一种基于图像分割与融合的增 强现实方法、 装置及电子设备， 在AR眼镜上设置 有微光夜视摄像头和红外摄像头， 并通过物理方 式校准光轴， 确保微光夜视摄像头和红外摄像头 的摄像端瞄准同一位置， 该方法包括： 获取微光 夜视摄像头输出的微光夜视仪图像和红外摄像 头输出的红外热成像图像； 根据预设的目标检测 方法检测所述红外热成像图像中的目标图像， 并 判断是否检测到目标图像； 若是， 并根据预设的 图像分割算法将检测到的目标图像从红外热成 像图像中分割； 基于预设的叠加规则， 将分割出 的目标图像叠加到微光夜视仪图像中形成显示 图像。 本申请便 于综合感知目标和环境信息 。 权利要求书2页 说明书6页 附图2页 CN 115100556 B 2022.11.22 CN 115100556 B 1.一种基于图像分割与融合的增 强现实的方法， 该方法应用于AR眼镜， 在AR眼镜上设 置有微光夜视摄像头和红外摄像头， 并通过物理方式校准光轴， 确保微光夜视摄像头和红 外摄像头的摄 像端瞄准同一 位置， 其特 征在于： 该 方法包括： 获取微光夜视摄 像头输出的微 光夜视仪图像和红外摄 像头输出的红外热成像图像； 根据预设的目标检测方法检测所述红外热成像图像中的目标图像， 并判断是否检测到 目标图像； 若是， 并根据预设的图像分割算法将检测到的目标图像从红外热成像图像中分割； 根据预设的确定规则， 在红外热成像图像中确定第一基点， 在微光夜视仪 图像中确定 第二基点； 基于预设的直角坐标系建立规则以第 一基点为原点建第 一平面直角坐标系， 以第 二基 点为原点建第二平面 直角坐标系； 确定目标图像在第一平面 直角坐标系中的坐标； 获取红外热成像图像的垂直方向的像素数和水平方向的像素数和微光夜视仪图像的 垂直方向的像素 数和水平方向的像素 数； 基于预设的调整方式， 根据红外热成像图像的垂直方向的像素数和水平方向的像素数 和微光夜视仪图像的垂 直方向的像素数和水平方向的像素数调整目标图像， 形成待融合目 标图像； 基于预设的计算方式， 根据红外热成像图像的垂直方向的像素数和水平方向的像素数 和微光夜视仪图像的垂直方向的像素数和水平方向的像素数以及目标图像在第一平面直 角坐标系中的坐标， 确定待融合目标图像在第二 直角坐标系中的坐标； 根据待融合目标图像在第二直角坐标系 中的坐标将目标图像叠加到微光夜视仪图像 中， 形成显示图像。 2.根据权利要求1所述的基于图像分割与融合的增强现实的方法， 其特征在于： 所述根 据预设的目标检测方法检测所述红外热成像图像中的目标图像， 并判断是否检测到目标图 像的方法， 具体包括： 获取目标图像素材， 根据预设的转化算法将所述目标图像素材转化为第一特征值， 并 存储； 根据YOLO或Faster  R‑CNN对目标图像进行检测； 根据预设的转 化算法， 将检测到的目标图像转 化为第二特 征值； 将第一特征值与第 二特征值进行对比， 当所述第 一特征值和第 二特征值相似度达到 阈 值时， 则判断检测到目标图像。 3.根据权利要求2所述的基于图像分割与融合的增强现实的方法， 其特征在于： 根据 预 设的目标检测方法检测所述红外热成像图像中的目标图像并判断是否检测到目标图像的 方法之后， 该方法还包括： 若否， 根据预设的目标检测方法检测 红外热成像图像中的目标图像， 并判断是否检测 到目标图像。 4.根据权利要求3所述的基于图像分割与融合的增强现实的方法， 其特征在于： 预设的 图像分割算 法为Trimap‑based、 Adobe  Deep Image Matting和Background  Matting中的任 意一种。权　利　要　求　书 1/2 页 2 CN 115100556 B 25.根据权利要求1所述的基于图像分割与融合的增强现实的方法， 其特征在于： 根据待 融合目标图像在第二直角坐标系中的坐标将目标图像叠加到微光 夜视仪图像中， 形成显示 图像的方法 之后， 该方法还包括： 获取人工输入的待融合目标图像的坐标； 根据人工输入的待融合目标图像的坐标调整待融合目标图像在微光夜视仪图像中的 位置， 形成最终图像。 6.根据权利要求1所述的基于图像分割与融合的增强现实的方法， 其特征在于： 所述预 设的计算方式为： x1/w1＝x2/w2， y1/h1＝y2/h2； 其中， x1为目标图像在第一直角坐标系中的横 坐标， w1为微光夜视仪图像的水平方向的像素数； x2为目标图像在第二直角坐标系中的横坐 标， w2为红外热成像 图像的水平方向的像素数； y1为目标图像在第一直角坐标系中的纵坐 标， h1为微光夜视仪图像的垂直方向的像素数， y2目标图像在第二直角坐标系中的纵坐标， h2红外热成像图像的垂直方向的像素 数。 7.一种基于图像分割与融合的增强现实的装置， 其特 征在于： 包括： 获取模块(201)， 用于获取微光夜视摄像头输出的微光夜视仪图像和红外摄像头输出 的红外热成像图像； 目标检测模块(202)， 用于根据预设的目标检测方法检测所述红外热成像图像中的目 标图像， 并判断是否检测到目标图像； 图像分割模块(203)， 用于若是， 并根据预设的图像分割算法将检测到的目标图像从红 外热成像图像中分割； 图像融合模块(204)， 用于： 根据预设的确定规则， 在红外热成像图像中确定第一基点， 在微光夜视仪 图像中确定 第二基点； 基于预设的直角坐标系建立规则以第 一基点为原点建第 一平面直角坐标系， 以第 二基 点为原点建第二平面 直角坐标系； 确定目标图像在第一平面 直角坐标系中的坐标； 获取红外热成像图像的垂直方向的像素数和水平方向的像素数和微光夜视仪图像的 垂直方向的像素 数和水平方向的像素 数； 基于预设的调整方式， 根据红外热成像图像的垂直方向的像素数和水平方向的像素数 和微光夜视仪图像的垂 直方向的像素数和水平方向的像素数调整目标图像， 形成待融合目 标图像； 基于预设的计算方式， 根据红外热成像图像的垂直方向的像素数和水平方向的像素数 和微光夜视仪图像的垂直方向的像素数和水平方向的像素数以及目标图像在第一平面直 角坐标系中的坐标， 确定待融合目标图像在第二 直角坐标系中的坐标； 根据待融合目标图像在第二直角坐标系 中的坐标将目标图像叠加到微光夜视仪图像 中， 形成显示图像。 8.一种电子设备， 其特征在于： 包括存储器和处理器， 所述存储器上存储有能够被处理 器加载并执 行如权利要求1至 6中任一种方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115100556 B 3