(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211504037.9 (22)申请日 2022.11.29 (71)申请人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 李圣权　黄乾玮　王国梁　毛云青　 韩致远　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 吴琰 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种多时态目标检测模 型及其构建方法、 装 置及应用 (57)摘要 本方案提出了一种多时态目标检测模型及 其构建方法、 装置及应用， 包括以下步骤： 获取第 一时态图片和第二时态图片作为训练样本， 构建 一个多时态目标检测模型， 将所述第一时态图片 送入所述第一编码器、 将所述第二时态图片送入 所述第二编码器得到多层级的编码信息， 使用所 述全景解码器和差异解码器对编码信息进行解 码得到全景分类结果图和差异分类结果图， 根据 全景分类结果图和差异分类结果图得到待检测 目标。 本方案通过使用半监督学习， 并在训练时 加入全景解码器， 使 得本方案可以更好的判断不 同时态图片的差异， 从而 对违章建 筑进行检测。 权利要求书3页 说明书11页 附图6页 CN 115546652 A 2022.12.30 CN 115546652 A 1.一种多时态目标检测模型的构建方法， 其特 征在于， 包括： 获取至少一待检测地点的至少一组时态图片， 每组时态图片包括取自不同时间点的第 一时态图片和第二时态图片， 标记每组所述时态图片中的待测目标 得到训练样本； 构建多时态目标检测模型， 所述多时态目标检测模型由第 一编码器、 第 二编码器、 全景 解码器、 差异解码器组成， 其中每组时态图片的第一时态图片送入第一编码器得到深度由 低到高的多层级的第一编 码信息， 第二时态图片送入第二编码器进行编码得到深度由低到 高的多层级的第二编码信息， 每一层级的第一编码信息和第二编码信息的深度相同； 将每一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到 最终全景解码结果； 将每一层级的第一编码信 息和第二编码信 息送入到所述差异解码器中， 最后一层级的 第一编码信息和 第二编码信息进 行拼接‑卷积操作得到与上一层级的第一编码信息深度相 同的差异解码结果， 所述差异解码结果进行差异跳跃连接得到差异解码跳跃信息， 差异解 码跳跃信息再次降低深度后作为新的差异解码结果， 遍历 差异跳跃连接操作得到最 终差异 解码结果， 其中差异跳跃连接操作为差异解码结果和相同深度的差异信息进行拼接， 其中 差异信息为第一编 码信息和第二编 码信息的差值， 将最 终差异解码结果输入预测器中得到 差异分类结果图； 将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到待检测目 标。 2.根据权利要求1所述的一种 多时态目标检测模型的构建方法， 其特征在于， 所述第 一 编码器与所述第二编 码器结构相同， 使用可变形卷积层分别对第一时态图片和 第二时态图 片进行编码得到第一编码信息和第二编码信息 。 3.根据权利要求1所述的一种 多时态目标检测模型的构建方法， 其特征在于， 所述第 一 编码器和所述第二编 码器采用权重共享的方式进 行编码， 且对同一层级的第一编 码信息和 第二编码信息进行扰动处 理。 4.根据权利要求1所述的一种多时态目标检测模型的构建方法， 其特征在于， 在 “将每 一层级的第一编码信息和第二编码信息送入到所述全景解码器中进行解码得到最终全景 解码结果 ”步骤中， 将最后一层 级的第一编 码信息和第二编码信息进 行拼接‑卷积操作得到 与上一层级的第一编 码信息深度相同的全景解码结果， 所述全景解码结果进 行全景跳跃连 接得到全景解码跳跃信息， 全景解码跳跃信息再次降低深度后作为信息全景解码结果， 遍 历全景跳跃连接操作得到最 终全景解码结果， 其中全景跳跃连接操作为全 景解码结果和相 同深度的第一编码信息和第二编码信息进行拼接 。 5.根据权利要求1所述的一种 多时态目标检测模型的构建方法， 其特征在于， 使用与第 一时态图片对应的第一编 码信息减去与第二时态对应的第二编 码信息得到所述差异信息， 且所述第一时态图片的拍摄时间点 早于所述第二时态图片的拍摄时间点。 6.一种多时态目标检测模型， 其特征在于， 使用权利要求1 ‑5任一所述的方法进行构建 得到。 7.一种违章建筑检测模型， 其特征在于， 用标记有建筑物的时态图片作为训练样本， 训 练权利要求6所述的多时态目标检测模型 得到。 8.一种多时态目标检测方法， 其特 征在于， 包括：权　利　要　求　书 1/3 页 2 CN 115546652 A 2获取待检测地点的至少一组时态图片， 每组时态图片包括取自不同时间点的第 一时态 图片和第二时态图片； 将每组时态图片的第 一时态图片和第 二时态图片送入权利要求6所述的多时态目标检 测模型中得到待检测目标。 9.一种违章建筑检测方法， 其特 征在于， 包括： 获取待检测地 点的一组第一时态图片和第二时态图片； 将每组时态图片的第 一时态图片和第 二时态图片送入权利要求7所述的违章建筑检测 模型中得到全景分类结果图和差异分类结果图， 其中对应全景解码 器的待检测目标为全景 分类结果图， 对应差异解码器的待检测目标为差异分类结果图， 其中第一时态图片的获取 时间早于第二时态图片的获取时间； 将所述全景分类结果图的分类结果和所述差异分类结果图的分类结果相结合得到变 化结果图， 根据所属变化结果图判断违章建筑。 10.根据权利要求9所述的一种违章建筑检测方法， 其特征在于， 所述变化结果图表示 同一地点的两个不同时态图片的变化情况， 若存在变化， 获取所述差异分类结果图和所述 全景分类结果图的面积差值， 若所述面积差值大于第一设定阈值认为该地点存在违章建 筑。 11.一种多时态目标检测模型的构建装置， 其特 征在于， 包括： 获取模块： 获取至少一待检测地点的至少一组时态图片， 每组时态图片包括取自不同 时间点的第一时态图片和 第二时态图片， 标记每组所述时态图片中的待测目标得到训练样 本； 编码模块： 构建多时态目标检测模型， 所述多时态目标检测模型由第 一编码器、 第二编 码器、 全景解码器、 差异解码 器组成， 其中每组 时态图片的第一时态图片送入第一编 码器得 到深度由低到高的多层级的第一编 码信息， 第二时态图片送入第二编 码器进行编码得到深 度由低到高的多层级的第二编 码信息， 每一层级的第一编 码信息和第二编 码信息的深度相 同； 第一解码模块： 将每一层级的第 一编码信 息和第二编码信 息送入到所述全景解码器中 进行解码得到最终全景解码结果； 第二解码模块： 将每一层级的第一编码信息和第二编码信息送入到所述差异解码器 中， 最后一层级的第一编码信息和第二编码信息进行拼接 ‑卷积操作得到与上一层级的第 一编码信息深度相同的差异 解码结果， 所述差异 解码结果进 行差异跳跃连接得到差异解码 跳跃信息， 差异解码跳跃信息再次 降低深度后作为新的差异解码结果， 遍历差异跳跃连接 操作得到最 终差异解码结果， 其中差异跳跃连接操作为差异 解码结果和相同深度的差异信 息进行拼接， 其中差异信息为第一编码信息和第二编码信息的差值， 将最终差异解码结果 输入预测器中得到 差异分类结果图； 检测模块： 将所述全景分类结果图以及所述差异分类结果图分别输入到预测头部得到 待检测目标。 12.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1 ‑5任一所述的一种多时态 目标检测模型 的构建方法或权利要求8所述的一种多时态目标检测方法或权利要求9所述权　利　要　求　书 2/3 页 3 CN 115546652 A 3