(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210918508.4 (22)申请日 2022.08.01 (71)申请人 天津生联智慧科技发展 有限公司 地址 300000 天津市滨 海新区中新天津生 态城动漫 中路355号创研大厦401-406 室 (72)发明人 王磊　姜志凯　褚龙飞　李世卿　 (74)专利代理 机构 天津知远君 正专利代理事务 所(特殊普通 合伙) 12236 专利代理师 何君 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/46(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 提取航拍图像特征的图卷积网络模型及检 测异常的方法 (57)摘要 本发明实施例公开了一种提取航拍图像特 征的图卷积网络模型及检测异常的方法， 模型包 括： 单发多框检测模型， 用于接收通过无人机的 航拍图像作为输入图像， 并输出航拍图像中每个 特征子图像； 图像特征转换压缩层， 包括： k层堆 叠的图像特征转换压缩模块， 所述图像特征转换 压缩模块包括： 卷积神经网络模型、 Gate ‑Conv卷 积模型和输出单元， 所述卷积神经网络模型用于 进行卷积过滤， 所述Gate ‑Conv卷积模型用于降 低参数数量， 并提取不同粒度大小的信息， 所述 图像特征转换压缩单元用于将上一层将卷积神 经网络模型输 出的运算结果和Gate ‑Conv卷积 模 型进行融合得到编码特征图； 反卷积网络， 用于 将编码后的特征图通过多步映射到原图空间， 生 成特征子图像的特 征表示。 权利要求书2页 说明书9页 附图1页 CN 115482473 A 2022.12.16 CN 115482473 A 1.一种用于提取航拍图像特 征的图卷积神经网络模型， 其特 征在于， 包括： 单发多框检测模型， 用于接收通过无人机的航拍图像作为输入图像， 并输出航拍图像 中每个特征子图像； 图像特征转换压缩层， 包括： K层堆叠的图像特征转换压缩模块， 第一层图像特征转换 压缩模块接收输入的特征子图像， 第K层图像特征转换压缩模块输出最 终编码结果， 每一层 图像特征转换压缩模块的输出作为下一层图像特征压缩模块的输入， 所述图像特征转换压 缩模块包括： 卷积神经网络模型、 Gate ‑Conv卷积模型和输出单元， 所述卷积神经网络模型 用于进行卷积过滤， 所述Gate ‑Conv卷积模型用于降低参数数量， 并提取不同粒度大小的信 息， 所述图像特征转换压缩单元用于将上一层卷积神经网络模型输出的运算结果和Gate ‑ Conv卷积模型进行融合得到编码特 征图； 反卷积网络， 用于将编码后的特征图通过多步映射到原图空间， 生成特征子 图像的特 征表示。 2.根据权利要求1所述的模型， 其特征在于， 所述Gate ‑Conv卷积模型， 包括： 串联的1*3 和3*1卷积运算， 与1*1卷积并行运算， 并将两个 分支的输出进 行拼接融合， 经过批处理和池 化层， 得到初步编码。 3.根据权利要求2所述的模型， 其特征在于， 所述Gate ‑Conv卷积模型， 通过如 下方式表 示： ， 其中 ， 表示两个分支的权 重参数， 、 为两个分支的偏置项, （ ） 为池化 函数， 为激活函数， 为初步编码结果。 4.根据权利要求1所述的模型， 其特 征在于， 所述输出 单元用于： 对卷积神经网络模型输出结果 进行激活操作， 激活函数使用sigmoid激活， 对Gate ‑ Conv卷积模型输出 结果 进行tanh 激活， 并将二 者采用短接的方式 融合得到编码特 征图。 5.根据权利要求 4所述的模型， 所述输出 单元采用如下 方式运算： ， 其中 是filter的权重参数， 是sigmoid激活函数，  ， 表示哈达玛积， 为 输入， 为偏置项。 6.根据权利要求5所述的模型， 其特征在于， 所述模型还包括： 调整单元， 所述调整单元 用于根据图像特征转换压缩层的输出结果和反卷积网络的输出结果之 间的损失， 调整权重 参数和偏置项。 7.根据权利要求1所述的模型， 其特 征在于， 所述模型还 包括： 异常检测模型， 所述异常检测模型用于构建超球面， 计算所述特征表示是否落在所述 超球面内， 根据计算结果判断是否异常。 8.一种基于航拍图像的光伏板异常检测方法， 其特征在于， 所述方法基于权利要求1 ‑7 任一所述的提取航拍图像特 征的图卷积神经网络模型实现， 包括：权　利　要　求　书 1/2 页 2 CN 115482473 A 2获取包括 光伏板图像的航拍图像； 将所述航拍图像输入到单发多框检测模型， 获取到 至少两个光伏板 子图像； 将所述光伏板子图像输入到图像特征转换压缩层， 对所述光伏板子图像的信 息进行多 维度提取， 并进行编码， 所述编码用于在确保光伏板子图像信息不损失的情况下减少参数 数量； 将编码输入反卷积网络， 将编码后的特征图通过多步映射到原图空间， 生成特征子 图 像的特征表示； 将所述特征表示输入异常检测模型， 根据异常检测模型的输出异常结果确定光伏板子 图像对应的光伏板是否异常。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 根据如下 方式计算单发多框检测模型的损失函数： ， 其中 是样本集合， 表示第 个默认框和第 个真值框的匹配程度， 若第 个默认框 匹配到第 个真值框， 则 ， 其中 为总体目标损失函数的定位损失， 为置信度 损失， 是平衡定位损失和置信度损失的加权参数,置信度指判断该锚框内是否为光伏板， 平衡定位损失指锚框对光伏板的边界是否锚定正确； 在所述损失函数的计算结果小于设定的差值时， 获取到 至少两个光伏板 子图像。 10.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 利用如下方式计算图像特征转换压缩层的输出结果和反卷积网络的输出结果之间的 损失： ， 在所述损失超过预设的损失阈值 时， 对图像特征转换压缩层的权重参数和偏置项进行 调整， 直至所述损失不超过 预设的损失阈值。权　利　要　求　书 2/2 页 3 CN 115482473 A 3