(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210390380.9 (22)申请日 2022.04.14 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市碑林区雁塔路 13号 (72)发明人 刘光辉　王钜文　孟月波　徐胜军　 刘一良　陈健　马泽飞　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 张宇鸽 (51)Int.Cl. G01N 21/88(2006.01) G01N 21/95(2006.01) G01N 21/01(2006.01) G01S 13/86(2006.01)G01S 13/88(2006.01) G01S 19/14(2010.01) B64C 39/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于无人机的建筑物外立面裂缝检测 方法及系统 (57)摘要 本发明提供一种基于无人机的建筑物外立 面裂缝检测方法及系统， 构建裂缝图像训练数据 集和验证数据集， 利用无人机获取待检测建筑物 的裂缝图像以及无人机与待检测建筑物的距离 信息； 构建基于多特征区域注 意力的卷积神经网 络， 具体包括区域级通道注意力网络、 特征提取 网络和特征恢复网络； 进行损失计算， 利用训练 数据集对基于多特征区域注意力的卷积神经网 络进行训练， 得到基于多特征区域注 意力的语义 分割模型； 将 验证数据集 或利用无人机获取的裂 缝图像输入基于多特征区域注意力的语义分割 模型， 得到裂缝二值图； 对裂缝二值图进行处理、 计算得到裂缝的实际长度， 本发明集图像采集、 裂缝检测与裂缝测量于一体， 具有高效率、 自动 化检测的优点。 权利要求书3页 说明书11页 附图4页 CN 114705689 A 2022.07.05 CN 114705689 A 1.一种基于无 人机的建筑物外立 面裂缝检测方法， 其特 征在于， 具体步骤如下： S1构建裂缝图像训练数据集和验证数据集， 利用无人机检测待检测建筑物的结构并进 行建模， 确定裂缝在建筑物中的位置并获取裂缝图像， 获取无人机与待检测建筑物的距离 信息； S2构建基于多特征区域注意力的卷积神经网络， 具体包括区域级通道注意力网络、 特 征提取网络和特 征恢复网络； S3建立损 失函数， 进行损失计算， 利用训练数据集对基于多特征区域注意力的卷积神 经网络进行训练， 得到基于多特 征区域注意力的语义分割模型； S4将验证数据集或利用无人机获取待检测建筑物的裂缝图像输入基于多特征区域注 意力的语义分割模型， 得到裂缝二 值图； S5对裂缝二值图进行处理得到裂缝骨架图， 通过长度计算获得裂缝骨架图的像素点个 数， 根据无 人机与待检测建筑物的距离信息获取 标定像素比例关系， 得到裂缝的实际长度。 2.根据权利要求1所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 步骤S2中， 所述特征提取网络用于提取裂缝图像中不同尺度的裂缝特征信息， 得到不同尺 度的裂缝原 始特征图， 具体的： 所述特征提取网络共有五层， 前四层中每层包含两个3 ×3的卷积， 每个3 ×3的卷积都 连接一个ReLu非线性激活， 层与层之间通过一个2 ×2最大池化连接， 特征提取网络中前四 层输出两个低层原始特征图L1、 L2， 两个高层原始特征图H3、 H4； 最后一层输出裂缝高层特 征图H5。 3.根据权利要求2所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 步骤S2中， 所述特征恢复网络用于逐层 恢复特征提取网络每层得到的原始特征图的边缘信 息， 具体的： 特征恢复网络共有四层， 每层包含两个3 ×3卷积， 每个3 ×3卷积都连接一个ReLu非线 性激活和两个2 ×2上采样层， 其中一个2 ×2上采样层连接一个区域级通道 注意力网络； 特征恢复网络第一层中对裂缝高层特征图H5进行上采样得到两个相同尺度裂缝恢复 特征图， 分别为裂缝恢复特 征图RH41、 裂缝恢复特 征图RH42； 将裂缝恢复特征图RH41输入区域级通道注意力网络， 得到加强区域级信息的裂缝特征 图； 将加强区域级信息的裂缝特征图与裂缝恢复特征图RH42进行拼接， 为特征恢复过程提 供更多语义信息， 得到裂缝恢复特 征图RH43； 重复3次上述操作得到裂缝恢复特征图RH1， 将裂缝恢复特征图RH1通过两个3 ×3卷积、 一个1×1卷积和softmax分类 器后输出裂缝二 值图。 4.根据权利要求3所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 步骤S2中， 所述区域级通道 注意力网络分为 挤压操作和激励操作两 部分， 其中： 挤压操作用于通过聚焦裂缝恢复特征图区域空间维度上的特征映射来生成区域级通 道描述符， 该描述符代表了裂缝区域级通道特征信息， 具体地， 裂缝恢复特征图为X经过公 式(1)得到区域级通道描述符Y： Y＝Avgpo oling(X)    (1) 式中， X、 为C×W×H尺寸的特征图； Avgpooling表示步长为4， 卷权　利　要　求　书 1/3 页 2 CN 114705689 A 2积核为4的平均池化操作； 激励操作以区域级通道描述符为输入， 通过公式(2)得到裂缝特征图权重为s， 具体如 下： s＝FU{σ [W2δ(W1Y)]}    (2) 式中， W1、 W2为通道数变换的一个 中间操作， 其中 和 为变 换后的通道数， C为变换前的通道数； 中， C为变换后的通道数， 为变换前 的通道数； γ为降维率， 为特征图尺寸， 本文中设置γ为2， δ为ReLu非线性激活， σ为 sigmoid非线性激活， FU为上采样； 将裂缝特征图权重与输入裂缝恢 复特征图进行对应像素相乘， 得到加强学习的裂缝特 征图， 再将输入裂缝恢复特征图和加强学习的裂缝特征图通过对应像素相加， 得到加强区 域级信息的裂缝 特征图为P， 具体如下： 式中， 为特征图对应 像素相乘， 为特征图对应 像素相加。 5.根据权利要求1所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 步骤S3中， 采用Focal  loss损失函数计算裂缝检测损失， 具体为： 式中， W表示图像高度， H表示图像宽度， 为图像中处于(w， h)处对应的标签预测概 率， y(w， h)为图像中处于(w， h)处对应的标签， a和 λ为超参数。 6.根据权利要求1所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 步骤S5中， 通过阈值分割对裂缝二值图做降噪处理， 然后通过K3M骨架 提取算法对裂缝二值 图进行处理得到一像素宽度的裂缝骨架图， 通过长度计算获得裂缝骨架图的像素点个数， 像素点个数总和即为裂缝骨架长度。 7.根据权利要求1所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 步骤S5中， 将无人机与待检测建筑物的距离信息输入到标定像素比例关系， 得到裂缝的尺 度因子， 再将尺度因子与裂缝骨架长度相乘得 出裂缝的实际长度。 8.根据权利要求7所述的一种基于无人机的建筑物外立面裂缝检测方法， 其特征在于， 将像素点对应的实际长度与无人机与待检测建筑物的距离进行拟合， 得到裂缝的尺度因 子， 具体公式为： y＝p1x+p2    (5) 式中， y为尺度因子， 即图片单个像素点对应实际长度， x为无人机与待检测建筑物的距 离， x∈{3 000， 7000}。 9.一种基于无 人机的建筑物外立 面裂缝检测系统， 其特 征在于， 具体包括： 图像采集模块， 用于构建裂缝图像训练数据集和验证数据集， 并利用无人机获取待检 测建筑物的图像和无 人机与待检测建筑物之间的距离信息； 网络构建模块， 用于构建基于多特 征区域注意力的卷积神经网络；权　利　要　求　书 2/3 页 3 CN 114705689 A 3