(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221075846 5.8 (22)申请日 2022.06.30 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 徐阳　李惠　范云蕾　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 陈晶 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 小样本循环一致性引导的桥梁多类型损伤 通用识别方法及系统 (57)摘要 本发明公开了一种小样本循环一致性引导 的桥梁多类型损伤通用识别方法及系统， 其中， 该方法包括： 对预设桥梁损伤类型进行数据对 齐， 将数据对齐后的数据集划分为支持集和查询 集， 以建立小样本循环一致性引导的桥梁多类型 损伤通用识别模 型； 利用小样 本循环一致性引导 的桥梁多类型损伤通用识别模型计算查询集的 第一损失值； 利用桥梁多类型损伤通用识别模 型， 并引入循环一致， 计算支持集的第二损失值； 基于第一损失值和第二损失值计算小样本循环 一致性引导的桥梁多类型损伤通用 识别模型的 综合损失， 再通过误差 反向传播算法进行更新模 型， 直到模型收敛。 该方法解决了小样本问题， 也 解决了传统方法需要针对不同任务建立不同识 别模型的不足。 权利要求书3页 说明书10页 附图3页 CN 115272746 A 2022.11.01 CN 115272746 A 1.一种小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其特征在于， 包括以 下步骤： 步骤S1， 对预设桥梁损伤类型进行数据对齐， 将数据对齐后的数据集划分为支持集和 查询集； 步骤S2， 利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤 通用识别模型； 步骤S3， 利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查 询集的第一损失值； 步骤S4， 利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型， 并引入循 环一致， 计算所述支持集的第二损失值； 步骤S5， 基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥 梁多类型损伤通用识别模型 的综合损失， 再通过误差反向传播算法进行更新模型， 直到模 型收敛。 2.根据权利要求1所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其 特征在于， 所述 步骤S1具体包括： 步骤S101， 定义所述预设桥梁损伤类型， 将桥梁多类型损伤图像和与其对应的多通道 像素级标注进行 数据对齐， 形成小样本数据集； 步骤S102， 将所述小样本数据集随机划分为互斥的支持集和查询集。 3.根据权利要求1所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其 特征在于， 所述 步骤S3具体包括： 步骤S301， 将所述支持集的原始图像输入所述小样本循环一致性引导的桥梁多类型损 伤通用识别模型 的编码器中进行特征提取， 获得高层级特征图， 同时与之对应的多通道像 素级标注图像经 过与编码器相同层级的下采样模块， 获得掩码图； 步骤S302， 将所述掩码图与所述高层级特征图进行逐元素地乘积运算， 再进行全局平 均池化， 得到特 征向量簇； 步骤S303， 将所述查询集的原始图像输入所述小样本循环一致性引导的桥梁多类型损 伤通用识别模型 的编码器， 获得相 应的高层级特征图， 将所述特征向量簇按损伤类型通道 方向拆分成多个特征向量， 逐点计算每个特征向量与所述查询集的原始图像的高层级 特征 图的余弦相似度张量； 步骤S304， 将所述余弦相似度张量按损伤类型通道方向进行逐通道拆分和通道扩充， 与所述查询集的原始图像的高层级特征图进 行逐元素相乘， 获得对应多个损伤类型和特征 图； 然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器， 获得所述查 询集的原 始图像的预测结果， 与所述 查询集的多通道像素级标注计算第一损失值。 4.根据权利要求3所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其 特征在于， 所述 步骤S4具体包括： 对所述余弦相似度张量沿损伤类型通道方向做softmax运算， 获得所述查询集的原始 图像的像素级标注的独热编 码， 然后以所述查询集的原始图像及其多通道像素级标注的独 热编码、 所述支持集的原始图像为输入， 以所述支持集中与原始图像对应的多通道像素级 标注图像作为真实值， 重复步骤S302至步骤S304， 获得所述支持集的原始图像的预测结果，权　利　要　求　书 1/3 页 2 CN 115272746 A 2与所述支持集的多通道像素级标注计算第二损失值。 5.根据权利要求3所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其 特征在于， 所述 余弦相似度张量的计算公式为： 其中， N为损伤类型通道总数， i为索引序号， Vi为特征向量簇的第i个通道， F(a,b)为查询 集的原始图像经过编码器后得到的高层级特征图在平面位置(a,b)处对应的向量， ‖ ‖2为向 量取模运 算， D为余弦相似度张量， (H ′,W′)为H’ ×W’的平面。 6.根据权利要求4所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其 特征在于， 所述独热编码的计算公式为： 其中， N为损伤类型通道总数， i为索引序号， MaxIndicator表示执行以下运算： 将一个 向量各元素中具有最大数值的位置赋值为1， 其余位置赋值为0； exp为取指数运算； 为 余弦相似度张量在平面位置(a,b)处第i个通道对应的余弦相似度数值； 为在平面位 置(a,b)处第i个通道对应的独热编码， (H ′,W′)为H’ ×W’的平面。 7.根据权利要求4所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法， 其 特征在于， 所述 步骤S5中的综合损失为： L＝L1+λL2 其中， L为综合损失， L1为所述查询集的第一损失值， L2为考虑循环一致性后、 在所述支 持集的第二损失值， λ为比例系数， 根据查询集和支持集的样本数量之比设置 。 8.一种小样本循环一 致性引导的桥梁多类型损伤通用识别系统， 其特 征在于， 包括： 数据集划分模块， 用于对预设桥梁损伤类型进行数据对齐， 将数据对齐后的数据集划 分为支持集和查询集； 构建模块， 用于利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类 型损伤通用识别模型； 第一损失计算模块， 用于利用所述小样本循环一致性引导的桥梁多类型损伤通用识别 模型计算所述 查询集的第一损失值； 第二损失计算模块， 用于利用所述小样本循环一致性引导的桥梁多类型损伤通用识别 模型， 并引入循环一 致， 计算所述支持集的第二损失值； 更新收敛模块， 用于基于所述第 一损失值和所述第 二损失值计算所述小样本循环一致 性引导的桥梁多类型损伤通用识别模型的综合损失， 再通过误差反向传播算法进 行更新模 型， 直到模型收敛。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器及存储在存储器上并可在处理器 上运行的计算机程序， 所述处理器执行所述计算机程序时， 实现如权利要求 1‑7中任一所述 的小样本循环一 致性引导的桥梁多类型损伤通用识别方法。 10.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计权　利　要　求　书 2/3 页 3 CN 115272746 A 3