(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210633745.6 (22)申请日 2022.06.07 (71)申请人 安徽大学 地址 230039 安徽省合肥市蜀山区肥西路3 号 (72)发明人 徐晨初　宋雨荟　张燕平　杜秀全　 赵姝　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于小样本学习的肠息肉分割方法及 系统 (57)摘要 本发明提供一种基于小样本学习的肠息肉 分割方法及系统， 系统包括： 收集训练样本， 获取 测试样本， 将训练样本和测试样 本分别再次划分 为支持集和查询集； 构建特征提取模块来提取支 持图像和查询图像的特征信息； 构建多级原型学 习模块来学习支持图像中的多级目标原型并使 其引导查询图像来寻找疑似目标区域； 构建全局 信息交互模块使得支持图像和查询图像进行充 分的信息交互， 使查询图像与支持图像的特征层 次和对比度相似； 构建神经网络， 利用训练样本 训练该神经网络， 优化网络参数， 得到神经网络 模型； 将测试样本输入至上述模型中， 经计算输 出肠息肉分割图像。 解决了分割精度低、 依赖充 分训练及过度依赖用户交 互的问题。 权利要求书4页 说明书9页 附图2页 CN 115049603 A 2022.09.13 CN 115049603 A 1.一种基于小样本学习的肠息肉分割方法， 其特 征在于， 所述方法包括： S1、 收集不少于2种模态的腹部器官图像， 以组成训练样本， 获取内窥镜下肠息肉图像， 以组成测试样本， 将所述训练样本及所述测试样本分别再划分为支持集和查询集； S2、 构建特征提取模块以提取所述支持集中的支持图像特征， 提取所述查询集中的查 询图像特 征； S3、 构建并使用多级原型学习模块学习所述支持图像中的多级目标原型， 以引导处理 所述查询图像， 据以寻找疑似目标区域， 所述 步骤S3包括： S31、 利用双线性插值法降维处理所述支持图像的标签， 并将降维后的支持标签与支持 图像特征进行点乘， 以提取目标 特征； S32、 利用K均值聚类法将所述目标特征分为正常目标 区域、 异常目标 区域和边缘区域， 将预置全局平均池化作用于所述正常目标区域、 所述异常目标区域及所述边缘区域， 据以 得到主原型、 次原型和边 缘原型； S33、 计算所述主原型、 所述 次原型和所述边缘原型与所述查询图像特征的余弦相似度 并得到各原型相似度概 率图； S34、 根据所述各原型相似度概率图对每一空间位置(x,y)取概率最大值所属的原型， 将所述原型插 入当前的所述空间位置， 据以形成具有丰富目标信息的原型分布图Mapproto； S4、 构建全局信息交互模块， 通过全局平均池化处理所述支持图像特征和所述查询图 像特征， 以得到支持向量和 查询向量， 点乘所述支持图像特征和所述查询向量以得到新支 持特征， 点乘所述查询图像特征和所述支持向量以得到新查询特征， 拉平并转置所述新支 持特征及所述新查询特征， 以通过预设矩阵乘逻辑处理获取全局信息交互图， 根据所述全 局信息交 互图使得 所述查询图像及所述支持图像具有相似特 征层次及对比度； S5、 以所述特征提取模块、 所述多级原型学习模块、 所述全局信息交互模块与预置解码 模块组成肠息肉分割神经网络， 利用所述训练样本训练所述肠息肉分割神经网络并优化网 络参数， 以得到适用神经网络模型； S6、 利用所述 适用神经网络模型计算所述测试样本得到肠息肉分割图像。 2.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法， 其特征在于， 所述步 骤S1包括： S11、 采集获取核磁共振图像和计算机断层扫描图像中的腹部器官图像数据集并将其 划分为所述支持集和所述 查询集， 将该 数据集作为所述训练集Strain； S12、 采集获取内窥镜下肠息肉图像数据集并将其划分为所述支持集和所述查询集， 将 该数据集作为所述测试集Stest； S13、 利用线性插值法将所有图像的分辨 率调整至预设 分辨率值； S14、 将所述支持图像、 支持标签、 查询图像作为神经 网络的输入Ninput， 将查询标签作为 所述神经网络 输出Noutput的监督信息。 3.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法， 其特征在于， 所述步 骤S2包括： S21、 由不少于4个的编码模块依次连接组成所述特 征提取模块； S22、 所述支持图像和所述查询图像共享所述特征提取模块， 得到所述支持图像特征 Fsup和所述查询图像特 征Fque。权　利　要　求　书 1/4 页 2 CN 115049603 A 24.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法， 其特征在于， 所述步 骤 S 2 1 中 的 每 个 所 述 编 码 模 块 包 括 2 个 卷 积 核 为 3 ×3 的 卷 积 层 ： 其中， 和 分别为(l+1)层的第n个特征图和l层的第m个特 征图， M为l层特征图的数量， 为从l层的第m个特征图映射到(l+1)层的第n个特征图的 权重矩阵， *表示2D卷积操作， 为相应的偏置量， 每个所述卷积层后添加批归一化函数 BatchNormalization和线性整流函数ReLU、 1个池化窗口为2 ×2的最大池化层： 其中m和n代 表被池化窗口覆盖的区域。 5.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法， 其特征在于， 所述步 骤S32包括： S321、 利用所述K均值聚类算法将目标内部区域分为正常目标特征向量簇及异常目标 特征向量簇； S322、 全局平均池化处理所述正常目标特征向量簇及所述异常目标特征向量簇， 以生 成概括目标区域原型v， 这里， v的第ith个元 素可表示为： 其中， 为支持标签， 为支持特征， w和h为特征图的宽度和高度， (x,y)为 像素点的坐标， i 为第ith个特 征通道； S323、 由正常目标特征向量簇生成的原型为所述主原型Protomain， 由异常目标特征向量 簇生成的原型为所述次原型Protosub； S324、 GAP处 理目标的边界特 征向量， 以得到所述 边缘原型Protomargin。 6.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法， 其特征在于， 所述步 骤S33包括： S331、 将所述多级原型与所述查询图像特征做余弦相似度计算得到多个相似度概率 图； S332、 以下述逻辑对每一空间位置(x,y)取概率最大值所属的原型并将其插入该位置 以形成所述具有丰富目标信息的原型分布图Mapproto： 其中， P∈Rc×1代表原型， 是查询图像在坐标(x,y)处的特 征向量。 7.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法， 其特征在于， 所述步 骤S4包括： S41、 将所述支持图像特征和所述查询图像特征通过全局平均池化得到所述支持向量 和所述查询向量； S42、 点乘所述支持图像特 征及查询向量， 以得到所述 新支持特 征； S43、 点乘所述 查询图像特 征及支持向量， 以得到所述 新查询特征； S44、 拉平并转置所述 新支持特 征及所述 新查询特征， 以得到拉平 矩阵和转置矩阵；权　利　要　求　书 2/4 页 3 CN 115049603 A 3