(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211372903.3 (22)申请日 2022.11.03 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 谈玲　梁颖　夏景明　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 何春廷 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/70(2017.01) G06T 5/40(2006.01) G06V 10/20(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多尺度跨路径特征融合的乳腺肿 块检测方法 (57)摘要 本发明公开了一种基于多尺度跨路径特征 融合的乳腺肿块检测方法， 获取待检测的乳腺钼 靶X线图像， 将待检测的乳腺钼靶X线图像输入到 已训练好的理想网络模型中， 对理想网络模型的 输出结果进行解码， 得到若干个预测框， 对这些 预测框做ID_NMS非极大值抑制操作， 最后输出该 乳腺图像中所含肿块的BI ‑RADS等级， 并框出该 肿块的具体位置。 优点： 本发明在识别该乳腺图 像包含哪一病变等级的肿块的同时， 输出包含该 肿块的矩形位置框。 输入图像不需要经过医生标 记， X线图像原图就可进行肿块检测； 本发明能够 使网络在扩 大感受野的同时减少参数量， 提高模 型检测的精度和速度。 权利要求书5页 说明书11页 附图12页 CN 115423806 A 2022.12.02 CN 115423806 A 1.一种基于多尺度跨路径特 征融合的乳腺肿块检测方法， 其特 征在于， 包括： 获取待检测的乳腺钼靶X线图像， 将待检测的乳腺钼靶X线图像输入到已训练好的理想 网络模型中， 对理想网络模型的输出结果进行解码， 得到若干个预测框， 对这些预测框做 ID_NMS非极大值抑制操作， 最后输出该乳 腺图像中所含肿块的BI ‑RADS等级， 并框出该肿块 的具体位置； 得到所述已训练好的理想网络模型的过程， 包括： 获取乳腺钼靶X线图像训练集； 从乳腺钼靶X线图像训练集提取乳腺钼靶X线图像， 对乳腺钼靶X线图像进行预处理， 将 乳腺区域与黑色背景分离， 得到 乳腺区域图像； 利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集； 对图像数据集使用形 态学方法进行 数据增强， 得到加深对比度后的乳腺图像； 利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提取， 生 成若干个不同尺寸的原 始特征图； 将不同尺寸的原始特征图输入到增强模块， 进行特征再提取和特征增强， 得到不同尺 寸的增强特 征图； 将提取到的不同尺寸的增强特征图输入到跨路径特征融合模块， 得到多尺度跨路径特 征融合特 征图； 将多尺度跨路径特征融合特征图输入到预测模块， 对多尺度跨路径特征融合特征图是 否存在肿块、 肿块分类和定位进 行初步预测结果； 根据初步预测结果的肿块分类、 内含肿块 概率及先验框与地面真值框之间的交并比IoU， 计算训练损失和； 不断进行神经网络的训 练， 降低模型损失， 当模型损失低于预设值时， 得到训练好的理想网络模型。 2.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法， 其特征在 于， 所述对乳 腺钼靶X线图像进 行预处理， 将乳 腺区域与黑色背 景分离， 得到乳 腺区域图像， 包括： S11、 用最大类间方差法对乳腺钼靶X线图像进行分割， 将乳腺区域变成白色部分， 得到 包括乳腺区域和背景黑色区域的二 值图； S12、 计算二值图中的连通区域， 选取最大连通区域就是乳腺区域； 计算该连通区域的 最小外接矩形并剪切， 得到 乳腺区域图像。 3.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法， 其特征在 于， 所述利用图像融合的方法对乳腺区域图像进行扩充得到图像数据集； 对图像数据集使 用形态学 方法进行 数据增强， 得到加深对比度后的乳腺图像， 包括： S21、 根据医生标注的肿块矩形框左上角和右下角的像素值， 得到要裁剪的矩形框的宽 高； 在乳腺区域图像中随机裁剪与肿块矩形框相同大小的正常组织矩形区域， 得到正常组 织区域图像； S22、 将随机裁剪出来的正常组织区域图像与肿 块矩形框对应的肿 块区域图像进行像 素融合， 获得一张与原肿块图像相同病变等级， 但肿块 位置不一样的乳腺图像； S23、 重复S21 ‑  S22步骤n次， 将数据集增大至原来的 n+1倍， 获得图像数据集； S24、 根据图像数据集中的乳腺区域图像生成图像直方图， 对图像数据集中的乳腺区域 图像的像素值进行排序， 将直方图左端 m%的位置当作最小像素值， 直方图右端 m%的位置当权　利　要　求　书 1/5 页 2 CN 115423806 A 2作最大像素值， 重新计算图像中所有像素值， 让其分布在新范围中， 输出加深对比度后的乳 腺图像； 重新计算图像中所有像素值的计算公式为： 其中， Pnew为新像素值， Pmax为新范围的最大像素值； Pmin为新范围的最小像素值； Pold为 像素点的原像素值。 4.根据权利要求1所述的基于多尺度跨路径特征融合的乳腺肿块检测方法， 其特征在 于， 所述利用预先构建的主干特征提取网络对加深对比度后的乳腺图像进行初步特征提 取， 生成若干个不同尺寸的原 始特征图， 包括： S31、 对加深对比度后的乳腺图像进行切片操作， 在一张加深对比度后的乳腺图像 中每 隔一个像素取一个值， 获得12个独立的通道层， 将这 12个独立的通道层 进行堆叠， 通过1 ×1 卷积层增 加通道数； S32、 基于 CSPDarknet网络改进得到所述主干特 征提取网络， 包括： 去除CSPDarknet网络中的最大池化层和最后的SPP结构， CSPDarknet网络中的下采样 层替换为3 ×3卷积层； 将CSPDarknet 网络中的CSP_X结构中的普通残差块换成深度可分离 残差块， 所述深度可分离残差块依次包含3 ×3逐通道卷积、 激活函数和1 ×1逐点卷积； 将替 换为3×3卷积层的下采样层和基于深度可分离残差块的CS P_X结构结合组成Resbl ock块； S33、 选取后三个Resblock输出的原始特征图， 分辨率为80 ×80、 40×40、 20×20， 得到 三个不同尺寸的原 始特征图。 5.根据权利要求4所述的基于多尺度跨路径特征融合的乳腺肿块检测方法， 其特征在 于， 所述CSP_X结构包括深度可分离卷积和 X个残差单元， 残差单元的个数根据当前特征图 的大小而改变， 深层特 征图残差单 元个数比浅层特 征图少。 6.根据权利要求4所述的基于多尺度跨路径特征融合的乳腺肿块检测方法， 其特征在 于， 所述将不同尺 寸的原始特征图输入到增强模块， 进 行特征再提取和特征增强， 得到不同 尺寸的增强特 征图， 包括： S41、 选取分辨率为80 ×80、 40×40或20×20的原始特征图输入MSA模块； MSA模块分为 多尺度特 征提取MSFE模块和注意力机制CSA模块； S42、 原始特征图依次进入多尺度特征提取MSFE模块， 该多尺度特征提取MSFE模块将输 入特征图按通道数分成4组， 第一组特征图保持不变， 第二组特征图经过3 ×3卷积进一步提 取特征， 第三组特征图结合第二组生成的新特征图相加经过3 ×3卷积， 第四组特征图结合 第三组的卷积结果进入3 ×3卷积层； 最后将生成的4个新特征图通道融合 成新特征图； 将新 特征图与原 始特征图融合， 生成多尺度特 征图。 7.根据权利要求6所述的基于多尺度跨路径特征融合的乳腺肿块检测方法， 其特征在 于， 所述将不同尺 寸的原始特征图输入到增强模块， 进 行特征再提取和特征增强， 得到不同 尺寸的增强特 征图， 包括： S43、 将多尺度特征图输入注意力机制CSA模块， 注意力机制CSA模块包括串联的通道注 意力模块和空间注意力模块； 多尺度特征图经过全局平均池化将特征图每层通道图压缩成 1×1， 再通过一维快速卷积层建立跨通道信息依赖关系 得到通道注意力特征图； 根据输入权　利　要　求　书 2/5 页 3 CN 115423806 A 3