(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210967012.6 (22)申请日 2022.08.11 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 杨静　张栋　王娟　韩泓丞　袁新　 杜少毅　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 王艾华 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/187(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于层级网络的可解释性超声图像结 节识别方法 (57)摘要 本发明公开了一种基于层级网络的可解释 性超声图像结节识别方法， 包括： 1)建立甲状腺 超声影像数据集； 2)将无标签数据进行拼图化预 处理， 建立基于2D超声特征编码器的自监督学习 网络层对无标签数据进行特征挖掘； 3)建立基于 2D超声特征编码器的结节测量网络层获取结节 的轮廓、 大小和横纵比； 4)建立基于结节ROI特征 编码器的自监督学习网络层对可疑结节ROI进行 特征挖掘； 5)建立结节多因子量化网络层实现对 边缘、 成分、 回声质量和钙化的识别 与量化； 6)利 用多层感知机实现良恶性和淋巴结转移的可解 释性预测。 实验结果证明， 本发明提升了对结节 轮廓测量与多因子识别的准确性， 也进一步增强 了自动化识别超 声甲状腺结节的可解释性。 权利要求书3页 说明书7页 附图3页 CN 115187580 A 2022.10.14 CN 115187580 A 1.一种基于层级网络的可解释性超声图像结节 识别方法， 其特 征在于， 包括以下步骤： 步骤一： 建立脱敏的无标签和有标签甲状腺超声影像数据集， 具体有无标签甲状腺超 声影像数据集Data_A、 基于结节轮廓分割的小样 本数据集Data_N和基于结节病因多属性识 别的小样本数据集Data_F； 步骤二： 建立基于2D超声特征编码器的自监督学习的子网络层RSSL ‑N： 为解决因医学 影像的解刨结构相似性导致多样性特征难提取问题， 该方法采用残差网络 建立2D超声特征 编码器， 利用拼图学习 策略构建自监督学习模型和目标函数， 以驱动该模型学习2D超声图 像的特征表征， 进而从无标签医学影像数据中获2D超声图像的解刨结构、 组织纹理和明暗 强度等重要特 征表征； 步骤三： 建立基于2D超声特征编码器的结节定位与测量子 网络层NMN： 利于在步骤二中 建立的2D超声特征编码器， 进一步通过特征上下采样和特征融合方法， 建立基于UNet++结 构的结节分割子网络， 以获取 甲状腺结节的轮廓， 并利用后处理层获取结节的方位测量信 息； 步骤四： 建立基于结节ROI特征编码器的自监督学习子 网络层RSSL ‑F： 利用在步骤三建 立的NMN网络对无标签2D超声影像进行测量， 获得甲状腺可疑结节的ROI区域作为输入， 利 用残差网络 建立结节ROI特征编码 器， 并以拼图学习策略构建自监督学习模型和目标函数， 来获取甲状腺结节的边 缘、 成分以及钙化 等关键特 征表征； 步骤五： 建立病因多属性量化子 网络层FQN： 利用步骤四建立的结节ROI特征编码器， 进 一步建立基于临床先验知识的非对称性多因子识别损失函数， 以缓解因子标签不平衡、 标 签错误和丢失， 导致网络学习难、 精度不高的问题， 并且通过多层感知机 建立双预测头的病 因多属性量化子网络FQN， 以获得甲状腺结节的病因多属性量化信息和其对应的预测概率 值； 步骤六： 建立基于多层感知机的可解释性结果预测层： 以结节的方位测量信息和病因 多属性量化信息作为输入， 利用多层感知机建立病因分析模块， 以同时获取良恶性和淋巴 结转移的可解释性的预测结果。 2.根据权利要求1所述的基于层级网络的可解释性超声图像结节识别方法， 其特征在 于： 步骤1中， 无标签数据集Data_A由大量被归一化处理为png图像的2D超声影像构成； 基于 结节轮廓分割的小样 本数据集Data_N中对 结节进行了轮廓和良恶性病理的标注； 基于结节 病因多属性识别的小样本数据集Dat a_F中进一步对结节的轮廓、 良恶性、 边缘、 成分、 回声 质量和钙化进行了标注； 将3个数据集分别按照7:2:1的比例划分训练集、 验证集和 测试集。 3.根据权利要求1所述基于层级 网络的可解释性超声图像结节识别方法， 其特征在于： 步骤二进一 步包括下述 步骤： 步骤2.1、 输入数据拼图化： 该方法采用拼图预处理对无标签输入数据进行预处理， 得 到图像块和其具拼图归属ori和位置pos拼图标签； 步骤2.2、 建立RSSL ‑N自监督学习网络框架： 该方法将基于残差卷积层网络作为2D超声 图像特征编码 器， 并在此基础上， 建立基于多层感知机的拼图块归属预测头和位置预测头； 该自监督学习网络模型 可以表示 为： 权　利　要　求　书 1/3 页 2 CN 115187580 A 2式中， f(*)表示2D超声图像特征编码器， xib表示输入拼图块源自第b张图像的第i个拼 图位置， gori(*)和gpos(*)分别表示拼图块归属预测头和位置预测头， zib和 表示各自预测 的向量表示； 步骤3.3、 建立自监督学习网络层的损失函数Lstot： 该方法采用拼图策略驱动模型学习， 并利用相似度和距离度量建模该模型的损失函数， 从而促使模型从 医学图像中雕刻出解剖 结构和强度的差异性， 以提升模型对图像块归属 和位置预测准确性， 其中， 图像块归属预测损失函数表示 为Lori： 式中， 归属预测概率可以表示为pib， cos(zib,z0b)表示图像块与图像向量表示之间 的余 弦相似度， τ表示用于平滑或加剧距离的温度参数， N表示图像数量或批量大小， kh和kw表示 将h×w图像划分为 k×k块， 表示归属预测成功为1或错 误为0； 图像块位置预测损失函数表示 为Lori： Lstot＝α Loir+(1‑α )Lpos               (6) 式中， 位置预测概率表示为 表示位置预测成功为1或错误为0； α 表示平衡因子， N 表示图像数量或批量大小， kh和kw表示将h×w图像划分为 k×k块。 4.根据权利要求1所述基于层级 网络的可解释性超声图像结节识别方法， 其特征在于： 步骤三进一 步包括下述 步骤： 步骤3.1、 输入数据： 为归一 化预处理后的2D超声png图像； 步骤3.2、 建立NMN网络结构设计： 利用在步骤2.2中建立的2D超声特征编码器作为该模 型的特征提取骨干网络层， 进一步通过特征上下采用和特征融合方法， 并结合通道注意力 机制增强C1 ‑C5层输出特征， 建立基于UNet++结构的结节分割子网络， 以获取甲状腺结节的 轮廓， 并利用后处 理层获取 结节的方位测量信息： 轮廓、 大小和横纵比的量 化值。 5.根据权利要求1所述基于层级 网络的可解释性超声图像结节识别方法， 其特征在于： 步骤四进一 步包括下述 步骤： 步骤4.1、 输入数据 拼图化： 利用在步骤3.2建立的NMN网络对无标签2D超声影像进行测 量， 获得甲状腺可疑结节的轮廓信息， 基于轮廓对其进 行多尺度 矩形ROI区域裁剪并作为输 入数据。 然后， 采用拼图预处理对无标签可疑结节ROI区域图像输入数据进行预处理， 得到 图像块和其具拼图归属ori和位置pos拼图标签； 步骤4.2、 建立RSSL ‑F网络结构： 基于步骤2.2并利用残差网络建立结节ROI特征编码 器， 采用步骤2.3的损失函数对该网络模型进行学习， 以获得基于可疑结节ROI区域图像的权　利　要　求　书 2/3 页 3 CN 115187580 A 3