(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210707885.3 (22)申请日 2022.06.22 (65)同一申请的已公布的文献号 申请公布号 CN 114792315 A (43)申请公布日 2022.07.26 (73)专利权人 浙江太美医疗科技股份有限公司 地址 314001 浙江省嘉兴 市昌盛南路3 6号 智慧产业创新园9号楼3层 (72)发明人 张俊杰　霍志敏　夏小磊　崔亚轩　 (74)专利代理 机构 苏州三英知识产权代理有限 公司 32412 专利代理师 潘时伟 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 5/30(2006.01) G06T 3/40(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114266939 A,202 2.04.01 CN 114359642 A,202 2.04.15 CN 113936011 A,2022.01.14 US 2020320751 A1,2020.10.08 US 2021125707 A1,2021.04.2 9 审查员 崔蓝芳 (54)发明名称 医学图像视觉模 型训练方法和装置、 电子设 备和存储介质 (57)摘要 本申请公开了一种医学图像视觉模型训练 方法和装置、 电子设备和存储介质， 其中该方法 包括： 对第一分支网络和第二分支网络执行多轮 训练； 以及将训练完成的第一分支网络中的编码 器确定为医学图像视觉模型； 多轮训练包括： 获 取三维医学图像并对其中的图像序列分别进行 多视角投影和随机裁剪， 以构建多视角图像阵 列； 从多视角图像阵列选取正样 本和负样本以构 建正负样 本集； 将正负样本集中图像输入第一分 支网络和第二分支网络获得对应的特征向量； 并 基于损失函数以及特征向量的相似度， 调整第一 分支网络和第二分支网络的参数。 这样， 构建了 适用于医学图像 应用的通用视 觉模型。 权利要求书2页 说明书11页 附图6页 CN 114792315 B 2022.10.11 CN 114792315 B 1.一种医学图像视 觉模型训练方法， 其特 征在于， 所述方法包括： 对第一分支网络和第二分支网络执行多轮训练， 直至满足训练目标， 其中， 所述第一分 支网络包括前后连接的编码器、 注意力模块以及预测头； 以及， 将训练完成的第一分支网络中的编码器确定为所述医学图像视 觉模型； 其中， 对所述第一分支网络和第二分支网络执 行多轮训练包括： 获取三维医学图像， 其中， 所述 三维医学图像包括M个图像序列； 对所述M个图像序列分别进行多视角投影和随机裁剪， 以构建M个序列的多视角图像阵 列； 从第i个序列的多视角图像 阵列中选取2N个 图像作为正样本， 以及从剩余序列的多视 角图像阵列中选取2 （K ‑N） 个图像作为负 样本， 以构建正负 样本集； 从所述正负样本集中随机选取K个图像输入所述第一分支网络以获得K个第一特征向 量， 以及将所述正负样本集中的剩余K个图像输入 所述第二分支网络以获得K个第二特征向 量； 基于损失函数以及所述K个第 一特征向量和K个第 二特征向量的相似度， 调整所述第一 分支网络和第二分支网络的参数； 其中， 对所述M个图像序列分别进行多视角投影， 具体包括： 分别沿图像序列的高度方向和宽度方向计算其每行的预定体素值， 以获得对应的冠状 位体素矩阵和矢状位体素矩阵； 基于所述冠状位体素矩阵获得所述图像序列的二维冠状位图像， 以及基于所述矢状位 体素矩阵获得 所述图像序列的二维矢状位图像； 其中， 所述预定体素值包括最大强度投影体素值、 最小强度投影体素值、 均值投影体素 值以及中值投影 体素值中的至少一个； 构建M个序列的多视角图像阵列， 具体包括： 将所述M个图像序列中的各图像切片以及对应的二维冠状位图像和二维矢状位图像分 别缩放至第一预定尺寸， 并随机裁剪为第二预定尺寸， 以构建所述M个序列的多视角图像阵 列； 其中， 所述多视角图像阵列中各图像序列的图像切片、 二维冠状位图像以及二维矢状 位图像添加有对应所属图像序列的序列标签； 所述第二分支网络包括与 所述第一分支网络相同的编码器， 所述编码器包括混合膨胀 卷积层和连接在所述混合膨胀卷积层之后的批归一化层、 Mish激活函数层以及特征丢弃 Dropout层， 所述编码器中不包括池化层。 2.根据权利要求1所述的医学图像视觉模型训练方法， 其特征在于， 所述混合膨胀 卷积 层的膨胀率 为锯齿循环结构。 3.根据权利要求1所述的医学图像视觉模型训练方法， 其特征在于， 所述注意力模块包 括空间注意力子模块和通道 注意力子模块。 4.根据权利要求1所述的医学图像视觉模型训练方法， 其特征在于， 所述预测头包括前 后连接的第一全连接层、 批归一 化层、 Mish 激活函数层以及第二全连接层。 5.根据权利要求1所述的医学图像视觉模型训练方法， 其特征在于， 所述医学图像视觉 模型可用于医学图像分类、 医学图像 检测和识别、 以及医学图像图像分割。权　利　要　求　书 1/2 页 2 CN 114792315 B 26.一种医学图像视觉模型训练装置， 其特征在于， 所述医学图像视觉模型训练装置包 括： 训练模块， 用于对第一分支网络和第 二分支网络执行多轮训练， 直至满足训练目标， 其 中， 所述第一分支网络包括前后连接的编码器、 注意力模块以及预测头； 以及， 确定模块， 用于将训练完成的第一分支网络中的编码器确定为所述医学图像视觉模 型； 其中， 所述训练模块包括： 获取模块， 用于获取三维医学图像， 其中， 所述 三维医学图像包括M个图像序列； 图像阵列构建模块， 用于对所述M个图像序列分别进行多视角投影和随机裁剪， 以构建 M个序列的多视角图像阵列； 样本集构建模块， 用于从第i个序列的多视角图像阵列中选取2N个图像作为正样本， 以 及从剩余序列的多视角图像阵列中选取2 （K ‑N） 个图像作为负 样本， 以构建正负 样本集； 输入模块， 用于从所述正负样本集中随机选取K个图像输入所述第一分支网络以获得K 个第一特征向量， 以及将所述正负样本集中的剩余K个图像输入所述第二分支网络以获得K 个第二特 征向量； 参数调整模块， 用于基于损失函数以及所述K个第 一特征向量和K个第 二特征向量的相 似度， 调整所述第一分支网络和第二分支网络的参数； 图像阵列构建模块具体用于分别沿图像序列的高度方向和宽度方向计算其每行的预 定体素值， 以获得对应的冠状位体素矩阵和矢状位体素矩阵； 基于冠状位体素矩阵获得图 像序列的二维冠状位图像， 以及基于矢状位体素矩阵获得图像序列的二维矢状位图像； 其 中， 预定体素值包括最大强度投影体素值、 最小强度投影体素值、 均值投影体素值以及中值 投影体素值中的至少一个； 以及 将M个图像序列中的各图像切片以及对应的二维冠状位图像和二维矢状位图像分别缩 放至第一预定尺寸， 并随机裁剪为第二预定尺 寸， 以构建M个序列的多视角图像阵列； 其中， 多视角图像阵列中各图像序列的图像切片、 二维冠状位图像以及二 维矢状位图像添加有对 应所属图像序列的序列标签； 所述第二分支网络包括与 所述第一分支网络相同的编码器， 所述编码器包括混合膨胀 卷积层和连接在所述混合膨胀卷积层之后的批归一化层、 Mish激活函数层以及特征丢弃 Dropout层， 所述编码器中不包括池化层。 7.一种电子设备， 包括： 至少一个处 理器； 以及 存储器， 所述存储器存储指令， 当所述指令被所述至少一个处理器执行时， 使得所述至 少一个处 理器执行如权利要求1至 5任一项所述的医学图像视 觉模型训练方法。 8.一种机器可读存储介质， 其存储有可执行指令， 所述指令当被执行时使得所述机器 执行如权利要求1至 5任一项所述的医学图像视 觉模型训练方法。权　利　要　求　书 2/2 页 3 CN 114792315 B 3