(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210893407.6 (22)申请日 2022.07.27 (71)申请人 吉林大学 地址 130012 吉林省长 春市前进大街269 9 号 (72)发明人 李雄飞　杨飞扬　张小利　黄萨　 朱芮　于爽　宋涵　矫鑫瑶　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 蔺巍 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/194(2017.01) G06V 10/26(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于奖励函数引入先验知识的医学图 像分割方法 (57)摘要 本发明提供了一种基于奖励函数引入先验 知识的医学图像分割方法， 包括如下步骤： 获取 公开的医学CT图像数据集； 基于图像数据集， 设 计并得到 奖励函数； 在奖励函数中引入图像数据 集中的CT图像的前景 ‑背景比引入， 得到改进的 奖励函数； 在改进的奖励函数中引入 先验知识实 例的近似难度， 得到最终的奖励函数； 使用最终 的奖励函数替换强化学习网络中的奖励函数， 并 进行强化网络训练， 最后通过分割网络输出最终 的分割结果图。 本发明采用将 外部先验知识引入 到奖励函数的设计， 使其朝着有益的方向极大地 影响了模型学习的过程， 图像中每个像素不仅考 虑自身的状态， 同时会考虑其它相邻像素的状 态， 并在约束方向上更新策略， 分割结果与真实 病变相似。 权利要求书2页 说明书7页 附图3页 CN 115187571 A 2022.10.14 CN 115187571 A 1.一种基于奖励函数引入先验知识的医学图像分割方法， 其特 征在于， 包括以下步骤： S1.获取公开的医学CT图像数据集； S2.基于所述图像数据集， 设计并得到奖励函数； S3.在所述奖励函数中引入所述图像数据集中的CT图像的前景 ‑背景比引入， 得到改进 的奖励函数； S4.在所述改进的奖励函数中引入先验知识实例的近似 难度， 得到最终的奖励函数； S5.使用所述最终的奖励函数替换强化学习网络中的奖励函数， 并进行强化网络训练， 最后通过分割网络 输出最终的分割结果图。 2.根据权利要求1所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 所述S2中， 设计并得到 所述奖励函数的过程中， 将奖励Pi设计为所述图像数据集中的每 一个像素的预测值和实际标签之间的差异， 3.根据权利要求2所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 设计并得到所述奖励函数的方法包括： 将所述图像数据集中的每一个 像素视作一个智能体； 基于交叉熵增益设计并得到单个所述智能体的局部奖励； 基于所述局部奖励， 得到所述奖励函数。 4.根据权利要求3所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 单个所述智能体的反馈ri定义如下 其中γ表示折扣因子， V(s(t))表示网络的输入s(t)的预期总奖励， Ri表示单个智能体最 初的奖励， Pi表示重新定义后的奖励， yi∈(‑1， +1)表示像素标签， t表示步骤t， ri表示为每 个智能体最终 实际的奖励。 5.根据权利要求1所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 所述S3中， 引入所述前景 ‑背景比后的所述奖励函数是基于以下公式而改进的， 该公式 为 其中R(t)表示所有像素总预期奖励的平均值， 表示第步骤t的奖励， N表示总像素 数； 由于医学图像分割可以看成是一种像素二元分类， 感兴趣区域所占的像素数量远少于 其他部分的数量， 而 前景与背 景的比例会影响最 终的分割效果， 因此， 用改进的奖励函数公 式替换了上述公式， 即替换为权　利　要　求　书 1/2 页 2 CN 115187571 A 2其中α ∈( ‑1， 0)表示一个超参数， NFront表示预测图的前景区域， NBack表示预测图的背景 区域。 6.根据权利要求1所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 所述S4中， 引入所述先验知识实例的所述近似难度作为先验知识是基于强化学习动作 空间的设置， 具体动作应设置为{mask， retain}， 遮盖住那些对分割有不好影响的部分， 保 留那些对分割有益的部分， 并允许智能体在不同情况 下不同程度地调整动作选择。 7.根据权利要求6所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 在所述改进的奖励函数中引入先验知识实例的近似 难度的方法包括： 设置所述图像数据集D＝{(x1， y1)， (x2， y2)， ...， (xN， yN)}， xi表示输入像素， yi∈{‑1， + 1}表示像素标签， 每个实例的输入像素xi(i＝1， 2， ...， N)对应于部分感受窗口区域Fi＝ {(xp， yp)|p＝1， 2， . ..， P}， 则ADI 函数表示 为 |Fi|表示部分感受野中的像素 数， 如果Fi中所有实例的标签与xi相同， 则 成立， 如果Fi中所有实例的类标签与xi不 同， 则 成立， 因此， 将 替换如下 其中γ表示折扣因子， 表示第步骤t的奖励， V(s(t))表示网络的输入s(t)的预期总奖 励。 8.根据权利要求1所述的基于奖励函数引入先验知识的医学图像分割方法， 其特征在 于， 所述S5中， 得到最终的所述分割结果图的方法包括： 将强化网络训练的输出继续作为分割网络的输入， 形成分割模型； 由CNN‑Transformer网络结合所述分割模型作为编码器， 并级联上采样器来进行CT影 像的定位和分割， 得到最终的所述分割结果图。权　利　要　求　书 2/2 页 3 CN 115187571 A 3