(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211165458.3 (22)申请日 2022.09.23 (71)申请人 紫东信息科技 （苏州） 有限公司 地址 215000 江苏省苏州市中国(江苏)自 由贸易试验区苏州片区苏州工业园区 金鸡湖大道88号人工智能产业园E3- 501 (72)发明人 张希钢　赖春晓　王镇煜　李峰　 邱霖　万苹　赵志芳　何顺辉　 李志俭　江海洋　赖正义　戴捷　 鹿伟民　邵贝　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 杨慧林(51)Int.Cl. G16H 50/20(2018.01) G16H 30/20(2018.01) G06F 40/205(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种胃溃疡诊断装置、 设备及存 储介质 (57)摘要 本发明所提供的胃溃疡诊断模型可以同时 处理一个病例的主诉文本和多张胃镜图片， 且不 同病例的胃镜图片数量可以不同； 本发明所提供 的胃溃疡诊断模 型采用全新的任务提示模板， 将 文本模态和图像模态融合， 共同完成胃溃疡的识 别任务， 在一定程度上， 可 以减少病例的标注成 本， 也能达到较高的预测性能， 并且以完形填空 的方式进行胃溃疡预测， 可更有效地利用预训练 的生物医药文本编码器， 无需额外预训练多模态 编码器， 大幅减少训练和预测时间。 权利要求书2页 说明书7页 附图1页 CN 115240847 A 2022.10.25 CN 115240847 A 1.一种胃溃疡诊断装置， 其特 征在于， 包括： 输入模块， 用于将 获取到的待诊病例的多张胃镜图片和主诉文本输入训练好的胃溃疡 诊断模型中； 主诉文本浅层特征提取模块， 用于利用所述胃溃疡诊断模型的文本编码器的嵌入层提 取主诉文本的特 征， 得到主诉文本 浅层特征序列； 胃镜图像特征提取模块， 用于利用所述胃溃疡诊断模型的图像编码器提取多张胃镜图 片的特征， 并传入所述胃溃疡诊断模型 的全连接层， 获取与所述主诉文本浅层特征相同维 度的胃镜图像特 征序列； 待诊病例任务提示模板获取模块， 用于提取所述胃溃疡诊断模型预设任务提示模板中 遮蔽字符和提示字符的文本浅层特征， 并在预设任务提示模板的主诉槽位和图像槽位传入 所述主诉文本 浅层特征序列和所述胃镜图像特 征序列， 得到待 诊病例的任务 提示模板； 多模态特征提取模块， 用于将所述待诊病例的任务提示模板和其中每个特征对应的位 置向量相加后传入文本编码器， 得到多模态特 征序列； 结果预测模块， 用于利用所述胃溃疡诊断模型的分类器根据多模态特征序列中遮蔽字 符对应的特 征， 预测遮蔽字符输出为 “有”或“无”的概率， 进而得到预测结果。 2.根据权利要求1所述的胃溃疡诊断装置， 其特征在于， 所述预设任务提示模板为 “主 诉槽位+图像槽位+该患者[MASK]胃溃疡 ”， 其中， 在所述图像槽位中， 相邻的图像特征间使 用特殊字符[ SEP]间隔开， [MASK]为所述遮蔽字符， “该患者”、“胃溃疡”为所述提示字符。 3.根据权利要求2所述的胃溃疡诊断装置， 其特征在于， 所述主诉文本浅层特征提取模 块用于将所述主诉文本 传入所述胃溃疡诊断模型的文本编码器的嵌入层 中， 得到主诉文本 浅层特征序列 ； 其中， 表示主诉文本的第n个字符， ， 主诉文本第n个字符对应的文本浅层 特征 ， 为所述文本编码器的嵌入层。 4.根据权利要求3所述的胃溃疡诊断装置， 其特征在于， 所述胃镜图像特征提取模块包 括： 图像特征提取单元， 用于将所述多张胃镜 图片归一化至统一的色彩空间和尺寸后， 利 用所述胃溃疡诊断模型的图像编码器提取 得到多张胃镜图片的特 征 ； 维度变换单元， 用于将所述多张胃镜图片的特征传入所述胃溃疡诊断模型的全连接 层， 获取与所述主诉文本 浅层特征相同维度的胃镜图像特 征序列 ； 其中， 表示 张胃镜图片中的第m张， ， 第m张胃镜图片对应的图像特征 ， 为所述图像编码器， 第m张胃镜图片对应的与文 本浅层特征相同维度的图像特征 ， 和 分别表示全连接层中可学习的权重 参数和偏置参数。 5.根据权利要求4所述的胃溃疡诊断装置， 其特征在于， 所述多模态特征提取模块用于 构建长度为k的位置向量 ， 与所述待诊病例的任务提示模 板 相加后权　利　要　求　书 1/2 页 2 CN 115240847 A 2传入文本编码器 ， 获得多模态特 征序列 ； 其中， 为待诊病例的任务提示模 板中第j个特征， 为多模态特征序列中的第j个特征， ， 为待诊病例的任务 提示模板中的特 征数量。 6.根据权利要求5所述的胃溃疡诊断装置， 其特 征在于， 所述结果预测模块包括： 映射单元， 用于将标签空间 中的每个标签 ， 定义映射 ， ； 概率预测单元， 用于选取遮蔽字符[MASK]对应的特征 ， 通过全连接层和 分 类器获得遮蔽字符[MASK]  输出字符为“有”或“无”的概率分布 ， ， 得到子集： ， 为标签空间中标签的数量； 分类单元， 用于选取所述子集中概 率最大的 所对应的 作为预测分类结果。 7.根据权利要求1所述的胃溃疡诊断装置， 其特 征在于， 还 包括： 胃溃疡诊断模型构建模块， 用于基于文本编码器、 图像编码器、 全连接层、 任务提示模 板、 分类器构建所述胃溃疡诊断模型； 胃溃疡诊断模型训练模块， 用于利用训练集中的训练样本训练所述胃溃疡诊断模型直 至损失函数收敛， 得到所述训练好的胃溃疡诊断模型。 8.根据权利要求7所述的胃溃疡诊断装置， 其特征在于， 所述损失函数为： ， 为标签空间中第i个标签， 为真实标签的one ‑hot编码中的第 i个分量， 为标签空间中标签的数量。 9.一种胃溃疡诊断设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算 机可读指 令， 所述处理器执行所述计算机可读指 令时实现如权利要求 1至6任一项 所述的胃 溃疡诊断装置中的各模块的功能。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读指令被处理器执行时实现 如权利要求1至 6任一项所述的胃溃疡诊断装置中的各模块的功能。权　利　要　求　书 2/2 页 3 CN 115240847 A 3