(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210664467.0 (22)申请日 2022.06.14 (71)申请人 中山大学 地址 510006 广东省广州市海珠区新港西 路135号 (72)发明人 林格　周凡　陈小燕　 (51)Int.Cl. G06F 16/583(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01) G16H 30/20(2018.01) G16H 50/20(2018.01) (54)发明名称 相似病灶的检索和匹配方法与系统 (57)摘要 本发明公开了一种相似病灶的检索和匹配 方法与系统。 包括： 收集患者体检的各种量化指 标及过往患者病灶CT图像数据， 训练CT扫描图像 编码器， 训练CT扫描图像解码器， 训练辅助信息 编码器， 对待诊断患者进行CT扫描并输入其信 息， 得到病灶的CT图像并输入到CT扫描图像编码 器中， 再将待诊断患者的辅助个人信息输入到辅 助信息编码器中， 最后结合相关病例及CT扫描图 像解码器对病灶情况的具体判断辅助医生对患 者进行诊断， 最后将诊断结果输入到患者信息管 理系统以持续优化检索匹配系统。 本发明可持续 优化患者信息管理系统， 其病灶检索匹配系统综 合考虑患者多方面可能影 响病灶属性的信息， 并 将VIT结构引入病灶图像的学习中， 有更大潜力 学到用户的病灶信息 。 权利要求书3页 说明书7页 附图2页 CN 115080782 A 2022.09.20 CN 115080782 A 1.一种相似病灶的检索和匹配方法， 其特 征在于， 所述方法包括： 确认患者的具体临床症状， 并收集患者体 检的各种量 化指标； 收集过往患者病灶CT图像和经由医生判断之后确定的病灶区域， 标注出所述病灶区 域， 并将所述病灶的具体 类型信息记录为种类标签； 训练CT扫描图像编码器， 首先将经目标检测后得到的图像输入到CT扫描图像编码器 中， 将其输出的CT扫描图像的编码和所述用户辅助信息的表示结果融合后输入到CT扫描图 像解码器中， 在得到相似病灶检测输出和病灶判断输出后和所述种类标签做 回归， 精度下 降到网络收敛时， 完成CT扫描图像编码器的训练； 训练CT扫描图像解码器， 参照VIT中的attention模块， 将所述用户辅助信息 的表示结 果和所述CT扫描图像的编码输入到CT扫描图像解码器中， 将患者辅助信息作为attention 中的K和V， 所述CT扫描图像的编码作为Q， 通过子注 意力机制结合患者本身的信息来学习到 患者的患病情况， 并直接输出对于用户病灶的判断， 作为医生对患者病情定性的一个参照， 同时将CT扫描图像解码 器得到的病灶隐码输入到相似病灶检索系统， 在患者信息档案中检 索相似的病例来作为医生确诊患者病灶的参 考； 训练辅助信息编码器， 所述辅助信息编码器基于transformer的编码器结构， 首先将用 户的各项身体指标以及生活习惯信息转化为one ‑hot张量， 然后将所述one ‑hot张量信息输 入全连接网络FC中做词嵌入， 接着将嵌入后的张量作为用户辅助信息的表示结果， 最后将 所述用户辅助信息的表示结果和所述CT扫描图像的编码 输入到基于transformer的CT图像 解码器中， 通过梯度下降的方式训练所述辅助信息编码器直至其收敛； 将待诊断患 者的信息输入到所述完成所有子网络训练后的病灶检索匹配系统中， 将其 作为一个补充数据集的扩充数据库； 对所述待诊断患者进行CT扫 描， 将几个关键的照位作为病灶检测网络Faster RCNN的输 入， 将输出的病灶位置作为截取图像的依据来对原病灶检测的CT图像进行截取， 得到病灶 的CT图像； 将所述病灶的CT图像输入到所述CT扫描图像编码器 中， 同时将所述待诊断患者的辅助 个人信息输入到所述辅助信息编码 器中， 将所述两个编码 器的值作为子注意力机制的Q， K， V分别输入到所述CT扫描图像解码器中， 由所述CT扫描图像解码器分别输出对于病灶判断 的隐码和对病灶的具体判断， 其中病灶判断的隐码输入到所述相似病灶检索系统中， 以此 来检索相关的其他病例， 最后结合相关病例以及所述CT扫描图像解码 器对病灶情况的具体 判断来辅助医生对患者进行诊断； 将诊断结果输入到患者信息管理系统作为数据库的补充， 同时持续跟踪患者的情况， 记录患者后续的治疗状况来作为 新的数据集的标签， 以持续优化检索匹配系统。 2.如权利要求1所述的相似病灶的检索和匹配方法， 其特征在于， 所述确认患 者的具体 临床症状， 并收集患者体 检的各种量 化指标， 具体为： 对用户进行CT扫描， 并从不同的照位 来收集患者的病灶区域图像。 3.如权利要求1所述的相似病灶的检索和匹配方法， 其特征在于， 所述收集过往患 者病 灶CT图像和经 由医生判断之后确定的病灶区域， 标注出所述病灶区域， 并将所述病灶的具 体类型信息记录为种类标签， 具体为： 基于所述收集到 的目标检测数据集， 来训练FasterRCNN网络到收敛， 将所述病灶区域权　利　要　求　书 1/3 页 2 CN 115080782 A 2图像拉伸并调整对比度、 亮度来做数据增强， 多次训练后， 采用测试集上效果最佳的目标检 测网络作为本方法的病灶区域检测网络， 以测试其关于病灶位置检测准确 性， 并确保其准 确性接近或者超过正常医生检测指标。 4.如权利要求1所述的相似病灶的检索和匹配方法， 其特征在于， 所述训练辅助信 息编 码器， 具体为： 辅助信息编码器基于transformer的编码器结构， 首先将用户的各项身体指标以及生 活习惯信息转化为one ‑hot张量， 然后将所述one ‑hot张量信息输入FC中做词嵌入， 接着将 嵌入后的张量作为用户辅助信息的表示结果； 将所述用户辅助信息的表示结果作为所述基于transformer的CT图像解码器 的K和V， 所述CT扫描图像的编码作为Q， 输入到所述tr ansformer解码器中， 并通过解码器以及后续 的相似病灶检索系统得出整个网络对于病灶性质的判断， 并检索出相似的病灶作为网络结 构的输出， 将所述输出和收集到的不同用户之前 的病例来做回归， 通过梯度下降的方式训 练所述辅助信息编码器直至其收敛。 5.一种相似病灶的检索和匹配系统， 其特 征在于， 所述系统包括： 数据收集单元， 用于确认患 者的具体临床症状， 并收集患 者体检的各种量化指标； 收集 过往患者病灶CT图像和经 由医生判断之后确定的病灶区域， 标注出所述病灶区域， 并将所 述病灶的具体 类型信息记录为种类标签； CT扫描图像编码器训练单元， 用于训练CT扫描图像编码器， 首先将经目标检测后得到 的图像输入到CT扫描图像编码 器中， 将其输出的CT扫描图像的编码和所述用户辅助信息的 表示结果融合后输入到CT扫描图像解码 器中， 在得到相似病灶检测输出和病灶判断输出后 和所述种类标签做回归， 精度下降到网络收敛时， 完成CT扫描图像编码器的训练； CT扫描图像解码器训练单元， 用于训练CT扫描图像解码器， 参照VIT中的attention模 块， 将所述用户辅助信息的表示结果和所述CT扫描图像的编码输入到CT扫描图像解码器 中， 将患者辅助信息作为attention中的K和V， 所述CT扫描图像的编码作为Q， 通过子注 意力 机制结合患者本身的信息来学习到患者的患病情况， 并直接输出对于用户病灶的判断， 作 为医生对患者病情定性的一个参照， 同时将CT扫描图像解码器得到的病灶隐码输入到相似 病灶检索系统， 在患者信息档案中检索相似的病例来作为医生确诊患者病灶的参 考； 辅助信息编码器训练单元， 用于训练辅助信息编码器， 所述辅助信息编码器基于 transformer的编码器结构， 首先将用户的各项身体指标以及生活习惯信息转化为one ‑hot 张量， 然后将所述one ‑hot张量信息输入FC中做词嵌入， 接着将嵌入后的张量作为用户辅助 信息的表示结果， 最后将所述用户辅助信息的表 示结果和所述CT扫描图像的编 码输入到基 于transformer的CT图像解码器中， 通过梯度下降的方式训练所述辅助信息编码器直至其 收敛； 待测患者信息输入单元， 用于将待诊断患 者的信息输入到所述完成所有子网络训练后 的病灶检索匹配系统中， 将其作为 一个补充数据集的扩充数据库； 病灶CT图像生成单元， 用于对对所述待诊断患者进行CT扫描， 将几个关键的照位作为 病灶检测网络FasterRCNN的输入， 将 输出的病灶位置作为截取图像的依据来对原病灶检测 的CT图像进行截取， 得到病灶的CT图像； 辅助诊断单元， 用于将所述病灶的CT图像输入到所述CT扫描图像编码器中， 同时将所权　利　要　求　书 2/3 页 3 CN 115080782 A 3