(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210700143.8 (22)申请日 2022.06.20 (71)申请人 珠海横琴圣澳云智科技有限公司 地址 519031 广东省珠海市横琴新区粤澳 合作中医药科技产业园飞蓬路100号2 栋102、 202、 402 (72)发明人 石剑峰　吕行　蓝兴杰　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 周春霞 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06F 40/30(2020.01)G06V 10/77(2022.01) G16H 15/00(2018.01) (54)发明名称 基于全局最优匹配的临床诊断报告多媒体 展示方法和装置 (57)摘要 本发明提供一种基于全局最优匹配的临床 诊断报告多媒体展示方法和装置， 其中方法包 括： 获取临床诊断报告中各报告目标的报告特征 以及医学影像中各影像目标的影像特征， 基于任 一报告目标的报告特征和任一影像目标的影像 特征， 以及多类病灶描述特征对应的权重， 确定 两者之间的相似度， 并基于各个报告目标与各个 影像目标之间的相似度， 对各个报告目标和影像 目标进行全局匹配， 得到各个报告目标匹配的影 像目标， 可以准确地将临床诊断报告中的各个报 告目标与医学影像中指示同一病灶的影像目标 相关联； 再基于临床诊断报告中包含的所有报告 目标以及各个报告目标所匹配的影像目标进行 多媒体展示， 可以提供更直观、 更易理解且更全 面的临床诊断报告 展示方法。 权利要求书2页 说明书10页 附图2页 CN 114998660 A 2022.09.02 CN 114998660 A 1.一种基于全局最优匹配的临床诊断报告 多媒体展示方法， 其特 征在于， 包括： 对临床诊断报告进行语义分析处理， 得到若干个报告目标的报告特征， 并对所述临床 诊断报告对应的医学影像进 行目标识别， 得到多个影像目标的影像特征； 其中， 所述报告 特 征和所述影 像特征中包含多类不同维度的病灶描述特 征； 基于任一报告目标的报告特征和任一影像目标的影像特征， 以及多类病灶描述特征对 应的权重， 确定所述任一报告目标与所述任一影 像目标之间的相似度； 基于任一报告目标与任一影像目标之间的相似度， 对所述若干个报告目标和所述多个 影像目标进行全局匹配， 得到所述若干个报告目标匹配的影 像目标； 基于所述若干个报告目标及其匹配的影 像目标进行多媒体展示。 2.根据权利要求1所述的基于全局最优匹配的临床诊断报告多媒体展示方法， 其特征 在于， 所述多类病灶描述特征对应的权重是基于所述多类病灶描述特征的特征提取精度确 定的； 任一病灶描述特 征的特征提取精度越高， 所述任一病灶描述特 征对应的权 重越大。 3.根据权利要求2所述的基于全局最优匹配的临床诊断报告多媒体展示方法， 其特征 在于， 所述基于任一报告目标与任一影像目标之间的相似度， 对所述若干个报告目标和所 述多个影像目标进行全局匹配， 具体包括： 基于任一报告目标与任一影 像目标之间的相似度， 构建代价矩阵； 将所述代价矩阵中每一行的相似度减去对应行的最小相似度后， 将所述代价矩阵中每 一列的相似度减去对应列的最小相似度； 基于所述代价矩阵进行全局匹配， 确定包含所述代价矩阵中所有零值的最小行列 数和 相应的含零行和含零列； 若所述最小行列数小于所述报告目标的数量， 则确定所述含零行和所述含零列以外的 未覆盖最小相似度， 将所述含零行和所述含零列以外的相似度减去所述未覆盖最小相似 度， 以及将所述含零行和所述含零列 交集位置处的相似度加上所述未覆盖最小相似度， 并 基于更新后的代价矩阵进 行全局匹配， 直至包含所述代价矩阵中所有零值的最小 行列数等 于所述报告目标的数量。 4.根据权利要求1所述的基于全局最优匹配的临床诊断报告多媒体展示方法， 其特征 在于， 所述基于任一报告目标的报告特征和任一影像目标 的影像特征， 以及多类病灶描述 特征对应的权 重， 确定所述任一报告目标与所述任一影 像目标之间的相似度， 具体包括： 对所述若干个报告目标的报告特征和所述多个影像目标的影像特征进行数值转换， 得 到所述若干个报告目标的报告标准 化特征和所述多个 影像目标的影 像标准化特征； 基于任一报告目标的报告标准化特征和任一影像目标的影像标准化特征， 以及所述多 类病灶描述特 征对应的权 重， 确定所述任一报告目标与所述任一影 像目标之间的相似度。 5.根据权利要求1所述的基于全局最优匹配的临床诊断报告多媒体展示方法， 其特征 在于， 所述对临床诊断报告进行语义分析处理， 得到若干个报告目标的报告特征， 具体包 括： 对所述临床诊断报告中的影像描述和所述临床诊断报告中的诊断意见进行关联分析， 获取所述诊断意见中与所述影 像描述的任一第一语义单 元相关联的第二语义单 元； 和/或， 确定与所述临床诊断报告相关联的历史诊断报告， 并获取所述历史诊断报告中 与所述临床诊断报告的影 像描述的任一第一语义单 元相关联的第三语义单 元；权　利　要　求　书 1/2 页 2 CN 114998660 A 2基于所述诊断意见中的第二语义单元和/或所述历史诊断报告中的第三语义单元， 以 及所述影像描述中的各个第一语义单元， 进行语义分析处理， 得到若干个报告目标 的报告 特征。 6.根据权利要求1所述的基于全局最优匹配的临床诊断报告多媒体展示方法， 其特征 在于， 所述多类不同维度的病灶描述特征包括： 肺结节所在肺、 肺结节所在肺叶、 肺结节所 在肺段、 肺结节 尺寸和肺结节类型。 7.根据权利要求1至6任一项所述的基于全局最优匹配的临床诊断报告多媒体展示方 法， 其特征在于， 所述基于所述若干个报告目标及其匹配的影像目标进 行多媒体展示， 具体 包括： 基于所述若干个报告目标匹配的影像目标在对应医学影像中的坐标， 依次选取所述若 干个报告目标匹配的影 像目标所在图层并对当前匹配的影 像目标进行突出处 理； 基于所述若干个报告目标匹配的影像目标所在图层结合所述若干个报告目标的报告 特征， 生成所述临床诊断报告的视频流； 根据报告模板生成与 所述视频流对应的音频流， 并将所述视频流和所述音频流进行音 视频合成， 得到所述临床诊断报告的多媒体展示视频。 8.一种基于全局最优匹配的临床诊断报告 多媒体展示装置， 其特 征在于， 包括： 报告影像处理单元， 用于对临床诊断报告进行语义分析处理， 得到若干个报告目标的 报告特征， 并对所述临床诊断报告对应的医学影像进行目标识别， 得到多个影像目标的影 像特征； 其中， 所述报告特 征和所述影 像特征中包含多类不同维度的病灶描述特 征； 相似度量单元， 用于基于任一报告目标的报告特征和任一影像目标的影像特征， 以及 多类病灶描述特征对应的权重， 确定所述任一报告目标与所述任一影像目标之间的相似 度； 全局匹配单元， 用于基于任一报告目标与任一影像目标之间的相似度， 对所述若干个 报告目标和所述多个 影像目标进行全局匹配， 得到所述若干个报告目标匹配的影 像目标； 多媒体展示单元， 用于基于所述若干个报告目标及其匹配的影像目标进行多媒体展 示。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于全局最优匹配的临床诊断报告 多媒体展示方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述基于全局 最优匹配的临床诊断报 告多媒体展示方法。权　利　要　求　书 2/2 页 3 CN 114998660 A 3