(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046130.X (22)申请日 2022.08.30 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 康琦　唐佳诚　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 蔡彭君 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06V 30/32(2022.01) (54)发明名称 基于语义特征化的可解释图像识别方法、 装 置及存储介质 (57)摘要 本发明涉及一种基于语义特征化的可解释 图像识别方法、 装置及存储介质， 其中方法包括： 获取待识别图像； 建立可解释CNN模型， 所述可解 释CNN模型包括CNN原始模型、 解析器和决策器， 其中， 所述CNN原始模型通过特征提取得到特征 图， 并通过变换映射和分类器对图像进行识别， 所述解析器通过分析特征面和标签信息， 筛选候 选语义特征并存入缓冲区， 得到基于候选语义特 征的相似图， 其中， 所述特征面和标签信息通过 观测点捕获得到， 所述决策器通过计算特征图和 基于候选语义特征的相似图的相似性， 对图像进 行识别； 将待识别图像输入训练完成的可解释 CNN模型， 得到图像识别结果。 与现有技术相比， 本发明解决了迭代搜索策略约束过多， 解释能力 下降等问题。 权利要求书2页 说明书7页 附图2页 CN 115375989 A 2022.11.22 CN 115375989 A 1.一种基于语义特 征化的可解释图像识别方法， 其特 征在于， 包括以下步骤： 获取待识别图像； 建立可解释CN N模型， 所述可解释CN N模型包括CN N原始模型、 解析器和决策器， 其中， 所述CNN原始模型通过特征提取得到特征图， 并通过变换映射和分类器对图像进行识 别， 所述解析器通过分析特征面和标签信息， 筛选得到候选语义特征并存入缓冲区， 得到 基于候选语义特 征的相似图， 其中， 所述特 征面和标签信息通过观测点捕获得到， 所述决策器通过计算特征图和基于候选语义特征的相似图的相似性， 对图像进行识 别； 将待识别图像输入训练完成的可解释CN N模型， 得到图像识别结果。 2.根据权利要求1所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 所 述可解释CNN模型根据用户需求选择不同的求解路线 得到不同的图像识别结果， 其中， 一条 求解路线为选择CNN原始模型进行求解， 得到第一图像识别结果； 另一条求解路线为选择 CNN原始模型、 解析器和决策器进行求 解， 得到第二图像识别结果。 3.根据权利要求1所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 所 述观测点 挂载于CNN原始模型内部第l层， 用于捕获对于给定 输入的特 征面： 其中， H， W， C分别代 表特征面的长、 宽及通道数。 4.根据权利要求3所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 观 测点捕获特征面时采用映射正则化方法对特征图进行处理， 通过不断估计CNN网络在每个 神经元上的期望与方差， 为特 征空间设计一 致的动态特 征： 其中， 与 分别表示CNN网络在每个神经元上的期望与方差， k为语义特征所在的特 征通道， ε1为预配置的超参数。 5.根据权利要求1所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 所 述解析器基于样本的特征面及标签信息展开分析， 利用不同尺寸的滑动窗口对特征面进 行 扫描得到特征子图， 通过构建基于特征子图和特征图的相似图， 采用统计分析方法量化每 个特征子图的分类能力得到语义特征， 筛选得到候选语义特征并存入缓冲区， 得到基于候 选语义特 征的相似图。 6.根据权利要求5所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 所 述解析器通过相关裁 剪筛选得到候选语义特 征。 7.根据权利要求6所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 解 析器通过计算两个语义特征的互信息衡量它们的相关性， 并基于相关性进 行裁剪筛选得到 候选语义特 征， 其中， 所述互信息为的计算方法为：权　利　要　求　书 1/2 页 2 CN 115375989 A 2其中， Mp， Mq是初步提取的两个语义特征， p(Mp)和p(Mq)是通过比较 特征空间上的相似 性 得到的边际分布， p(Mp， Mq)是联合分布。 8.根据权利要求1所述的一种基于语义特征化的可解释图像识别方法， 其特征在于， 所 述决策器是 可解释的线性分类 器， 其参数代表候选语义特 征与不同标签的相关 关系。 9.一种基于语义特征化的可解释图像识别装置， 包括存储器、 处理器， 以及存储于所述 存储器中的程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑8中任一所述 的方法。 10.一种存储介质， 其上存储有程序， 其特征在于， 所述程序被执行时实现如权利要求 1‑8中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115375989 A 3