(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210695428.7 (22)申请日 2022.06.17 (71)申请人 南京航空航天大 学 地址 211106 江苏省南京市江宁区将军大 道29号 (72)发明人 王立松　许洁　刘绍翰　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 徐燕 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于对比学习的关系型深度聚类方法 (57)摘要 本发明公开了一种基于对比学习的关系型 深度聚类方法， 包括： 对原始图像数据进行增强 处理， 得到相应的增强图像数据； 将原始图像数 据和增强图像数据导入神经网络， 将输入图像数 据经过层次化的非线性映射， 分别得到分配概率 矩阵； 根据原始图像数据和增强图像数据的分配 概率矩阵计算得到原始 图像数据和增强图像数 据的结构关系矩阵； 构建总损失函数。 本发明能 够获得更多的正向鉴别特征， 减小聚类嵌入的类 内方差， 从而获得更好的聚类结果。 权利要求书2页 说明书7页 附图1页 CN 114972832 A 2022.08.30 CN 114972832 A 1.一种基于对比学习的关系型深度聚类方法， 其特征在于， 所述关系型深度聚类方法 包括以下步骤： S1， 对原始图像数据xi进行增强处理， 得到相应的增强图像数据xi′＝T(xi)； T()为采用 的数据增强函数； S2， 将原始图像数据xi和增强图像数据xi′导入神经网络， 将输入图像数据经过层次化 的非线性映射， 分别得到输出原始图像数据xi和增强图像数据xi′的分配概率矩阵； 其中， 分 配概率矩阵的行表示图像的特征表示； 分配概率矩阵的列作为数据分布情况， 代表不同语 义类的聚类表示； S3， 根据原始图像数据xi和增强图像数据xi′的分配概率矩阵计算得到原始图像数据xi 和增强图像数据xi′的结构关系矩阵； S4， 构建总损失函数 α 为权重参数， 为实例表示损失函数， 用 于在样本级别， 通过最小化原始图像与增强 图像之间的相似度， 表征原始图像及其增强 图 像的特征表示的一致性； 为聚类表示损失函数， 用于在聚类级别， 通过最小化原始类与 增强类之间的相似度， 表征原始图像及其增强图像的分配的一致性； 为关系表示损失函 数， 用于在关系级别， 通过最小化原始结构关系与增强结构关系之间的相似度， 表征原始图 像及其增强图像的关系表示的一 致性。 2.根据权利要求1所述的基于对比学习的关系型深度聚类方法， 其特征在于， 步骤S2 中， 数据增强函数包括随机裁剪、 水平翻转、 色彩抖动和灰度化四种类型数据增强函数中的 多种或者全部 。 3.根据权利要求1所述的基于对比学习的关系型深度聚类方法， 其特征在于， 步骤S2 中， 步骤S 2中， 采用Re sNet34作为骨干网络， 对 输入的原始图像数据xi和增强图像数据xi′进 行层次化的非线性映射处 理， 输出分配概 率矩阵作为相应图像的特 征矩阵。 4.根据权利要求1所述的基于对比学习的关系型深度聚类方法， 其特征在于， 步骤S3 中， 采用空间中的欧氏距离、 角度作为原始图像数据xi和增强图像数据xi′之间的结构关系 表示。 5.根据权利要求1所述的基于对比学习的关系型深度聚类方法， 其特征在于， 步骤S4 中， 步骤S4中， 实例表示损失函数 的构建过程包括以下子步骤： A41， 给定一批大小为N的原始样本集x＝{x1， x2， ...， xN}， 其对应的N个增强样本集为x ′ ＝{x1′， x2′， ...， xN′}； A42， 对于任意原始图像样本xi， xi与N个增强图像样本共组成N个数据 对； 将该原始图像 样本与其对应的增强图像样本组成的数据对(xi， xi′)视为正对， 将该原始图像样本与其他 N‑1个增强图像样本组成的数据对(xi， xj′)视为负对； i， j＝1， 2， . ..， N， j≠i； A43， 采用非线性MLPg( ·)将原始样本集x和增强样本集x ′映射到概率分配空间中， 得 到的概率分配被视为实例的特 征表示u＝g(fθ(x))， u′＝g(fθ(x′))； A44， 根据 下述公式计算得到余弦相似度， 将余弦相似度作为评价正样本对的分配概率 是否保持一 致性的指标： 权　利　要　求　书 1/2 页 2 CN 114972832 A 2其中， ||·||2代表L2归一化； A45， 根据I nfoNCE， 实例表示损失函数 定义为： 其中， τ＞0是温度参数， ui是原始图像xi的特征表示， ui′是增强图像xi′的特征表示， uj′ 是增强图像xj′的特征表示； 是数学期望。 6.根据权利要求1所述的基于对比学习的关系型深度聚类方法， 其特征在于， 步骤S4 中， 步骤S4中， 聚类表示损失函数 的构建过程包括以下子步骤： B41， 假设原始图像及其增强图像对应的输出概率分配矩阵分别为V＝[v1， v2， ...， vC]N×C和V′＝[v1′， v2′， ...， vC′]N×C； V和V′的列空间vk与vk′用于说明哪些图像被分配给聚 类k， V和V ′的第k个列被视为第k个聚类的表示； B42， 将被归为同一类的聚类视为 正类对， 其 他聚类视为负类对； B43， 使用余弦距离来衡量聚类表示对之间的相似性： B44， 对于温度参数τ， 聚类表示损失函数 的损失定义 为： 式中， τ ＞0， k， m＝1， 2， . ..， C， k≠m。 7.根据权利要求1所述的基于对比学习的关系型深度聚类方法， 其特征在于， 步骤S4 中， 步骤S4中， 关系表示损失函数 的构建过程包括以下子步骤： C41， 使用空间中的欧氏距离作为原 始图像xi和原始图像xj之间的关系表示 其中， μ是距离的标准 化因子， ui是原始图像xi的特征表示， uj是原始图像xj的特征表示； C42， 将μ设置为每个batch的数据对集合B中所有数据对之间的平均距离， 采用下述公 式计算 μ 的取值： 式中， |B|是 数据对集 合B中的数据对总数； C43， 关系表示损失函数 表示为： 其中， lσ为L2距离， 是增强图像xi′和增强图像xj′之间的关系表示。权　利　要　求　书 2/2 页 3 CN 114972832 A 3