(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210708793.7 (22)申请日 2022.06.22 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 刘华平　高晨峻　袁小虎　董言治　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 王萌 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 30/148(2022.01) (54)发明名称 一种从红外图像中解译文字描述的方法及 装置 (57)摘要 本发明提出一种从红外图像中解译文字描 述的方法及装置， 属于计算机视觉和红外图像处 理领域。 其中， 所述方法包括： 获取红外图像， 将 所述红外图像输入预设的红外图像描述网络， 得 到所述图像对应的文字描述， 所述文字描述包含 所述红外图像中的目标以及所述目标之间的关 系。 本发明通过从红外图像获取目标及其周围的 重要热源信息， 可使人们可 以在任意时间、 任意 地点对环 境信息进行捕获和解译， 不再局限于可 见光充足的条件 下， 填补了环 境信息解译在暗光 或无光环 境下使用范围的空白， 对 所关心目标在 弱光或无光下的捕获与描述具有极大的实用意 义。 权利要求书2页 说明书9页 附图1页 CN 115170918 A 2022.10.11 CN 115170918 A 1.一种从红外图像中解译 文字描述的方法， 其特 征在于， 包括： 获取红外图像； 将所述红外 图像输入预设的红外 图像描述网络， 得到所述图像对应的文字描述， 所述 文字描述包 含所述红外图像中的目标以及所述目标之间的关系。 2.根据权利要求1所述的方法， 其特征在于， 在所述将所述红外图像输入预设的红外图 像描述网络， 得到所述图像对应的文字描述之前， 还 包括： 训练所述红外图像描述网络； 所述训练所述红外图像描述网络包括： 构建红外图像训练集， 所述红外图像训练集包 含红外图像及对应的文字描述； 构建红外图像描述网络， 所述红外图像描述网络包括依次连接的CNN特征提取子网络、 RNN注意力机制子网络和LSTM子网络； 其中， 所述CNN特征提取子网络用于提取输入图像的 特征； 所述 RNN注意力机制子网络用于根据所述特征， 从备选描述语料库中提取所述图像中 目标对应的单词； 所述 LSTM子网络用于根据单词确定描述语句的语序； 利用所述红外图像训练集训练所述红外图像描述网络， 得到训练完毕的红外图像描述 网络。 3.根据权利要求2所述的方法， 其特征在于， 所述CNN特征提取子网络采用Resnet预训 练模型。 4.根据权利要求2所述的方法， 其特征在于， 所述备选描述语料库是将所述红外图像训 练集中每张图像对应的文字描述拆分成单词后组成的单词集 合。 5.根据权利要求2所述的方法， 其特征在于， 所述红外图像训练集中红外图像的生成方 法为： 获取可见光图像集， 所述可 见光图像集包 含可见光图像及对应的文字描述； 将所述可 见光图像输入预设的图像转译模型， 得到对应的红外图像； 将所述红外图像及对应的可见光图像的文字描述组成训练样本以构建所述红外图像 训练集。 6.根据权利要求5所述的方法， 其特征在于， 在所述将所述可见光图像输入预设的图像 转译模型， 得到对应的红外图像之前， 还 包括： 训练所述图像转译模型； 所述训练所述图像转译模型， 包括： 获取可见光 ‑红外图像对数据集， 所述可见光 ‑红外图像对数据集包含多组可见光 ‑红 外图像对， 每组可 见光‑红外图像对通过对同一 地点分别采集可 见光图像和红外图像获得； 构建图像转译模型， 所述图像转译模型包含两个结构完全相同的对抗性生成器网络， 其中第一生成器网络用于将输入的可见光图像转化为对应的红外图像， 第二生成器网络用 于将输入的红外图像转 化为对应的可 见光图像； 利用所述可见光 ‑红外图像对数据集训练所述图像转译模型， 得到训练完毕的图像转 译模型。 7.根据权利要求5所述的方法， 其特征在于， 在所述将所述红外图像及对应的可见光图 像的文字描述组成训练样本之前， 还 包括： 删除所述可 见光图像的文字描述中与红外图像无关的信息， 得到优化后的文字描述。权　利　要　求　书 1/2 页 2 CN 115170918 A 28.一种从红外图像中解译 文字描述的装置， 其特 征在于， 包括： 红外图像获取模块， 用于获取红外图像； 文字描述生成模块， 用于将所述红外 图像输入预设的红外 图像描述网络， 得到所述图 像对应的文字描述， 所述文字描述包 含所述红外图像中的目标以及所述目标之间的关系。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被设置为用 于执行上述权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机指 令， 所述计算机指令用于使所述计算机执 行权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115170918 A 3