(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094946 0.3 (22)申请日 2022.08.09 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王新宇　黄明明　刘巍　车婷婷　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　马敬 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) (54)发明名称 一种视频对齐方法、 装置、 设备以及存储介 质 (57)摘要 本公开提供了一种视频对齐方法、 装置、 设 备以及存储介质， 涉及图像处理技术领域， 尤其 涉及计算机视觉、 多媒体等领域。 具体实现方案 为： 一种视频对齐方法， 包括： 获取第一待对齐视 频中的多个第一待处理图像， 以及获取第二待对 齐视频中的多个第二待处理图像； 计算各个第一 待处理图像分别与各个第二待处理图像之间的 相似度； 将各相似度映射至对应元素的元素值； 基于所有元素的元素值， 确定第一待对齐视频和 第二待对齐视频中的对齐图像序列。 本公开提供 了一种通用的视频对齐方法。 权利要求书3页 说明书14页 附图3页 CN 115331143 A 2022.11.11 CN 115331143 A 1.一种视频对齐方法， 包括： 获取第一待对齐视频中的多个第 一待处理图像， 以及获取第 二待对齐视频中的多个第 二待处理图像； 计算各个第一待处 理图像分别与各个第二待处 理图像之间的相似度； 将各所述相似度映射至对应元 素的元素值； 基于所有元素的元素值， 确定所述第 一待对齐视频和所述第 二待对齐视频中的对齐图 像序列。 2.根据权利要求1所述的方法， 其中， 所述将各所述相似度映射至对应元素的元素值， 包括： 按照各个第 一待处理图像在所述第 一待对齐视频中的顺序， 以及各个第 二待处理图像 在所述第二待对齐视频中的顺序， 依 次选取图像组， 一个图像组包括一个第一待处理图像 和一个第二待处 理图像， 每一图像组对应一个元 素； 针对每一图像组， 基于所述第一待处理图像和所述第二待处理图像之间的相似度， 确 定所述图像组对应的元 素的元素值。 3.根据权利要求2所述的方法， 其中， 所述元 素为图像匹配矩阵中的矩阵元 素； 所述基于所述第 一待处理图像和所述第 二待处理图像之间的相似度， 确定所述图像组 对应的元 素的元素值， 包括： 基于所述第 一待处理图像在所述第 一待对齐视频中的顺序， 确定所述图像组对应的矩 阵元素在图像匹配矩阵中的行号； 基于所述第 二待处理图像在所述第 二待对齐视频中的顺序， 确定所述图像组对应的矩 阵元素在图像匹配矩阵中的列号； 基于所述第 一待处理图像和所述第 二待处理图像之间的相似度， 确定所述行号和所述 列号对应的矩阵元 素的元素值。 4.根据权利要求3所述的方法， 其中， 所述基于所述第 一待处理图像和所述第 二待处理 图像之间的相似度， 确定所述行号和所述列号对应的矩阵元 素的元素值， 包括： 将所述第一待处理图像以及第二待处理图像之间的相似度与所述预设相似度阈值进 行比较； 若所述相似度小于所述预设相似度阈值， 则所述行号和所述列号对应的矩阵元素的元 素值为第一预设值； 若所述相似度不小于所述预设相似度阈值， 则利用所述行号减1得到的行号以及所述 列号减1得到的列号对应的矩阵元素 的元素值， 确定所述行号和所述列号对应的矩阵元素 的元素值。 5.根据权利要求1所述的方法， 其中， 所述基于所有元素的元素值， 确定所述第一待对 齐视频和所述第二待对齐视频中的对齐图像序列， 包括： 对所有元 素进行排列， 得到多个元 素序列， 所述元 素序列包 含至少两个元 素； 选取所有元素序列中多个元素值连续大于第 三预设值的元素序列， 并将多个元素值连 续大于第三预设值的元素序列中元素个数最多的元素序列作为目标元素序列； 和/或， 选取 所有元素序列中元 素值大于第三预设值的数量 最多的元 素序列， 作为目标 元素序列； 基于所述目标元素序列， 确定所述第 一待对齐视频和所述第 二待对齐视频中的对齐图权　利　要　求　书 1/3 页 2 CN 115331143 A 2像序列。 6.根据权利要求5所述的方法， 其中， 所述元 素为图像匹配矩阵中的矩阵元 素； 所述选取所有元素序列中多个元素值连续大于第 三预设值的元素序列， 并将多个元素 值连续大于第三预设值的元 素序列中元 素个数最多的元 素序列作为目标 元素序列， 包括： 查找所有矩阵元 素的元素值中的最大 元素值； 确定所述 最大元素值所在的第一目标矩阵元 素斜线； 查找所述第一目标矩阵元素斜线对应的元素序列中多个元素值连续大于第三预设值 的连续元 素序列， 所述连续元 素序列为所述目标 元素序列。 7.根据权利要求5所述的方法， 其中， 所述选取所有元素序列中元素值大于第 三预设值 的数量最多的元 素序列， 作为目标 元素序列， 包括： 确定元素值大于第三预设值的数量 最多的第二目标矩阵元 素斜线； 将所述第二目标矩阵元素斜线对应元素序列作为最长相似元素序列， 所述最长相似元 素序列为所述目标 元素序列。 8.根据权利要求6或7所述的方法， 其中， 所述基于所述目标元素序列， 确定所述第一待 对齐视频和所述第二待对齐视频中的对齐图像序列， 包括： 基于所述目标 元素序列确定第一 起点帧、 第一尾点帧、 第二 起点帧和第二尾点帧； 将多个第一待处理图像中从所述第一起点帧至所述第一尾点帧的图像序列作为第一 对齐图像序列； 将多个第二待处理图像中从所述第二起点帧至所述第二尾点帧的图像序列作为第二 对齐图像序列。 9.一种视频对齐装置， 包括： 获取模块， 用于获取第一待对齐视频中的多个第一待处理图像， 以及获取第二待对齐 视频中的多个第二待处 理图像； 计算模块， 用于计算各个第一待处 理图像分别与各个第二待处 理图像之间的相似度； 映射模块， 用于将各 所述相似度映射至对应元 素的元素值； 确定模块， 用于基于所有元素的元素值， 确定所述第一待对齐视频和所述第二待对齐 视频中的对齐图像序列。 10.根据权利要求9所述的装置， 其中， 所述映射模块， 具体用于按照各个第 一待处理图 像在所述第一待对齐视频中的顺序， 以及各个第二待处理图像在所述第二待对齐视频中的 顺序， 依次选取图像组， 一个图像组包括一个第一待处理图像和一个第二待处理图像， 每一 图像组对应一个元素； 针对每一图像组， 基于所述第一待处理图像和所述第二待处理图像 之间的相似度， 确定所述图像组对应的元 素的元素值。 11.根据权利要求10所述的装置， 其中， 所述元 素为图像匹配矩阵中的矩阵元 素； 所述映射模块， 具体用于基于所述第一待处理图像在所述第一待对齐视频中的顺序， 确定所述图像组对应的矩阵元素在图像匹配矩阵中的行号； 基于所述第二待处理图像在所 述第二待对齐视频中的顺序， 确定所述图像组对应的矩阵元素在图像匹配矩阵中的列号； 基于所述第一待处理图像和所述第二待处理图像之 间的相似度， 确定所述行号和所述列号 对应的矩阵元 素的元素值。 12.根据权利要求11所述的装置， 其中， 所述映射模块， 具体用于将所述第一待处理图权　利　要　求　书 2/3 页 3 CN 115331143 A 3