(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211131194.X (22)申请日 2022.09.16 (71)申请人 广州品唯软件 有限公司 地址 510000 广东省广州市荔湾区芳村花 海街20号自编6号楼 (72)发明人 贺旭　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张茵 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) (54)发明名称 关键帧查找方法、 装置、 存储介质及计算机 设备 (57)摘要 本申请提供了一种关键帧查找方法、 装置、 存储介质及计算机设备， 以控件响应视频的第一 帧或最后一帧对比帧， 并据此求得相似度波动 值， 且依据最大相似度波动值确定关键帧， 从而 可尽量排除GIF动效的干扰， 进而可提高关键帧 查找的准确性。 另一方面， 对于每个视频帧， 本申 请通过分别计算该视频帧与对比帧在每个像素 坐标点处的像素差值绝对值， 并选择性地对满足 条件的像素差值绝对值进行放大处理， 以计算该 视频帧对应的图像差异值， 从而使得该图像差异 值可以反映该视频帧与对比帧之间的细小差异。 本申请依据各个图像差异值的差异波动值来确 定关键帧， 可以结合视频帧与对比帧之间的细小 差异来查找关键帧， 进而提高关键帧查找的准确 性。 权利要求书3页 说明书14页 附图7页 CN 115527142 A 2022.12.27 CN 115527142 A 1.一种关键帧查找方法， 其特 征在于， 所述方法包括： 获取控件响应视频的各个视频帧， 所述控件响应视频为录制完整的控件响应过程所得 到的视频； 将各个视频帧中， 时间戳 最早的视频帧或时间戳 最晚的视频帧作为对比帧； 针对每两个时间戳相邻的视频帧， 分别计算 时间戳较早的视频帧与 所述对比帧之间的 第一相似度值， 以及时间戳较晚的视频帧与所述对比帧之间的第二相似度值， 并根据所述 第二相似度值与所述第一相似度值之 间的差值， 得到该两个时间戳相 邻的视频帧对应的相 似度波动值； 将各个所述相似度波动值中， 绝对值数值最大的相似度波动值作为最大相似度波动 值； 针对每个视频帧， 分别计算该视频帧与 所述对比帧在每个像素坐标点处 的像素差值绝 对值， 将各个所述像素差值绝对值中， 数值大于或等于第一预设像素差阈值的像素差值绝 对值进行放大， 并根据各个放大后的像素差值绝对值和各个数值小于所述第一预设像素差 阈值的像素差值 绝对值， 计算该视频帧与所述对比帧之间的图像差异值； 针对每两个时间戳相邻的视频帧， 根据时间戳较晚的视频帧所对应的图像差异值与时 间戳较早的视频帧所对应的图像差异值之 间的差值， 得到该两个时间戳相 邻的视频帧对应 的差异波动值； 根据所述最大相似度波动值及各个所述差异波动值， 从各个所述视频帧中确定关键 帧； 其中， 当所述对比帧为所述时间戳最早的视频帧时， 所述关键帧为所述控件响应过程的 起始帧； 当所述对比帧为所述时间戳最 晚的视频帧时， 所述关键帧为所述控件响应过程的 结束帧。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述最大相似度波动 值及各个所 述差异波动值， 从各个所述视频帧中确定关键帧的步骤， 包括： 将所述最大相似度波动 值所对应的视频帧作为最大波动帧， 并将所述最大波动帧的时 间戳作为目标时间戳； 若所述对比帧为各个所述视频帧中时间戳最早的视频帧， 则根据所述最大波动帧， 从 各个所述视频帧中确定N个时间戳依次相 邻的目标帧， 并计算N个所述目标帧对应的图像差 异值的差异 值方差； 其中， 所述目标时间戳为N个所述目标帧中的最晚时间戳， N为预设的正 整数； 若所述对比帧为各个所述视频帧中时间戳最早的视频帧， 则当所述差异值方差大于预 设方差阈值时， 将各个所述视频帧中时间戳早于所述 目标时间戳的视频帧作为待查找帧， 当所述差异 值方差小于或等于所述预设方差阈值时， 将各个所述视频帧中时间戳不晚于所 述目标时间戳的视频帧作为待查找帧； 根据所述目标时间戳和各个所述待查找帧对应的差异波动 值， 从各个所述待查找帧中 确定所述关键帧。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述最大相似度波动 值及各个所 述差异波动值， 从各个所述视频帧中确定关键帧的步骤， 包括： 将所述最大相似度波动 值所对应的视频帧作为最大波动帧， 并将所述最大波动帧的时 间戳作为目标时间戳；权　利　要　求　书 1/3 页 2 CN 115527142 A 2若所述对比帧为各个所述视频帧中时间戳最晚的视频帧， 则根据所述最大波动帧， 从 各个所述视频帧中确定N个时间戳依次相 邻的目标帧， 并计算N个所述目标帧所对应的图像 差异值的差异 值方差； 其中， 所述目标时间戳为N个所述目标帧中的最早时间戳， N为预设的 正整数； 若所述对比帧为各个所述视频帧中时间戳最晚的视频帧， 则当所述差异值方差大于预 设方差阈值时， 将各个所述视频帧中时间戳 晚于所述 目标时间戳的视频帧作为待查找帧， 当所述差异 值方差小于或等于所述预设方差阈值时， 将各个所述视频帧中时间戳不早于所 述目标时间戳的视频帧作为待查找帧； 根据所述目标时间戳和各个所述待查找帧对应的差异波动 值， 从各个所述待查找帧中 确定所述关键帧。 4.根据权利要求2或3所述的方法， 其特征在于， 所述根据所述目标时间戳和各个所述 待查找帧对应的差异波动值， 从各个所述待查找帧中确定所述关键帧的步骤， 包括： 从各个所述待查找帧中确定目标极值帧， 并将时间戳最接近于所述目标时间戳的目标 极值帧作为所述关键帧； 其中， 所述目标极值帧为目标差异波动值极值所对应的视频帧， 所 述目标差异波动值极值 为绝对值大于预设波动阈值的差异波动值极值。 5.根据权利要求1至3任一项所述的方法， 其特征在于， 所述将各个所述像素差值绝对 值中， 数值大于或等于第一预设像素差阈值的像素差值 绝对值进行放大的步骤， 包括： 针对该视频帧对应的每个像素差值绝对值， 若该像素差值绝对值大于或等于所述第 一 预设像素差阈值， 则根据该像素差值绝对值确定放大倍数， 并基于所述放大倍数对该像素 差值绝对值进行放大； 其中， 放大倍数与像素差值 绝对值成正相关。 6.根据权利要求5所述的方法， 其特征在于， 所述根据该像素差值绝对值确定放大倍数 的步骤， 包括： 若该像素差值绝对值小于第 二预设像素差 阈值， 则将该像素差值绝对值作为所述放大 倍数， 否则， 将该像素差值绝对值的平方作为所述放大倍数； 其中， 所述第二预设像素差阈 值大于所述第一预设像素差阈值。 7.根据权利要求1至3任一项所述的方法， 其特征在于， 所述根据各个数值小于所述第 一预设像素差阈值的像素差值绝对值以及各个放大后的像素差值绝对值， 确定该视频帧与 所述对比帧之间的图像差异值的步骤， 包括： 计算各个数值小于所述第 一预设像素差 阈值的像素差值绝对值的平方和， 以得到第 一 平方和； 计算各个放大后的像素差值 绝对值的平方和， 以得到第二平方和； 将所述第一平方和与 所述第二平方和进行相加， 以得到该视频帧与 所述对比帧之间的 图像差异值。 8.一种关键帧查找装置， 其特 征在于， 所述装置包括： 视频帧获取模块， 用于获取控件响应视频的各个视频帧， 所述控件响应视频为录制完 整的控件响应过程所 得到的视频； 对比帧获取模块， 用于将各个视频帧中， 时间戳最早的视频帧或时间戳最晚的视频帧 作为对比帧； 相似度波动值确定模块， 用于针对每两个时间戳相邻的视频帧， 分别计算时间戳较早权　利　要　求　书 2/3 页 3 CN 115527142 A 3