(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210744231.8 (22)申请日 2022.06.27 (71)申请人 中电信数智科技有限公司 地址 100036 北京市海淀区复兴 路33号13 层东塔13层13 08室 (72)发明人 刘钰　 (74)专利代理 机构 北京知汇林知识产权代理事 务所(普通 合伙) 11794 专利代理师 王俊杰 (51)Int.Cl. G06Q 30/02(2012.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于计算机视觉的短视频沉浸式广告 推广方法及系统 (57)摘要 本发明涉及一种基于计算机视觉的短视频 沉浸式广告推广方法及系统,属于短视频数据挖 掘技术领域。 方法包括以下步骤： 用户终端向服 务器发送请求， 所述请求包括用户点击所述用户 终端屏幕时画面所处帧数、 以及点击位置坐标； 所述服务器接收所述请求， 根据画面所处帧数对 短视频截取图像， 对图像进行预处理， 得到多目 标识别结果； 对所述多目标识别结果进行筛选， 筛选出用户可能感兴趣的预选目标； 对 所述预选 目标的目标图像和数据库中的图像进行处理， 确 定匹配程度最高的目标为最终目标； 获取所述最 终目标后， 所述服务器将所述最终目标对应的产 品信息进行广告推送， 并调整该类产品与当前用 户喜好相关度权值。 本发明能够准确向目标人群 推送广告， 提高了广告推广效果， 增强了用户体 验。 权利要求书2页 说明书6页 附图4页 CN 115131065 A 2022.09.30 CN 115131065 A 1.一种基于计算机视觉的短视频沉浸式广告推广方法， 其特征在于， 所述方法包括以 下步骤： S1： 用户终端向服务器发送请求， 所述请求包括用户点击所述用户终端屏幕时画面所 处帧数、 以及点击位置坐标； S2： 所述服务器接收所述请求， 根据画面所处帧数对短视频截取图像， 对图像进行预处 理， 得到多目标识别结果； S3： 对所述多目标识别结果进行筛 选， 筛选出用户可能感兴趣的预选目标； S4： 对所述预选目标的目标图像和数据库中的图像进行处理， 确定匹配程度最高的目 标为最终目标； S5： 获取所述最终目标后， 所述服务器将所述最终目标对应的产品信息进行广告推送， 并调整该类产品与当前用户喜好相关度权值。 2.根据权利要求1所述的方法， 其特征在于， 所述对图像进行预处理， 得到多目标识别 结果包括： 对图像进行归一 化处理和压缩处 理。 3.根据权利要求2所述的方法， 其特征在于， 所述对图像进行预处理， 得到多目标识别 结果包括： 使用Darknet53作为主干网络， 在图像进入Darknet53网络前对图像的RGB三个通道分 别进行扩充， 每间隔2个像素取一次值生成新的通道， 将原来的三个通道扩充至27个通道； 在多重感受野融合阶段对原算法进行改进， 为每层感受野加入动态可 学习权值。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述多目标识别结果进行筛选， 筛 选出用户可能感兴趣的预选目标包括： 根据用户点击屏幕位置坐标与目标的欧氏距离、 用户喜好与目标的相关度权值、 目标 分类概率值， 采用XGBoost、 Catb oost两种模型加权投票的方式对所述多目标进行筛选， 筛 选出用户可能感兴趣的预选目标。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述预选目标的目标图像和数据库 中的图像进行处 理， 确定匹配程度最高的目标为 最终目标包括： 根据目标类别对数据库中的数据进行过滤， 过滤完成后将图像处理成单通道灰度图 像， 将预选目标的目标图像与数据库中的图像叠加变成双通道矩阵后输入卷积层， 输出匹 配程度， 所述匹配程度最高的目标为 最终目标。 6.一种基于计算机视觉的短视频沉浸式广告推广系统， 其特征在于， 所述系统包括用 户终端和服 务器； 其中， 所述用户终端用于： 向服务器发送请求， 并接收所述服务器推送的广告， 所述请求包括用户点击所述用户 终端屏幕时画面所处帧数、 以及点击位置坐标； 所述服务器用于： 接收所述请求， 根据画面所处帧数对短视频截取图像， 对图像进行预处理， 得到多目标 识别结果； 对所述多目标识别结果进行筛 选， 筛选出用户可能感兴趣的预选目标； 对所述预选目标的目标图像和数据库中的图像进行处理， 确定匹配程度最高的目标为权　利　要　求　书 1/2 页 2 CN 115131065 A 2最终目标； 获取所述最终目标后， 将所述最终目标对应的产品信息进行广告推送， 并调整该类产 品与当前用户喜好相关度权值。 7.根据权利要求6所述的系统， 其特征在于， 所述对图像进行预处理， 得到多目标识别 结果包括： 对图像进行归一 化处理和压缩处 理。 8.根据权利要求7所述的系统， 其特征在于， 所述对图像进行预处理， 得到多目标识别 结果包括： 使用Darknet53作为主干网络， 在图像进入Darknet53网络前对图像的RGB三个通道分 别进行扩充， 每间隔2个像素取一次值生成新的通道， 将原来的三个通道扩充至27个通道； 在多重感受野融合阶段对原算法进行改进， 为每层感受野加入动态可 学习权值。 9.根据权利要求8所述的系统， 其特征在于， 所述对所述多目标识别结果进行筛选， 筛 选出用户可能感兴趣的预选目标包括： 根据用户点击屏幕位置坐标与目标的欧氏距离、 用户喜好与目标的相关度权值、 目标 分类概率值， 采用XGBoost、 Catb oost两种模型加权投票的方式对所述多目标进行筛选， 筛 选出用户可能感兴趣的预选目标。 10.根据权利要求9所述的系统， 其特征在于， 所述对所述预选目标的目标图像和数据 库中的图像进行处 理， 确定匹配程度最高的目标为 最终目标包括： 根据目标类别对数据库中的数据进行过滤， 过滤完成后将图像处理成单通道灰度图 像， 将预选目标的目标图像与数据库中的图像叠加变成双通道矩阵后输入卷积层， 输出匹 配程度， 所述匹配程度最高的目标为 最终目标。权　利　要　求　书 2/2 页 3 CN 115131065 A 3