(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210649699.9 (22)申请日 2022.06.10 (71)申请人 湖南师范大学 地址 410081 湖南省长 沙市麓山路3 6号 (72)发明人 董苹苹　左育宁　肖凯　李雅菁　 谢小卫　张连明　沈荣成　 (51)Int.Cl. H04N 17/00(2006.01) G06V 10/74(2022.01) G06N 3/04(2006.01) (54)发明名称 一种面向全 景视频的视点预测方法、 装置及 介质 (57)摘要 本发明公开一种面向全景视频的视点预测 方法、 装置及介质， 应用于虚拟现实领域的全景 视频传输。 首先， 基于目标用户视点的历史轨迹 来预测目标用户未来视点的位置， 得到初步的预 测结果； 然后， 在专家数据中寻找与目标用户视 点的历史轨迹相匹配的相似用户， 得到相似用户 的未来信息； 最后， 将初步预测结果和相似用户 的未来信息输入到SE ‑Unet网络模型， 输出用户 视点的最终预测结果。 本发明提供的用户视点预 测模型能在更长的时间内提供更准确的预测结 果， 该预测结果表示了用户注 意力范围的概率分 布， 据此进行编码和传输可以有效地节约全景视 频传输的带宽资源， 缓解由带宽波动造成视频冻 结的问题， 从而有效的提升用户观看全景视频的 体验感。 权利要求书2页 说明书7页 附图2页 CN 115086645 A 2022.09.20 CN 115086645 A 1.一种面向全景视频的视点预测方法， 其特 征在于， 包括： 获取目标观众观看全景视频时视点的历史轨 迹并转化为热力图； 将目标用户视点的历史轨 迹热力图输入seq2seq模型生成初步预测结果； 在专家数据中寻找与目标用户视点的历史轨迹相匹配的相似用户， 得到相似用户的未 来信息； 将初步预测结果和相似用户的未来信息输入SE ‑Unet网络模型， 输出用户视点的最终 预测结果。 2.根据权利要求1所述的一种面向全景视频的视点预测方法， 其特征在于， 获取目标观 众观看全景视频时视点的历史轨 迹并转化为热力图， 包括： 定义热力图的热值时， 目标用户眼睛注视点的热值最高， 离注视点越远热值越低， 用户 视口以外的热值均设为0 。 3.根据权利要求1所述的一种面向全景视频的视点预测方法， 其特征在于， 将目标用户 视点的历史轨 迹热力图输入seq2seq模型生成初步预测结果， 包括： 所述的seq2seq模型 是基于两个独立的三层Co nvLSTM作为编码器 ‑解码器得到 。 4.根据权利要求1所述的一种面向全景视频的视点预测方法， 其特征在于， 在专家数据 中寻找与目标用户视点的历史轨 迹相匹配的相似用户， 得到相似用户的未来信息， 包括： 在专家数据中筛选出n个与目标用户视点的历史轨迹相匹配的相似用户， n可根据实际 需求进行设置， 并根据相似度来分配权重， 即相似度越高权重越大， 按相应的权重进 行加权 平均计算得到相似用户的未来信息 。 5.根据权利要求1所述的一种面向全景视频视点预测方法， 其特征在于， 将初步预测结 果和相似用户的未来信息 输入SE‑Unet网络模型， 输出用户视点的最终预测结果， 包括： SE‑Unet模型是一个深度学习的网络模型， 它由一个编码模块、 连接模块和一个解码模 块组成。 6.根据权利要求5所述的一种面向全景视频的视点预测方法， 其特征在于， SE ‑Unet模 型是由一个编码模块、 连接模块和一个解码模块组成， 还 包括： 编码模块包含三个相同结构块的重复应用， 结构块按照先后顺序依次是： 一个卷积层 和一个正线性单元(ReLU)的组合， 一共有两个； 紧跟 其后是SE ‑net模块， 它用来学习各个通 道之间的重要性； 最后是批量标准 化层(BN)和最大池化层。 7.根据权利要求5所述的一种面向全景视频的视点预测方法， 其特征在于， SE ‑Unet模 型由一个编码模块、 连接模块和一个解码模块组成， 还包括： 连接模块是连接编 码模块和解 码模块， 它是一层卷积和一个校正线性单 元(ReLU)的组合。 8.根据权利要求5所述的一种面向全景视频的视点预测方法， 其特征在于， SE ‑Unet模 型是由一个编码模块、 连接模块和一个解码模块组成， 还 包括： 解码模块中包含三个结构块， 其中前两个结构块相同， 按照 顺序依次是： 一个将特征通 道数量减半的反卷积和校正线性单元(ReLU)的组合， 再拼接上编码模块中对应的结构块； 最后一个结构块按照顺序依次是： 反卷积、 校正线性单 元(ReLU)和输入批量标准 化层(BN)。 9.一种面向全景视频的视点预测的装置， 其特 征在于， 包括： 获取模块， 获取目标观众观看全景视频时视点的历史轨 迹并转化为热力图； 预测模块， 将目标用户视点的历史轨 迹热力图输入seq2seq模型生成初步预测结果；权　利　要　求　书 1/2 页 2 CN 115086645 A 2筛选模块， 在专家数据中寻找与目标用户视点的历史轨迹相匹配的相似用户， 得到相 似用户的未来信息； 融合预测模块， 将初步预测结果和相似用户信息输入SE ‑Unet网络模型， 输出用户视点 的最终预测结果。 10.一种面向全景视频的视点预测的装置， 其特 征在于， 包括： 存储器， 用于存 储计算机程序以及全景视频传输过程中的缓存数据； 处理器， 用于执行所述计算机程序时实现如权利要求1至8任意一项所述的面向全景视 频视口预测的步骤； 眼动仪， 用于实时地采集目标用户在观看全景视频时眼睛注视点的位置信息 。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至8任意一项 所述的面向全景视频 的视点预测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115086645 A 3