(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651601.3 (22)申请日 2022.06.10 (71)申请人 广州澄源电子科技有限公司 地址 510000 广东省广州市天河区中山大 道西路6-8号第23层自编23 03房 (72)发明人 许黄文　 (74)专利代理 机构 深圳市广诺专利代理事务所 (普通合伙) 44611 专利代理师 居振浩 (51)Int.Cl. G06T 19/00(2011.01) G06T 15/50(2011.01) G06T 7/73(2017.01) G06V 10/145(2022.01) G06V 10/26(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种LED虚拟场景灯光控制方法 (57)摘要 本申请提供一种LED虚拟场景灯光控制方 法， 包括： 提取LED虚拟场景照明元素的种类和发 散方向； 使用演员情绪分析LED虚拟场景的灯光 效果； 根据摄影机画面调整灯光效果， 所述根据 摄影机画面调整灯光效果， 具体包括： 判断摄像 机与LED虚拟场景物体的距离， 确定摄像机位置 自动调整光照素材位置和光照强度； 使用RBM网 络选取照明方案； 判断LED虚拟灯光与演员情绪 的匹配度， 具体包括： 获取拍摄剧本灯光的色温、 色彩； 在LED虚拟屏幕中进行人机交互， 所述在 LED虚拟屏幕中进行人机交互， 具体包括： 在地面 LED屏幕安置传感器完成简单互动， 使用动作捕 捉技术完成演员对LED虚拟场景的灯光控制。 通 过分析室内音乐和人员的剧本和演员情绪， 改变 和调节灯光， 适应情绪。 权利要求书3页 说明书6页 附图1页 CN 114913310 A 2022.08.16 CN 114913310 A 1.一种LED虚拟场景灯光控制方法， 其特 征在于， 所述方法包括： 提取LED虚拟场景照明元素的种类和发散方向； 使用演员情绪分析LED虚拟场景的灯光 效果； 根据摄影机画面调整灯光效果， 所述根据摄影机画面调整灯光效果， 具体包括： 判断 摄像机与LED虚拟场景物体的距离， 确定摄像机位置自动调整光照素材位置和光照强度； 使 用RBM网络选取照明方案； 判断LED虚拟灯光与演员情绪的匹配度， 具体包括： 获取拍摄剧本 灯光的色温、 色彩； 在LED虚拟屏幕中进行人机交互， 所述在LED虚拟屏幕中进行人机交互， 具体包括： 在地面LED屏幕安置传感器完成简单互动， 使用动作捕捉技术完成演员对LED虚 拟场景的灯光控制。 2.根据权利要求1所述的方法， 其中， 所述提取LED虚拟场景照明元素的种类和发散方 向， 包括: 获取章节剧本输入LSTM网络作 为训练集， 以章节剧本中的照明元素为特征集对LSTM进 行训练； 将章节剧本输入 经训练的LSTM网络， 通过关键词提取获得章节剧本场景的时间、 地 点、 时区、 天气， 对场景进 行分类； 使用关键词提取获得章节剧本场景的照明元素， 获取照明 元素在剧本场景中的位置和种类， 通过照明元素的种类和位置确定照明元素发散方向和光 照强度； 场景分为： 室内场景和室外场景， 照明元素包括室外场景的照明天体和室内场景的 照明物品， 通过室外场景的时间、 地点、 时区和天气计算出照明天体的发散方向和光照强 度， 根据天气计算出天光强度； 通过确定照明物品的种类， 通过对比真实照度参照表， 确定 该种类的照明物品的光照强度， 并根据照明物品的位置和种类确定光线发散方向。 3.根据权利要求1所述的方法， 其中， 所述使用演员情绪分析LED虚拟场景的灯光效果， 包括: 将摄影机拍摄实景的演员表情输入深度卷积神经网络， 以演员表情为特征集进行训 练， 得到经训练的深度卷积神经网络； 将 摄像机拍摄LED虚拟场景的演员表情输入 经训练的 深度卷积神经网络， 输出演员的情绪分类； 将实景拍摄的演员表情和LED虚拟拍摄的演员表 情输入孪生神经网络， 提取出演员表情的脸部特征进行比对， 以0到1之间的一个实数来度 量脸部特征相似度， 相似度高， 则LED虚拟场景灯光效果 好。 4.根据权利要求1所述的方法， 其中， 所述 根据摄影机画面调整灯光效果， 包括: 在UE4引擎中搭建虚拟剧本场景， 将剧本场景投影到LED屏幕， 使用装有定位系 统的摄 像机拍摄虚拟场景的图像； 使用UE4引擎中的虚拟摄像机， 在UE4中搭建的虚拟场景的相同 位置进行拍摄； 对摄像机在LED虚拟场景拍摄的图像和虚拟 摄像机在UE4虚拟场景拍摄的图 像以图像灰度值为特征进行分割， 对分割后的图像的灰度均值进行对比， 以0到1之间的实 数值衡量分割后图像灰度值的相似度， 相似度低， 调整照射范围和光照 强度直到和相似度 达到预设的阈值； 包括： 判断摄像机与LED虚拟场景物体的距离； 确定摄像机位置自动调整 光照素材位置和光照强度； 所述判断摄 像机与LED虚拟场景物体的距离， 具体包括: 在LED屏幕布置区域地板上布置多个标记点， 在摄像机上放置定位传感器， 根据定位传 感器相对于标记点的位移， 定位摄像机在LED屏幕虚拟场景的位置和运动轨迹； 在UE4中搭 建出尺寸相同的LED虚拟场景， 在LED虚拟场景和UE4虚拟场景中建立相同的坐标系； 在同一 坐标系内测量UE4中虚拟物体与虚拟摄像机的距离， 判断摄像机拍摄时距离LED屏幕的距 离；权　利　要　求　书 1/3 页 2 CN 114913310 A 2所述确定摄 像机位置自动调整光照素 材位置和光照强度， 具体包括: 获取摄像机运动轨迹和偏移角度， 获取LED虚拟场景中的光照素材种类和光照素材所 在位置， 在坐标系中计算LED虚拟场景中的光照素材相对于摄像机的距离； 通过摄像机运动 轨迹和偏移角度， 及时调整光照素材的位置和光照强度， 直到距离与UE4引擎中坐标系内的 距离相同。 5.根据权利要求1所述的方法， 其中， 所述使用RBM网络 选取照明方案， 包括: 将光照素材与对应的照明方案输入RBM网络， 找到光照素材特征与照明方案的隐藏关 系； 将剧本输入LSTM处理得到剧本场景的光照素材； 将剧本光照素材输入RBM网络， 提取出 光照素材的特征， 匹配照明方案， 匹配则输出照明方案， 不匹配则标记后输入RBM网络进行 学习， 根据光照素 材特征输出新的照明方案 。 6.根据权利要求1所述的方法， 其中， 所述判断LED虚拟灯光与演员情绪的匹配度， 包 括: 将章节剧本输入BERT模型中， 获取章节剧本中每个人物的情感倾向， 将获取的情感倾 向输入Transformer模型， 获取情感倾向对应的色温、 色彩； 获取拍摄剧本灯光的色温、 色 彩， 在LED屏幕虚拟场景拍摄时使用对应的色温、 色彩； 利用深度卷积神经网络确定LED屏幕 虚拟场景拍摄时演员的情绪分类； 根据情绪分类与情感倾向的匹配性确定LED虚拟灯光与 演员情绪的匹配度； 包括： 获取拍摄剧本灯光的色温、 色彩； 所述获取拍摄剧本灯光的色温、 色彩， 具体包括: 将章节剧本输入BERT模型中进行学习， 通过统计剧本章节中每个词的出现概率， 通过 词频计算词语权重， 通过情绪词典获取词语的情绪倾向， 计算章节剧本的情绪占比； 将拍摄 剧情的视频输入Transformer模 型， 使用Transformer模 型视频语义分割获得视频的情感倾 向， 以视频的色温、 色彩为特征值， 为每个具有情感倾向的视频打上色温、 色彩的标签， 得到 情感倾向对应的色温、 色彩； 将剧本所需情绪输入Tr ansformer模型， 得到拍摄剧本所需的 色温、 色彩。 7.根据权利要求1所述的方法， 其中， 所述在LED虚拟屏幕中进行 人机交互， 包括: 将剧本输入经训练的LSTM， 获取剧本场景的类型， 获取地面场景的材质和照明元素的 种类； 获取场景地面材质的压入硬度， 压入硬度低的地面可改变， 在可改变地面铺上LED屏 幕； 判断照明元素是否为人造光源， 人造光源的照明元素可控制灯光可控制的场景， 布置动 作捕捉器和在LED对应互动区域的传感器； 通过在LED屏幕中安装压力 传感器， 温度传感器， 距离传感器， 在物体和演员上安装动作捕捉器， 判断传感器获取的数据是否达到预设值， 达 到预设值则改变屏幕或灯光效果； 包括： 在地面LED屏幕安置传感器完成简单互动； 使用动 作捕捉技术完成演员对LED虚拟场景的灯光控制； 所述在地 面LED屏幕安置传感器完成简单互动， 具体包括: 在地面的LED屏幕安装压力传感器， 温度传感器， 演员走上LED屏幕， 若符合预设的压力 大小和温度， 则LED屏幕的画面进 行改变； 根据压力传感器获取压力的范围， 决定LED屏幕的 改变大小； 根据场景类型， 在压力消失时切换LED屏幕在该场景类型 下的显示内容； 所述使用动作捕捉 技术完成演员对LED虚拟场景的灯光控制， 具体包括: 在LED屏幕搭建的虚拟场景中可能导致灯光变化的区域设置距离传感器、 温度传感器； 演员触碰到区域屏幕的距离传感器和温度传感器， 距离传感器和温度传感器将检测到的温权　利　要　求　书 2/3 页 3 CN 114913310 A 3