(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210977815.X (22)申请日 2022.08.16 (71)申请人 深圳市海清视讯科技有限公司 地址 518100 广东省深圳市宝安区西乡街 道固戍开发区泰华梧桐工业园8号建 筑3层 (72)发明人 蔡芳发　周波　苗瑞　邹小刚　 莫少锋　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 马姣琴　刘芳 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/25(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G05B 15/02(2006.01) G05B 19/418(2006.01) (54)发明名称 智能家居设备的控制方法、 装置、 设备及存 储介质 (57)摘要 本申请提供一种智能家居设备的控制方法、 装置、 设备及存储介质。 该方法包括： 将获取的用 户的轨迹视频输入轨迹预测模型和/或人脸图像 输入人脸识别模型； 根据轨迹预测结果和/或人 脸识别结果控制智能家居设备； 轨迹预测模型包 括多个依次且交替连接的循环神经网络模块、 第 一注意力机制模块和门控单元； 第一注意力机制 模块用于提取循环神经网络模块输出的第一轨 迹特征图中感兴趣区域的特征， 门控 单元用于捕 获轨迹视频中用户的轨迹行为习惯； 人脸识别模 型包括多个依次且交替连接的残差卷积神经网 络模块和第二注意力机制模块； 第二注意力机制 模块用于提取残差卷积神经网络模块输出的第 一人脸特 征图中感兴趣区域的特 征。 权利要求书4页 说明书17页 附图6页 CN 115063874 A 2022.09.16 CN 115063874 A 1.一种智能家居设备的控制方法， 其特 征在于， 包括： 获取用户的轨 迹视频和/或人脸图像； 所述轨 迹视频包括多帧轨 迹图像； 将所述轨迹视频输入预先训练的轨迹预测模型， 得到所述用户的轨迹预测结果， 和/ 或， 将所述人脸图像输入预 先训练的人脸识别模型， 得到所述用户的人脸识别结果； 根据所述轨 迹预测结果和/或人脸识别结果控制智能家居设备； 其中， 所述轨迹预测模型包括多个依次且交替连接的循环神经网络模块、 第一注意力 机制模块和门控单元； 所述循环神经网络模块用于对每 帧轨迹图像提取第一轨迹特征图， 所述第一注意力机制模块用于提取所述第一轨迹特征图中感兴趣区域的特征， 所述门控单 元用于捕获所述轨 迹视频中用户的轨 迹行为习惯； 所述人脸识别模型包括多个依次且交叠连接的残差卷积神经网络模块和第二注意力 机制模块； 所述第二注意力机制模块用于提取残差卷积神经网络模块输出的第一人脸特征 图中感兴趣区域的特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述轨迹视频输入预先训练 的轨迹 预测模型， 得到所述用户的轨 迹预测结果， 包括： 通过第i个循环神经网络模块对第i ‑1个门控单元针对t时间步的轨迹图像输出的第i ‑ 1个输出结果进 行特征提取， 得到第i个第一轨迹特征图； i为大于或等于1， 且小于或等于第 一预设数值的整数； 通过第i个第一注意力机制模块对所述第i个第一轨迹特征图进行特征提取， 得到第i 个第二轨 迹特征图； 所述第二轨 迹特征图的特 征信息大于所述第一轨 迹特征图； 通过第i个门控单元对所述第i个第二轨迹特征图进行选择性保留， 得到第i个输出结 果； 所述第i个输出结果包括所述t时间步及之前的时间步的轨迹图像中用户的轨迹行为习 惯； 将所述第i个输出结果作为第i+1个循环神经网络模块的输入， 并将i+1确定为新的i， 继续执行对所述t时间步的轨迹图像进 行特征提取的步骤， 直至i的取值达到所述第一预设 数值时， 将t+1确定为新的t， 并对新的t时间步的轨迹图像进行特征提取， 直至所述多帧轨 迹图像完成特 征提取， 得到所述用户的轨 迹预测结果。 3.根据权利要求2所述的方法， 其特征在于， 所述轨迹预测模型通过如下方法步骤训练 得到： 获取所述用户的轨迹视频样本及第一标签， 所述轨迹视频样本包括多帧轨迹图像样 本， 所述第一标签包括所述多帧轨 迹图像样本中标注的所述用户的位置； 根据所述轨迹视频样本对多个依次且交叠连接的循环神经网络模块、 第 一注意力 机制 模块和门控单元进行训练， 得到轨迹训练结果； 所述轨迹训练结果包括对所述轨迹图像样 本的下一帧轨 迹图像样本中用户位置的预测结果； 根据多帧轨迹图像的轨迹训练结果和所述第 一标签之间的差异， 调 整多个依次且交叠 连接的循环神经网络模块、 第一注意力机制模块和门控单元的参数， 直至训练结束， 得到所 述轨迹预测模型。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述轨迹视频样本对多个依次且 交叠连接的循环神经网络模块、 第一注意力机制模块和门控单元进行训练， 得到轨迹训练 结果， 包括：权　利　要　求　书 1/4 页 2 CN 115063874 A 2通过第i个循环神经网络模块对第i ‑1个门控单元针对t时间步的轨迹图像样本输出的 第i‑1个训练结果进行训练， 得到第i个第一轨迹训练结果； 所述第一轨迹训练结果包括所 述t时间步及之前时间步的所有轨 迹图像样本表示的用户的轨 迹行为习惯信息； 根据所述第i个第一轨迹训练结果对第i个第一注意力机制模块进行训练， 得到第i个 第二轨迹训练结果； 所述第i个第二轨迹训练结果中的用户的轨迹行为习惯信息大于所述 第i个第一轨 迹训练结果； 根据所述第 i个第二轨迹训练结果对第i个门控单元进行训练， 得到第i个训练结果； 所 述第i个训练结果包括所述t 时间步及之前 的时间步的轨迹图像样本中用户的轨迹行为习 惯； 将所述第i个训练结果作为第i+1个循环神经网络模块的输入， 并将i+1确定为新的i， 继续执行通过第i个循环神经网络模块对第i ‑1个门控单元针对t时间步的轨迹图像输出的 第i‑1个输出结果进 行特征提取， 直至i的取值达到所述第一预设数值， 将t+1确定为新的t， 并根据新的t 时间步的轨迹特征图样本进行训练， 直至所述多帧轨迹图像样本全部训练完 成， 得到所述用户的轨迹训练结果； 所述轨迹训练结果包括所述多帧轨迹图像样本中用户 的轨迹行为习惯。 5.根据权利要求3所述的方法， 其特征在于， 所述根据多帧轨迹图像的轨迹训练结果和 所述第一标签之间的差异， 调整多个依 次且交叠连接的循环神经网络模块、 第一注意力机 制模块和门控单 元的参数， 直至训练结束， 得到所述轨 迹预测模型， 包括： 根据多帧轨迹图像的轨迹训练结果和所述第 一标签之间的差异， 调 整多个依次且交叠 连接的循环神经网络模块、 第一注意力机制模块和门控单元 的参数， 直至达到预设的第一 训练结束条件， 得到中间轨 迹预测模型； 通过智能家居系统的本地服务器根据获取的轨迹测试数据集对所述中间轨迹预测模 型进行测试， 并将测试结果上传至云服务器， 以使所述云服务器在根据所述测试结果确定 所述中间轨迹预测模型的性能参数未达到预设的性能参数的要求时， 对所述中间轨迹预测 模型的模型参数进行优化， 并将优化后的模型参数返回至所述本地服务器； 所述轨迹测试 数据集包括用于模型测试的多帧轨 迹图像测试样本； 接收所述优化后的模型参数， 并根据 所述优化后的模型参数对所述中间轨迹预测模型 继续进行训练， 直至 达到预设的第二训练结束条件， 得到所述轨 迹预测模型。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述人脸图像对应的人脸特征向量 输入预先训练的人脸识别模型， 得到所述用户的人脸识别结果， 包括： 通过第j个残差卷积神经网络对所述用户的人脸图像进行特征提取， 得到第j个第一人 脸特征图， 所述j为大于或等于1， 且小于或等于第二预设数值的整数； 通过第j个第二注意力机制模块对所述第j个第一人脸特征图进行特征提取， 得到第j 个第二人脸特征图； 所述第二人脸特征图的特征信息大于所述第一人脸特征图的特征信 息； 对所述j进行加1操作， 并将j +1确定为新的j， 返回通过第j个残差卷积神经网络模块进 行特征提取的步骤， 直至j的取值达到所述第二预设数值， 得到所述用户的目标人脸特征 图； 根据所述用户的目标 人脸特征图进行 人脸识别， 并输出 人脸识别结果。权　利　要　求　书 2/4 页 3 CN 115063874 A 3