(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028589 2.9 (22)申请日 2022.03.22 (66)本国优先权数据 202110441420.3 2021.04.23 CN (71)申请人 西北大学 地址 710069 陕西省西安市太白北路2 29号 (72)发明人 彭进业　张盼盼　李斌　乐明楠　 张薇　王珺　 (74)专利代理 机构 西安恒泰知识产权代理事务 所 61216 专利代理师 国旭东 (51)Int.Cl. G16H 40/67(2018.01) G16H 50/30(2018.01) G06V 40/16(2022.01)G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 远程体积描记信号检测模型构建、 检测方 法、 装置及应用 (57)摘要 本发明提供了一种远程体积描记信号检测 模型构建、 检测方法、 装置及应用， 所述检测模型 的构建方法包括： 采集人面部视频图像序列和远 程体积描记信号， 对采集到的人面部视频图像序 列进行预处理得到预处理后的人面部视频图像 序列， 以采集到的远程体积描记信号组成标签 集； 以得到的预处理后的人面部视频图像序列作 为输入， 以标签集作为输出， 训练远程体积描记 信号检测模型。 本发明方法结合了3D时空堆叠卷 积模块和多层级特征融合模块， 通过对不同层级 的特征图分别进行特征加强处理和融合， 实现了 深层特征的语义信息和浅层特征的空间信息的 充分结合， 从而避免了有效信息的丢失， 提升了 网络的输出精度。 权利要求书2页 说明书7页 附图3页 CN 114628020 A 2022.06.14 CN 114628020 A 1.一种远程体积描记信号检测模型构建方法， 其特 征在于， 该 方法包括以下步骤： 步骤1、 采集人面部视频图像序列和远程体积描记信号， 对采集到的人面部视频图像序 列进行预处理得到预处理后的人面部视频图像序列， 组成初始数据集， 以采集到的远程体 积描记信号组成标签集； 步骤2、 以所述的初始数据集作为输入， 以所述的标签集作为输出， 训练远程体积描记 信号检测模型， 所述的远程体积描记信号检测模型包括连接设置的浅层特征提取模块、 3D 时空堆叠卷积模块、 多层级特 征融合模块、 乘积模块和信号预测模块； 所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特 征提取， 得到浅层特征图， 并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层 级特征融合模块； 所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层 特征图， 并将得到的深层特 征图分别发送给乘积模块和多层级特 征融合模块； 所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间 特征、 对输入的深层特征图进行通道特征提取以获得通道特征， 然后对得到的空间特征和 通道特征进行融合得到混合权 重参数， 并将得到的混合权 重参数发送给乘积模块； 所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特 征图， 并将得到的混合特 征图发送给信号预测模块； 所述的信号预测模块用于将输入的混合特 征图转换为远程体积描记信号输出。 2.如权利要求1所述的远程体积描记信号检测模型构建方法， 其特征在于， 所述的浅层 特征提取模块包括依次串联的空间卷积层、 空间最大池化层和两个3D时空卷积层， 且所述 空间卷积层和3D时空卷积层后均设置有批标准 化层。 3.如权利要求1所述的远程体积描记信号检测模型构建方法， 其特征在于， 所述的3D时 空堆叠卷积模块包括串联的两个相同结构的卷积块， 所述的卷积块包括顺序设置的下采样 层和2个3D时空卷积层， 且每 个3D时空卷积层后均设置有批标准 化层。 4.如权利要求1所述的远程体积描记信号检测模型构建方法， 其特征在于， 所述的多层 级特征融合模块包括并行的通道特 征图生成器和基于残差结构的空间特 征图生成器； 所述的通道特征图生成器用于对输入的深层特征图进行通道特征提取得到通道特征 图， 所述的基于残差结构的空间特征图生成器用于对输入的浅层特征图进 行空间特征提取 得到空间特 征图； 所述的通道特 征图与空间特 征图进行融合操作得到混合权 重参数。 5.如权利要求5所述的远程体积描记信号检测模型构建方法， 其特征在于， 所述的对输 入的深层特 征图进行通道特 征提取得到通道特 征图通过 下式实现： 式中， fc代表通道特 征图， fh代表深层特 征图。 6.如权利要求5所述的远程体积描记信号检测模型构建方法， 其特征在于， 所述的对输 入的浅层特 征图进行空间特 征提取得到空间特 征图通过 下式实现： fS＝σ(conv(φ(fl))) 式中， fl是浅层特 征图， fS是空间特 征图。 7.如权利要求1所述的远程体积描记信号检测模型构建方法， 其特征在于， 所述对输入权　利　要　求　书 1/2 页 2 CN 114628020 A 2的深层特 征图和混合权 重参数进行乘积处 理得到混合特 征图通过以下公式实现： 式中， 为第i个通道的混合特 征图； 为第i个通道的深层特 征图。 8.一种远程体积描记信号检测方法， 其特 征在于， 该 方法包括以下步骤： 步骤一， 采集人面部 视频图像序列； 步骤二， 对采集到的人面部视频图像序列进行预处理后输入至权利要求1至6任一项权 利要求所述的远程体积描记信号检测模型构建方法构建出的远程体积描记信号检测模型 中， 获得远程体积描记信号。 9.一种远程体积描记信号检测方法用于心率估计的应用。 10.一种远程体积描记信号检测模型构建装置， 其特 征在于， 包括： 数据集获取模块， 用于获取人面部视频视频保存视频帧图像为人面部视频图像序列， 组成初始数据集； 还用于采集远程体积描记信号， 获得 标签集； 网络训练模块， 用于将所述初始数据集作为输入， 标签集作为输出， 训练远程体积描记 信号检测模型； 所述远程体积描记信号检测模型包括连接设置的浅层特征提取模块、 3D时空堆叠卷积 模块、 多层级特 征融合模块、 乘积模块和信号预测模块； 所述的浅层特征提取模块用于对输入的预处理后的人面部视频图像序列进行浅层特 征提取， 得到浅层特征图， 并将得到的浅层特征图分别发送给3D时空堆叠卷积模块和多层 级特征融合模块； 所述的3D时空堆叠卷积模块用于对输入的浅层特征图进一步进行特征提取得到深层 特征图， 并将得到的深层特 征图分别发送给乘积模块和多层级特 征融合模块； 所述的多层级特征融合模块用于对输入的浅层特征图进行空间特征提取以获得空间 特征、 对输入的深层特征图进行通道特征提取以获得通道特征， 然后对得到的空间特征和 通道特征进行融合得到混合权 重参数， 并将得到的混合权 重参数发送给乘积模块； 所述的乘积模块用于对输入的深层特征图和混合权重参数进行乘积处理得到混合特 征图， 并将得到的混合特 征图发送给信号预测模块； 所述的信号预测模块用于将输入的混合特 征图转换为远程体积描记信号输出。权　利　要　求　书 2/2 页 3 CN 114628020 A 3