(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210652520.5 (22)申请日 2022.06.09 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 侯振杰　尤凯军　钟卓锟　施海勇　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06T 7/66(2017.01) G06T 17/00(2006.01) G06N 3/04(2006.01) (54)发明名称 一种跨模态三维点云序列时空特征网络的 行为识别方法 (57)摘要 本发明涉及神经网络技术领域， 尤其涉及一 种跨模态三维点云序列时空特征网络的行为识 别方法， 包括： 通过坐标转换将深度图跨模态转 换成点云序列； 将每一帧点云序列输入由时空建 模模块和时空信息注入模块构成的跨模态三维 点云序列时空特征网络， 得到带有时序信息的特 征向量序列和空间结构信息特征向量序列， 进行 拼接作为全 连接层的输入， 并通过分类器进行人 类行为识别。 本发明通过抽象操作中加入了通道 注意力和空间注意力层； 并设计了时空建模模块 和时空信息注入模块； 通过时空信息注入模块为 特征序列注入时间和空间特征信息以此加强时 空维度的信息表征来弥补FP S带来的信息损失。 权利要求书2页 说明书11页 附图3页 CN 114973418 A 2022.08.30 CN 114973418 A 1.一种跨模态三维点云序列时空特征网络的行为识别方法， 其特征在于， 包括以下步 骤： 采集人体深度数据， 通过坐标转换将 深度图跨模态转换成点云序列； 将每一帧点云序列输入由时空建模模块和时空信息注入模块构成的跨模态三维点云 序列时空特征网络， 得到带有时序信息的特征向量序列和空间结构信息特征向量序列， 进 行拼接作为全连接层的输入， 并通过分类 器进行人类行为识别。 2.如权利要求1所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述时空建模 模块由两个抽象操作层、 两组多层感知机和最大池化层组成。 3.如权利要求2所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述抽象操作层由采样层、 分组层、 通道 注意力、 空间注意力和Po intnet层组成； 采样层使用FP S从点集中选择nm个点作为质心； 分组层将nm‑1×(d+cm‑1)维的点集和一组大小为nm×d的质心坐标作为输入， 输出为nm组 大小为nm×km×(d+cm‑1)的点集群； 通道注意力和 空间注意力层将局部区域内点的坐标转换成相对于质心点的局部坐标 系； 将每个局部点与质心之 间的距离作为 1维的附加点特征； 利用特征间注意机制优化不同 特征的融合效果， 公式如下： 其中， 表示第t个点云框架第j个区域第i个点的坐标， 和 分别是对应于 的质心 点坐标和对点特征， 是 和 之间的欧几里得距离， A为注意机制， 每个点对应的坐标和 特征得分为(3+1+cm‑1)维， A中的注意力得分由所有点云帧中的所有局部点共享， 和⊙是 串联运算和点积运算， 为第t个点云框架第j个区域经过通道空间注意力层后 的区域特 征； Pointnet层， 由一组mlp和一个最大池操作组成。 4.如权利要求1所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述时空信息注入 模块包括： 时序信息注入 模块和空间信息注入 模块。 5.如权利要求4所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述时序信息注入模块对人体动作的时间信息进行编码， 使用时间位置嵌入层、 共享 MLPS层和分层金字塔最大池化层； 经过时间位置嵌入层后， 将顺序信息嵌入到空间信息序 列中； 对每个特征向量应用一组MLPS； 生成一个更新的特征向量序列； 使用Two ‑MAX对多个 特征向量进行聚合， 将向量序列 对等数量的点云帧进行多个时间分区， 然后对每个分区 进行max pooling操作， 生 成相应的描述符； 使用三个 分区两层金字塔的分层金字塔最大池 策略； 将所有时间分区的描述符连接起 来， 形成人类行为的序列级特 征E。 6.如权利要求5所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述时间位置嵌入层使用不同频率的正弦和余弦函数作为时间位置编码， 公式如下： 权　利　要　求　书 1/2 页 2 CN 114973418 A 2其中， dsout表示特征向量的维数， t是时间位置， 而h 是维度位置； 通过添加位置编码更新 特征向量， 如下 所示： 其中， 是经过时间位置嵌入后的新的特 征向量； 然后， 得到一个新的特 征向量序列 7.如权利要求1所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于， 所述时序信息的特征向量序列包括： 提取人体动作区级 特征M、 人体动作帧级 特征N和将 人类行为的序列级特征E， 将E、 M和N进行连接并输出时序特征P； 其中， 区级特征M和帧级特 征N提取公式如下： 其中， 是通过第二组抽象操作生成的抽象特 征。 8.如权利要求4所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述空间信息注入模块是经过时序信息注入后通过聚类生成带有时序信息的三 维向量 关系序列， 三维向量关系序列同一组随机张量共同进入点间注意力机制模块， 通过点间注 意力机制学习点云数据点与点之间的结构关系， 并生成表征点云数据空间结构关系的点间 关系矩阵。 9.如权利要求8所述的跨模态三维点云序列时空特征网络的行为识别方法， 其特征在 于： 所述点间注意力机制由一组MLP S和softmax组成， 生成点间关系矩阵， 公式为： Fs＝MAX{MLP(R,E)}        (8) 其中， Fs表示生成的专注于表示空间结构信息的空间特征向量序列， R表示随机张量， E 为人类行为的序列级特 征； 将点间关系与点云序列数据各点相结合， 生成空间结构信息特 征Ff公式为： 其中， 为经过时序信息注入后生成的三维向量关系序列。权　利　要　求　书 2/2 页 3 CN 114973418 A 3