(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211366999.2 (22)申请日 2022.11.03 (71)申请人 之江实验室 地址 311121 浙江省杭州市 之江实验室南 湖总部 (72)发明人 王瑶瑶　丁鼐　罗本燕　俞杰　 赵佳佳　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/50(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)A61B 5/16(2006.01) A61B 5/00(2006.01) (54)发明名称 基于情绪视听刺激和面部表情的意识状态 检测系统、 设备 (57)摘要 本发明公开了一种基于情绪视听刺激和面 部表情的意识状态检测系统、 设备， 所述系统包 括： 情绪素材库模块， 存储样本情绪视频； 情绪类 型与面部表情特征集处理模块， 处理用户观看情 绪素材库中每种情绪类型下的每个样本情绪视 频时产生的面部表情特征与对应的情绪类型， 获 取面部表情特征数据集； 标准情绪素材库模块， 存储标准样本情绪视频； 所述标准样本情绪视频 通过对情绪素材库模块中的样本情绪视频筛选 得到； 意识状态检测模块， 基于标准样本情绪视 频对待测者观看标准情绪素材库而产生的面部 表情特征进行检测， 获得意识状态标签。 本发明 基于情绪视听刺激诱导用户产生自发的面部表 情特征， 实现了客观、 便利且准确地检测用户的 意识状态。 权利要求书2页 说明书6页 附图3页 CN 115439920 A 2022.12.06 CN 115439920 A 1.一种基于情绪视听刺激和面部表情的意识状态检测系统， 其特征在于， 所述意识状 态检测系统包括： 情绪素材库模块， 用于存 储样本情绪视频； 情绪类型与面部表情特征集处理模块， 用于处理用户观看情绪素材库中每种情绪类型 下的每个样本情绪视频时产生的面部表情特征与对应的情绪类型， 选取每种情绪类型下强 度最大且与对应情绪类型最相关的面部表情特 征作为面部表情特 征数据集； 标准情绪素材库模块， 用于存储标准样本情绪视频； 所述标准样本情绪视频通过对情 绪素材库模块中的样本情绪视频筛 选得到； 意识状态检测模块， 基于标准样本情绪视频对待测者观看标准情绪素材库而产生的面 部表情特 征进行检测， 获得意识状态标签。 2.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 所述情绪素材库模块中包括欢乐、 自豪、 搞笑、 亲切、 悲伤、 愤怒、 恐惧以及 厌恶在内的 两种以上情绪类型 的样本情绪视频单元； 每种情绪类型的样本视频单元至少包括4~5个样 本视频。 3.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 所述情绪类型与面部表情特 征集处理模块包括以下子模块： 面部图像数据采集模块， 用于记录用户观看情绪素材库中每个样本视频时的面部表情 特征； 面部表情特征集提取模块， 用于获取面部表情特征随时间变化的强度曲线， 对强度曲 线进行时域分析， 对每个样本情绪视频与其引发的面部表情特征、 情绪类型 的相关性进行 计算并排序， 取每种情绪类型下强度最大且与对应情绪类型最相关的面部表情特征作为面 部表情特 征数据集。 4.根据权利要求3所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 所述 面部表情特 征集提取模块包括以下子模块： 动作单元识别模块， 用于获得用户在观看每个样本视频时产生的面部特征随时间变化 的强度曲线； 情绪相关的面部表情特征集获取模块， 用于通过时域分析和相关性分析获得每种情绪 类型下强度最大且与对应情绪类型最相关的面部表情特 征数据集。 5.根据权利要求4所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 所述动作单 元识别模块包括以下子模块： 人脸追踪和面部特征点检测模块， 通过约束局部神经域模型中的人脸追踪器和特征点 检测器依次对用户进行脸部追踪和人脸特 征点提取； 人脸对齐模块， 通过使用相似性变换将人脸特 征点映射到同一的参 考框架之下； 外界环境图像屏蔽模块， 用于通过使用凸包算法包围人脸对齐后的人脸特征点， 实现 对周围环境图像的屏蔽； 图像特征提取模块， 用于提取通过人脸对齐后图像局部区域的梯度方向直方图的外观 特征和由进行人脸追踪时约束局部神经域模型输出的非刚性参数和人脸的特征点参数组 成的几何特 征； 动作单元检测模块， 用于基于外观特征和几何特征， 使用支持向量回归获得所有动作权　利　要　求　书 1/2 页 2 CN 115439920 A 2单元随时间变化的强度曲线。 6.根据权利要求4所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 情绪相关的面部表情特 征集获取模块包括时域分析和相关性的过程； 其中， 时域分析的过程包括： 计算每种情绪类型下的所有动作单元在整个时间窗内强 度均值， 作为时域特 征， 并进行排序， 选取强度排名前a的动作单 元； 相关性分析的过程包括： 计算时域分析获得的时域强度特征排名前a的动作单元与对 应的情绪样本视频中的听觉特征和视觉特征 的互相关系 数， 并进行排序， 将相关性排序的 前b个动作单 元作为对应情绪类型 下的面部表情特 征集。 7.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 所述标准样本情绪视频通过对情绪素材库模块中的样本情绪视频筛选得到， 其中， 筛 选的过程包括： 基于面部表情特征数据集训练SVM分类器， 并进 行十折交叉验证， 对SVM 分类 器输出的识别率进行排序， 取识别率排序前m的情绪类型对应的样本情绪视频作为标准样 本情绪视频。 8.根据权利要求1所述的基于情绪视听刺激和面部表情的意识状态检测系统， 其特征 在于， 所述意识状态检测模块获得的意识状态标签包括健康状态标签、 微意识状态标签和 植物状态标签。 9.一种基于情绪视听刺激和面部表情的意识状态检测设备， 其特征在于， 所述意识状 态检测设备包括面部视频采集系统和权利要求 1~8任一项所述的情绪视听刺激和面部表情 的意识状态检测系统； 其中， 所述面部视频采集系统用于在用户观看情绪素材库时， 采集用 户观看情绪素 材库中每 个样本视频时产生的面部表情特 征。权　利　要　求　书 2/2 页 3 CN 115439920 A 3