(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210649372.1 (22)申请日 2022.06.09 (71)申请人 重庆第二师 范学院 地址 400065 重庆市南岸区重庆第二师 范 学院6-12岁儿童发展协同创新中心 (72)发明人 蒋曼　 (74)专利代理 机构 重庆渝之知识产权代理有限 公司 50249 专利代理师 郑小龙 (51)Int.Cl. G06Q 50/20(2012.01) G06Q 10/06(2012.01) G06V 10/74(2022.01) G06V 40/20(2022.01) G06V 40/16(2022.01) (54)发明名称 一种基于人脸表情和人体动作的教学质量 评估方法及系统 (57)摘要 本发明提供一种基于人脸表情和人体动作 的教学质量评估 方法及系统， 通过在第一目标对 象展示教学内容时， 对第二目标对象进行拍摄， 得到待识别图像； 然后第二目标对象进行人脸表 情识别和人体动作识别， 获取人脸表情识别结果 和人体动作识别结果； 将同一个第二目标对象 的 人脸表情识别结果和人体动作识别结果进行关 联， 并对关联结果进行权重匹配； 根据权重匹配 结果计算所有第二目标对象 的学习状态分数， 评 估第一目标对象在展示教学内容时的教学质量。 本发明可以根据识别结果得到当前教师在展示 教学内容时， 学生对当前教学内容的掌握程度， 从而可以真实地反应出当前教师的课堂质量， 辅 助学校管理人员或学科老师准确地对把控教学 质量和教学进度。 权利要求书4页 说明书18页 附图10页 CN 114971971 A 2022.08.30 CN 114971971 A 1.一种基于人脸表情和人体动作的教学质量评估方法， 其特征在于， 所述方法包括以 下步骤： 获取待识别图像， 包括： 在第 一目标对象展示教学内容 时， 对一个或多个第 二目标对象 进行拍摄， 得到所述待识别图像； 对所述待识别图像中的每个第 二目标对象进行人脸表情识别， 获取对应的人脸表情识 别结果； 对所述待识别图像中的每个第 二目标对象进行人体动作识别， 获取对应的人体动作识 别结果； 将同一个第 二目标对象的人脸表情识别结果和人体动作识别结果进行关联， 并对关联 结果进行权 重匹配； 根据权重匹配结果计算所述待识别图像中所有第 二目标对象的学习状态分数， 并基于 学习状态分数 结果评估所述第一目标对象在展示教学内容时的教学质量。 2.根据权利要求1所述的基于人脸表情和人体动作的教学质量评估方法， 其特征在于， 将同一个第二目标对象的人脸表情识别结果和人体动作 识别结果进行关联前， 所述方法还 包括： 将所述待识别图像输入至预训练神经网络模型中进行特征标记， 获取每个第 二目标对 象的特征标记结果； 基于所述特征标记结果关联同一个第二目标对象的人脸表情识别结果和人体动作识 别结果； 其中， 所述特征标记包括： 人脸角度特征标记、 人脸斜率特征标记、 人脸面积特征标记 和人脸距离特 征标记。 3.根据权利要求1所述的基于人脸表情和人体动作的教学质量评估方法， 其特征在于， 对所述待识别图像中的每个第二目标对象进 行人脸表情识别， 获取对应的人脸表情识别结 果的过程包括： 对所述待识别图像中的每个第 二目标对象进行人脸表情识别， 获取每个第 二目标对象 的面部肌肉分布； 将一个或多个面部肌肉作为一个动作单元， 并将同一个人脸器官的动作单元进行组 合， 得到所有人脸器官的表情动作； 根据所述人脸器官的表情动作， 确定出每个第二目标对象的人脸表情， 得到对应的人 脸表情识别结果； 其中， 所述人脸表情包括： 害怕、 无明显表情、 生气、 悲伤、 困惑、 厌恶、 轻 蔑、 开心、 惊奇、 趋避度、 疲劳度。 4.根据权利要求1所述的基于人脸表情和人体动作的教学质量评估方法， 其特征在于， 对所述待识别图像中的每个第二目标对象进 行人体动作 识别， 获取对应的人体动作 识别结 果的过程包括： 对所述待识别图像中的每个第 二目标对象进行骨骼关键点提取， 获取每个第 二目标对 象的所有人体骨骼关键点； 将所获取的人体骨骼关键点分为双臂关键点、 双腿关键点和头颈部关键点， 并根据所 述双臂关键点、 双腿关键点和头 颈部关键点 生成每个第二目标对象的人体动作特 征向量； 根据每个第 二目标对象的人体动作 特征向量进行人体动作识别， 获取对应的人体动作权　利　要　求　书 1/4 页 2 CN 114971971 A 2识别结果； 其中， 所述人体动作包括： 趴着、 玩手机、 书 写、 伸懒腰和举 手。 5.根据权利要求1至4中任一所述的基于人脸表情和人体动作的教学质量评估方法， 其 特征在于， 根据权重匹配结果计算所述待识别图像中所有第二 目标对象的学习状态分数， 并基于学习状态分数结果评估所述第一目标对 象在展示教学内容时的教学质量的过程包 括： 获取对人脸表情匹配的权重； 包括： 匹配权重值为0的害怕表情、 无明显表情， 匹配权重 值为‑1的生气表情、 悲伤表情、 困惑表情， 匹配权重值为 ‑2的厌恶表情、 轻蔑表情， 匹配权重 值为1的开心 表情， 匹配权 重值为2的惊奇表情， 匹配权 重值为3的趋避度表情、 疲劳度表情； 获取对人体动作匹配的权重； 包括： 匹配权重值为 ‑2的玩手机动作， 匹配权重值为 ‑1的 趴着动作、 伸懒腰动作， 匹配权 重值为1的书写动作， 匹配权 重值为2的举手动作； 计算第t个时刻下第二目标对象m的人脸表情分数， 有： E＝{害怕， 无明显表情， 生气， 悲伤， 困惑， 厌 恶， 轻蔑， 开心， 惊奇， 趋避度， 疲劳度}； 计算第t个时刻下 所述待识别图像的人脸表情分数， 有： 计算第t个时刻下第二目标对象m的人体动作分数， 有： F＝{玩手机， 趴着， 伸懒腰， 书 写， 举手}； 计算第t个时刻下 所述待识别图像的人脸动作分数， 有： 根据权重匹配结果计算所述待识别图像在第t个时刻下所有第 二目标对象的学习状态 分数， 有： Feame(m,t)＝F eamex(m,t)+Feamey(m,t)； 将所述待识别图像在第t个时刻下的学习状态分数Feame(m,t)， 作为评估所述第一目权　利　要　求　书 2/4 页 3 CN 114971971 A 3