(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892696.8 (22)申请日 2022.07.27 (71)申请人 陈兵 地址 200000 上海市浦东 新区张杨路19 96 号 (72)发明人 陈兵　 (74)专利代理 机构 北京沁优知识产权代理有限 公司 11684 专利代理师 周庆路 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/24(2022.01) G06V 10/32(2022.01) G06V 10/36(2022.01) G06V 10/74(2022.01)G06V 20/40(2022.01) G06F 3/0484(2022.01) (54)发明名称 用于视频直播的人工智能人像截图系统 (57)摘要 本发明公开了一种用于视频直播的人工智 能人像截图系统， 包括： 视频取帧模块、 图像预处 理模块、 人脸分析模块、 人脸截图模块、 人像修正 模块及人脸库， 视频取帧模块用于获取包含人脸 的图像作为待处理图像输送至图像预处理模块； 图像预处理模块将待处理图像进行灰度处理后 得到每一帧待处理图像对应的灰度图像， 随后对 不符合预处理条件的灰度图像依次进行高斯平 滑处理及降采样处理后得到预处理图像后输出； 人脸分析模块包括区域检测子模块和特征分析 子模块， 特征分析子模块根据人脸坐标对每个人 脸区域进行人脸大小、 亮度、 清晰度及角度的计 算后筛选出符合预设人脸标准的图像输出作为 正脸图像。 本发明具有使用方便， 提高了截图质 量的优点。 权利要求书3页 说明书7页 附图2页 CN 115410248 A 2022.11.29 CN 115410248 A 1.一种用于视频直播的人工智能人像截图系统， 其特征在于， 包括： 视频取帧模块、 图 像预处理模块、 人脸分析模块、 人脸截图模块、 人像修 正模块及人脸库， 所述视频 取帧模块用于获取包 含人脸的图像作为待处 理图像输送至图像预处 理模块； 所述图像预处理模块将待处理图像进行灰度处理后得到每一帧待处理图像对应的灰 度图像， 随后对不符合预 处理条件的灰度图像依次进 行高斯平滑处理及降采样处理后得到 预处理图像后输出； 所述人脸分析模块包括 区域检测子模块和特征分析子模块， 所述 区域检测子模块根据 输入的预 处理图像进 行人脸检测得到人脸区域并生成人脸特征向量， 并根据所述人脸区域 得到人脸坐标， 所述人脸区域为包含人脸的最小矩形区域， 所述人脸坐标为人脸区域的左 上角及右下角坐标(l,t)(r,b)， 所述特征分析子模块根据人脸坐标对每个人脸区域进行人 脸大小、 亮度、 清晰度及角度的计算后筛选出符合预设人脸标准的图像输出作为正脸图像， 所述预设人脸标准包括大小标准、 亮度标准、 清晰度标准及角度标准； 所述人像修 正模块用于对正 脸图像进行修 正得到人脸图像， 具体步骤 包括： 步骤S1:在一个采集周期内获取多帧包含人脸的连续图像作为修正图像， 所述修正图 像组中包 含所述正脸图像； 步骤S2:根据正脸图像的人脸区域通过图像跟踪算法获取每帧修正图像内的人脸区 域， 将多帧修正图像根据预设分组条件进行分组， 计算每 帧修正图像的偏转角度并将每组 中偏转角度最大的修正图像作为比对图像， 所述偏转角度 表征为修正图像的人脸相对于正 脸图像中的人脸所偏转的程度； 步骤S3:根据比对图像所对应的偏转角度、 正脸图像及正脸图像所对应的人脸特征向 量计算生成正脸图像在最大偏转角度下的理论图像； 步骤S4:提取理论图像与比对图像的特征信息进行比对得到偏差数据， 整合每幅 比对 图像得到的偏差数据生成偏差修 正表； 步骤S5:根据 所述偏差修正表对所述正脸图像进行修正得到人脸图像及对应的人脸特 征向量； 所述人脸截图模块获取人脸图像及对应的人脸特征向量， 遍历人脸库， 计算输入的人 脸特征向量与人脸库中每个人脸特征向量的余弦相似度， 将余弦相似度小于等于预设阈值 的人脸图像进行截图存 入人脸库。 2.根据权利要求1所述的一种用于视频直播的人工智能人像截图系统， 其特征在于， 所 述对不符合预处理条件的灰度图像依 次进行高斯平滑处理及降采样处理后得到预处理图 像后输出 具体包括： 使用高斯核对灰度图像进行离散化窗口滑窗卷积， 对高斯平滑后的灰度图像， 只保留 奇数行、 奇数列的值得到预处 理图像后输出； 其中不符合预处 理条件具体为分辨 率超过预设门限值。 3.根据权利要求1所述的一种用于视频直播的人工智能人像截图系统， 其特征在于， 所 述特征分析子模块计算人脸大小的计算公式为： FaceArea＝((r‑l)*(b‑t)) 其中， FaceA rea为人脸区域的面积。 4.根据权利要求1所述的一种用于视频直播的人工智能人像截图系统， 其特征在于， 所权　利　要　求　书 1/3 页 2 CN 115410248 A 2述特征分析子模块计算人脸亮度具体包括： 将预处理图像从色彩空间BGR转换到YCrCb颜色空间后， 再计算人脸区域亮度的平均 值， 计算所述人脸区域亮度的平均值的计算公式为： 其中， Brightnes s为人脸区域亮度的平均值。 5.根据权利要求1所述的一种用于视频直播的人工智能人像截图系统， 其特征在于， 所 述特征分析子模块计算人脸亮度具体包括： 使用X方向和Y方向的卷积核(Sx和 Sy)对人脸区域的灰度图像分别进行卷积， 计算出两 个方向的梯度dGx和dGy； 根据dGx和dGy计算出图像梯度dG， dG反映了图像 变化的梯度， 即人脸区域的清晰度； 计算dGx的计算公式为： 计算dGy的计算公式为： 其中G为人脸区域的灰度图像； 计算图像梯度的计算公式为： 6.根据权利要求1所述的一种用于视频直播的人工智能人像截图系统， 其特征在于， 所 述特征分析子模块计算人脸角度具体包括： 使用opencv可以获得人脸区域中人脸的旋转向量rvec， 使用罗德里格斯公式可以计算 出旋转矩阵rmat， 计算过程如下： θ ＝norm(rvec), 其中I为单位矩阵； 得到旋转矩阵后可计算出 人脸在x、 y、 z三个方向的偏转角度， 计算公式如下： 所述角度标准具体为：权　利　要　求　书 2/3 页 3 CN 115410248 A 3