(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211259922.5 (22)申请日 2022.10.14 (71)申请人 成都大学 地址 610100 四川省成 都市龙泉驿区成洛 大道2025号 (72)发明人 范文杰　古沐松　苗放　游磊　 陈二阳　 (74)专利代理 机构 成都君合集专利代理事务所 (普通合伙) 51228 专利代理师 张鸣洁 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进的大数据算法识别患者唇语 的方法及系统 (57)摘要 本发明涉及机器学习技术领域， 公开了一种 基于改进的大数据算法识别患者唇语的方法， 包 括以下步骤： 步骤S1， 采集人脸面部图像， 使用改 进的PCA‑SURF算法将人脸面部图像构建成数据 集； 步骤S2， 基于改进的ResNeS T模块构建特征识 别模型， 采用数据增强方法扩充数据集后,使用 数据集对特征识别模型进行训练； 步骤S3， 将数 据集输入到对 特征识别模型中进行训练， 特征识 别模型包 括改进的ResNeST模型， 改进的ResNeST 模块依次连接上游模块和下游分支模块； 步骤 S4， 采集人脸面部图像输入进训练好的人脸面部 图像中读取人的唇语信息。 本发 明还提供了一种 基于改进的大数据算法识别患者唇语的系统。 本 发明用于解决PCA降维损失信息量的同时， 提高 机器学习模型的泛化力。 权利要求书2页 说明书6页 附图1页 CN 115546896 A 2022.12.30 CN 115546896 A 1.一种基于改进的大 数据算法识别患者唇语的方法， 其特 征在于， 包括以下步骤： 步骤S1， 采集人脸面部图像， 使用改进的PCA ‑SURF算法将采集的人脸面部图像构建成 数据集； 步骤S2， 基于改进的ResNeST模块构建特征识别模型， 采用数据增强方法扩充数据集 后,使用数据集对特 征识别模型进行训练； 步骤S3， 将数据集输入到对特征识别模型中进行训练， 所述特征识别模型包括改进的 ResNeST模型， 所述改进的ResNeST模块依次连接上游模块和下游分支模块； 步骤S4， 采集人脸 面部图像输入进训练好的人脸 面部图像中读取 人的唇语信息 。 2.根据权利要求1所述的一种基于改进的大数据算法识别患者唇语的方法， 其特征在 于， 所述步骤S1包括： SURF算法通过Hessian算法提取出人脸面部图像 的特征点， 生成SURF特征的描述子特 征向量； 将PCA算法进行去中心化处 理后再和SURF 特征的子特 征向量结合 生成协方差矩阵； 将PCA降维过程中对协方差矩阵求出来的特征向量使用欧式距离进行匹配， 剔除掉欧 氏距离为0的两个特 征点， 再构建成数据集。 3.根据权利要求1所述的一种基于改进的大数据算法识别患者唇语的方法， 其特征在 于， 所述步骤2 中改进的ResNeST模块包括三个并联连接的通道层、 批归一化层和线性修正 单元层， 最终进行softmax函数计算。 4.根据权利要求2所述的一种基于改进的大数据算法识别患者唇语的方法， 其特征在 于， 包括： 首先使用提取在最开始采集人脸面部图像时， 采取图像中所有样本m的坐标(x1～m,y1 ～m)， 在PCA降维计算中进行去中心化处 理获得去中心化后的矩阵H2； 去中心化前的x坐标方向的矩阵H1x表示为： H1x＝[x1...xm]＝[Tx1...Txm]， 其中， Tx1...Txm为特 征向量； 去中心化前的y坐标方向的矩阵H1y表示为： H1y＝[y1...ym]＝[Ty1...Tym]， 其中， Ty1...Tym为特 征向量； 去中心化后的x坐标矩阵H2x表示为： H2x＝[T1 ‑x01...Tm ‑x0m]， 其中， x01为x1竖列代 表的均值， x0m为xm竖列代 表的均值； 去中心化后的y坐标矩阵H2y表示为： H2 y＝[T1‑y01...Tm ‑y0m](4)， 其中， x01为x 1竖列 代表的均值， x0m为xm竖列代 表的均值； 接着在PCA降维过程中对协方差矩阵求出特征向量， 协方差矩阵 的定义公式为： 其中， m为所有样本， j为第j个样本 个数， 是一个列向量， xi为x01到 x0m的均值， yi为y01到y0m的均值， 将协方差矩阵直接和SURF特征的特征 向量结合； 根据欧 氏距离公式确定匹配度。 5.根据权利要求1所述的一种基于改进的大数据算法识别患者唇语的方法， 其特征在 于， 所述上游模块包括多层感知层MLP和并联连接的第一特征提取层以及第二特征提取层，权　利　要　求　书 1/2 页 2 CN 115546896 A 2所述第一特 征提取层和第二特 征提取层最终进行sigmo id函数计算。 6.根据权利要求1所述的一种基于改进的大数据算法识别患者唇语的方法， 其特征在 于， 所述下游分支模块包括第三特征提取层， 所述第三特征提取层包括依 次连接的最大池 化层MAXPO OL3、 卷积层C 6、 平均池化层ACGPO OL3和卷积层C 5。 7.根据权利要求5所述的一种基于改进的大数据算法识别患者唇语的方法， 其特征在 于， 包括： 所述特征识别 模型将sigmoid函数计算的结果和第三特征提取层输出的结果进行特征 相加后进行输出。 8.一种基于改进的大数据算法识别患 者唇语的系统， 其特征在于， 包括采集单元、 模型 构建单元、 训练单 元和读取 单元， 其中： 采集单元， 用于采集人脸面部图像， 使用改进 的PCA‑SURF算法将人脸面部图像构建成 数据集； 模型构建单元， 用于基于改进的ResNeST模块构建特征识别模型， 采用数据增强方 法扩充数据集后,使用数据集对特 征识别模型进行训练； 训练单元， 用于将数据集输入到对特征识别模型中进行训练， 所述特征识别模型包括 改进的ResNeST模型， 所述改进的ResNeST模块依次连接上游模块和下游分支模块； 读取单元， 用于采集人脸面部图像输入进训练好的人脸面部图像中读取人的唇语信 息。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1 ‑7中任一项所述方法的步骤。 10.一种电子设备， 其特 征在于， 包括： 存储器， 其上存 储有计算机程序； 处理器， 用于执行所述存储器 中的所述计算机程序， 以实现权利要求1 ‑6中任一项所述 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115546896 A 3