(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741126.9 (22)申请日 2022.06.27 (71)申请人 重庆科技学院 地址 401331 重庆市沙坪坝区大 学城东路 20号 (72)发明人 吕文琪　向毅　马骁　雷亮　 刘子樊　傅普杰　蒋鸿伟　吴锦洲　 何龙　冯小渝　简夜明　 (74)专利代理 机构 北京翔石知识产权代理事务 所(普通合伙) 11816 专利代理师 王洋洋 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06F 3/01(2006.01) (54)发明名称 基于深度学习的面部运动轮椅控制图像处 理方法 (57)摘要 本发明公开了一种基于深度学习的面部运 动轮椅控制图像处理方法， 第一步： 根据输入 图 片生成图片金字塔， 缩放各种尺度的图片后将所 有的图片进行图像预处理； 第二步： 将处理后的 图片传送到第一级网络， 来获得图片中的人脸候 选窗口以及它们的BoundingBox回归向量； 第三 步： 通过Bou ndingBox回归的结果矫正候选窗口， 最后通过NMS非极大值抑制来合并高度重合的窗 口； 第四步： 根据上一步输 出的所有候选框， 进 一 步拒绝大量错误的候选框后， 通过BoundingBox 回归进行校准， 同样采用NMS非极大值抑制合并 窗口后输入到最后一级网络； 第五步： 最后一级 网 络 不 仅 输 出 检 测 窗 口 的 置 信 度 以 及 BoundingBox回归向量， 还输出人脸关键点的坐 标向量。 本发明可以实现精准控制轮 椅。 权利要求书1页 说明书3页 附图2页 CN 115131860 A 2022.09.30 CN 115131860 A 1.一种基于深度学习的面部运动轮 椅控制图像处 理方法， 其特 征在于， 包括如下步骤： 第一步： 根据输入图片生成图片金字塔， 缩放各种尺度的图片后将所有的图片进行图 像预处理， 先对其进行形态学上 的腐蚀膨胀操作来消除噪点后， 之后对图片像素值进行归 一化； 第二步： 将处理后的图片传送到第一级网络， 来获得图片中的人脸候选窗口以及它们 的Boundi ng Box回归向量； 第三步： 通过Bounding  Box回归的结果矫正候选窗口， 最后通过NMS非极大值抑制来合 并高度重合的窗口； 第四步： 根据上一步输出的所有候选框， 进一步拒绝大量错误的候选框后， 通过 Bounding Box回归进行 校准， 同样采用NMS非极大值抑制合并窗口后输入到最后一级网络； 第五步： 最后一级网络不仅输出检测窗口的置信度以及Bounding  Box回归向量， 还输 出人脸关键点的坐标向量。 2.如权利要求1所述的基于深度 学习的面部运动轮椅控制图像处理方法， 其特征在于， 在第二步中采用全卷积神经网络， 通过卷积网络参数共享的特性来 实现快速的滑动窗口算 法。 3.如权利要求1所述的基于深度 学习的面部运动轮椅控制图像处理方法， 其特征在于， 在人脸判断中将其 转化为二分类问题使用交叉熵损失： 4.如权利要求1所述的基于深度 学习的面部运动轮椅控制图像处理方法， 其特征在于， 对于Boundi ng Box回归与关键点回归， 用L2正则化损失： 权　利　要　求　书 1/1 页 2 CN 115131860 A 2基于深度学习的面部运动轮椅控制图像处理 方法 技术领域 [0001]本发明涉及一种基于深度学习的面部运动轮 椅控制图像处 理方法。 背景技术 [0002]据统计， 全球的残疾人总数超过10亿， 约占全球人口 的15％。 [0003]中国第二次全 国残疾人抽样调查显示： 1)我国残疾人总数为8502万人， 其中肢体 残疾2414万人。 2)我国人口的残疾现患率将在未来40多年中持续增长， 根据预测结果显示， 至2050年我国人口的残疾现患率将达到11.31％。 估计到2050年全国残疾人总 量将会达到 1.65亿， 将是 目前的二倍。 3)在残疾人中肢体残疾增速最为显著增速达到2倍以上， 预计到 2050年肢体残疾人的数量将会达 到7000万。 [0004]残疾人已经成为社会上一个不能忽视 的群体， 残疾程度重 的人四肢瘫痪， 日常生 活自理能力低下， 需要家庭成员或专门的护理人员护理， 给患者的家庭增添了很多的麻烦。 因此， 本发明针对肢体残障人士的四肢功能不灵活， 行动严重受限， 生活无法自理。 [0005]随着Android智能手机的快速发展和硬件成本的降低， 绝大部分手机都自带足够 清晰度的摄像头， 为用最新电子信息和网络技术， 帮助四肢残障人士实现生活自理提供了 基础。 [0006]基于以背景我们拟设计一个基于Tensor Flow框架的面部运动轮椅控制系统， 借助 头部运动， 面部表情， 瞳孔 位置功能， 帮助四肢残障人士实现行动的自理和自由。 发明内容 [0007]为了解决上述问题， 本发明提供一种基于感官控制的， 能够帮助残疾人运动的基 于深度学习的面部运动轮 椅控制图像处 理方法。 [0008]一种基于深度学习的面部运动轮 椅控制图像处 理方法， 包括如下步骤： [0009]第一步： 根据输入图片生成图片金字塔， 缩放各种尺度的图片后将所有的图片进 行图像预处理， 先对其进行形态学上 的腐蚀膨胀操作来消除噪点后， 之后对图片像素值进 行归一化； [0010]第二步： 将处理后的图片传送到第一级网络， 来获得图片中的人脸候选窗口以及 它们的Boundi ng Box回归向量； [0011]第三步： 通过Bounding  Box回归的结果矫正候选窗 口， 最后通过NMS非极大值抑制 来合并高度重合的窗口； [0012]第四步： 根据上一步输出的所有候选框， 进一步拒绝大量错误的候选框后， 通过 Bounding Box回归进行 校准， 同样采用NMS非极大值抑制合并窗口后输入到最后一级网络； [0013]第五步： 最后一级网络不仅输出检测窗口的置信度以及Bounding  Box回归向量， 还输出人脸关键点的坐标向量。 [0014]进一步的， 在第二步中采用全卷积神经网络， 通过卷积网络参数共享的特性来实 现快速的滑动窗口算法。说　明　书 1/3 页 3 CN 115131860 A 3