(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221078240 0.7 (22)申请日 2022.07.05 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 齐鲁工业大学 (72)发明人 纪鹏　冯金香　马凤英　张慧　 曹茂永　 (74)专利代理 机构 济南格源知识产权代理有限 公司 373 06 专利代理师 刘晓政 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) (54)发明名称 一种基于视觉特征的指尖检测方法 (57)摘要 本发明涉及人机交互相关技术领域， 尤其是 一种基于视觉特征的指尖检测方法， 拍摄两组图 像， 一组为与手颜色有色差背景的手部图像， 一 组为复杂环境、 无手的背景图像， 对图像进行处 理， 得到手部边缘图像和背景边缘图像， 采用边 缘图像的旋转不变HOG特征， 通过AdaBoost集成 学习训练分类出有效特征， 用一种旋转的偏移向 量定位指 尖， 实现了复杂环境下的单手指指尖点 的精准检测。 权利要求书5页 说明书12页 附图4页 CN 115171158 A 2022.10.11 CN 115171158 A 1.一种基于 视觉特征的指尖检测方法， 其特 征在于包括如下步骤： 步骤1、 拍摄两组图像， 一组为与手颜色有色差背景的手部图像， 一组为复杂环境、 无手 的背景图像； 步骤2、 对于步骤1中得到的手部图像， 采用简单背景手部分割方法分割出手部的图像， 并对分割的图像出依次进行 灰度化、 二 值化处理； 步骤3、 对于步骤2中得到的手部的图像， 检测得到每张图的指尖点 坐标并保存； 步骤4、 对于步骤1中得到的手部图像和背景图像， 采用HED方法进行边缘检测并二值化 处理， 得到手部边 缘图像和背景边 缘图像； 步骤5、 提取手部边缘图像中每个边缘点的旋转不变HOG特征， 并保存边缘点HOG特征、 特征的位置、 特 征与指尖点的偏移向量和特 征的主方向； 步骤6、 采用有效特征准则从手部旋转不变HOG特征中挑选出有效特征， 并将HOG特征、 特征的位置、 特 征与指尖点的偏移向量和特 征的主方向保存为特 征字典； 步骤7、 对特 征字典进行凝聚层次聚类； 步骤8、 提取背景边 缘图像中边 缘点的旋转 不变HOG特征； 步骤9、 制作数据集， 数据集包括训练集、 验证集和 测试集； 步骤10、 设计特征分类器； 采用AdaBoost集成学习作为特征分类器， 由M个多层感知机 MLP作为弱分类 器组成强分类 器； 步骤11、 用训练集训练特征分类器， 并通过验证集调整参数， 选取最优模型， 并保留模 型信息； 步骤12、 采集处于复杂环境下的手部图像， 手部姿势应与训练集要求保持一 致； 步骤13、 采用H ED边缘检测方法对步骤12中获得的图像进行边 缘检测并二 值化处理； 步骤14、 对步骤13中得到的边 缘检测图像提取旋转 不变HOG特征； 步骤15、 用训练好的AdaBoost特征分类器模型从步骤14得到 的HOG特征中分类出预测 有效特征； 步骤16、 将步骤15中得到的预测有效特征与特征字典中的有效特征旋转相同的角度至 同一主方向进行比较； 步骤17、 用KNN算法从预测有效特征中找到与每个有效特征最匹配的K个特征， 定义为 准有效特 征； 步骤18、 将与各个准有效特 征匹配的有效特 征的偏移向量旋转同样的角度； 步骤19、 用各个准有效特征和对应的、 旋转后的偏移向量预测指尖点坐标， 形成一个指 尖点空间； 步骤20、 用Mean  Shift算法从指尖点空间中找出指尖点预测密度最大的点， 得到最终 预测的指尖点。 2.根据权利要求1所述的基于 视觉特征的指尖检测方法， 其特 征在于， 步骤1中， 与手颜色有色差背景保证了后续提取到的特征全部来源于手部， 手部图像中 手部姿势应为任意四根手指合拢、 剩余 一根手指展开的旋转变换、 距离变换多样的； 步骤2中分割时， 将原始RGB图像转换为YCbCr图像， 利用肤色的高斯模型， 计算输入图 像与肤色图像的相似度， 设立阈值， 将手部分割出来， 最后通过中值滤波 去噪， 平滑图像。 3.根据权利要求2所述的基于 视觉特征的指尖检测方法， 其特 征在于，权　利　要　求　书 1/5 页 2 CN 115171158 A 2步骤3采用简单指尖检测算法检测得到每张图的指尖点坐标,所述简单指尖检测算法， 具体为： 步骤31、 获取步骤2分割得到的二 值手部分割图； 步骤32、 利用Can ny算子边 缘检测的方法从图中找到手势轮廓； 步骤33、 通 过求手势轮廓的零阶矩M00、 一阶矩M01、 M10来计算手势轮廓的重心 即为手的重心； 步骤34、 从手势轮廓点中找到距离 重心最远的点， 该点即为指尖点； 步骤35、 记录指尖点 坐标并保存。 4.根据权利要求3所述的基于 视觉特征的指尖检测方法， 其特 征在于， 步骤4中所述H ED边缘检测方法具体为： 步骤41、 构建H ED网络结构； 步骤42、 确定损失函数； HED网络的损失函数包括两 部分： 侧输出层损失Lside和融合权 重损失Lfuse， 设输入图像 为 |Xn|表示第n张图像中包含的像素个数， 其对应 的标签为 HED网络有5个侧输出层， 每个侧输出层与 分类器相关联， 则定义各层权 重为w＝(w(1),…,w(5))， 网络中其 余参数值都为 W， 其中， αm为各个侧输出层损失函数 的权重， 可以跟据训练 日志设置也可设置为1/5， β用来解决边缘像素和非边缘像素个数不均衡的问题， |Y‑|和|Y+|分 别表示边缘像素点和非边缘像素点个数， Pr表示预测结果， 故Pr(yj＝1∣ X； W,w(m))第m个侧输 出层输出的预测值 经Sigmoid函数σ 计算的结果， 即 其中， Lfuse(W,w,h)表示融合损失， 是各个侧输出层的加权和， 即为融合后的预测结 果， hm为第m个侧输 出层的融合权重， Dist函数用于计算标签Y与融合后的预测结果 之间 的距离， 步骤43、 依次进行训练、 测试， 并保留训练好的模型，权　利　要　求　书 2/5 页 3 CN 115171158 A 3