(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210531770.3 (22)申请日 2022.05.17 (65)同一申请的已公布的文献号 申请公布号 CN 114663513 A (43)申请公布日 2022.06.24 (73)专利权人 广州纳丽 生物科技有限公司 地址 511400 广东省广州市番禺区石楼镇 创启路63号创智28号楼 (72)发明人 陈彦彪　翟敬梅　罗荣森　陈家骊　 唐骢　 (74)专利代理 机构 广州天河万研知识产权代理 事务所(普通 合伙) 44418 专利代理师 刘茂龙 (51)Int.Cl. G06T 7/73(2017.01)G06T 7/246(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/06(2012.01) G06Q 50/04(2012.01) G06Q 50/20(2012.01) (56)对比文件 CN 110246127 A,2019.09.17 CN 112476434 A,2021.0 3.12 CN 110355757 A,2019.10.2 2 US 202126 0755 A1,2021.08.26 US 2022088787 A1,202 2.03.24 审查员 谭岳峰 (54)发明名称 一种操作仪工作端移动轨迹的实时位姿估 计与评估方法 (57)摘要 本发明公开了一种操作仪工作端移动轨迹 的实时位姿估计与评估方法， 包括以下步骤： （1） 为操作仪选取与设计多个特征区域， 选取特征区 域的中心点为操作仪的特征点； （2） 在合适位置 搭建平台， 连接设备； （3） 构建特征点检测的卷积 神经网络， 获取操作仪 上的特征点； （4） 处理特征 点附近的点 云数据， 得到操作仪工作端的三维坐 标值以及法向向量； （5） 根据工作端的三维坐标 值与指导操作轨迹对操作仪工作端移动轨迹进 行量化评估。 本发明在操作仪工作端被遮挡的情 况下， 可以对操作仪工作过程中的位置与姿态进 行实时估计； 可以对操作仪的移动轨迹与 指导操 作轨迹进行量化评估， 将其用于操作员的岗前培 训和业务考核。 权利要求书4页 说明书7页 附图5页 CN 114663513 B 2022.09.20 CN 114663513 B 1.一种操作仪工作端移动轨迹的实时位姿估计与评估方法， 该方法基于的操作仪工作 端移动轨迹位姿估计与评估系统包括立体视觉相机、 相机外连接件、 工作台、 指导操作轨 迹、 计算机、 操作仪及其特 征区域与工作端、 操作员， 其特 征在于： 该 方法包括 步骤： S1、 为操作仪 选取特征区域， 选取 特征区域的中心点 为操作仪的特 征点； 在操作仪无明显特征的情况下， 为操作仪设计特征图案， 将该图案贴至操作仪上作为 特征区域， 选取图案中心点 为操作仪的特 征点； 将选择的特征区域记为 ， 对应的特征点记为 ， 指的是选择的特 征区域的类别个数； 用立体视觉相机拍摄操作仪在不同姿态下的图片， 使用中心标记法标记特征区域， 并 且确保在不同姿态下看见至少三个特 征区域； 所述中心标记法指的是用两个点 作为特征区域的标记， 是操作仪特征点在图 像中的像素二维坐标 ， 是操作仪特征区域的最小外接四边形的一个角在图像中 的像素二维坐标 ， 通过拍照不同姿态下的操作仪与标记特 征点作为训练集； S2、 在合适位置搭建平台， 将立体视觉相机通过相机外接件固定在工作台上， 调整相机 外接件的位置， 使得立体视觉相 机处于最佳工作位置， 即在移动操作仪的过程中既能捕捉 到清晰的操作仪的RGB彩色图像， 又使 得立体视觉相机获取清晰的操作仪的点云数据， 并将 RGB彩色图像与深度图像输入到计算机中； S3、 构建特征点检测的卷积神经网络， 将预处理后的RGB彩色图像输入特征点检测卷积 神经网络， 通过解码网络输出获得图像中的操作仪特征点所在的像素二维坐标值； 通过正 样本匹配获得 可供训练使用的正样本， 构造损失函数用于回归调整卷积核系数； S4、 处理特征点附近的点云数据， 降低 点云噪声干扰， 获取在空间中操作仪各特征点的 三维坐标值， 计算得 出操作仪 工作端的三维坐标值以及法向量； S5、 根据工作端的三维坐标值与指导操作轨迹对操作仪工作端移动轨迹进行量化评 估。 2.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法， 其特征 在于： 所述 步骤S3具体包括： S31、 采集的RGB彩色图像宽高为 ， 根据图像裁剪方法将 的图像裁剪为 ； 所述图像裁剪方法， 是根据上一帧识别的到的操作仪的范围对该帧的图像进行裁剪， 图像裁剪的方法提高了网络计算的速度； S32、 特征点检测卷积神经 网络的输入大小为 ， 选取 中的最大值 作为放缩的最大边界， 将裁剪后的图像不失真的放缩为 的宽高大小， 对比网络输入大小 ， 用RGB值为 的黑色填充图像空余的部分， 再将 图像的RGB值以25 6为1进行归一 化处理； S33、 将放缩图像输入主干特 征提取网络获取图像深层信息； 通过Focus网络拓宽通道数， 建立由四个残差网络串联组成的网络模型， 依次将第二个权　利　要　求　书 1/4 页 2 CN 114663513 B 2到第四个残差网络的输出记为 、 和 ， 以 作为加强特征提取网络的输入 ， 即 ； S34、 在加强特征提取网络中， 将 进行相互上下采样与卷积， 得到加强特征提 取网络的输出 ， 所述 融合了 的信息； S35、 在分类器与回归器中， 使用卷积的方式将步骤S34所述的输 出 分别卷积成大小 为 的 ， 与输入的 的宽高大小相同； 所述 代表卷积神经网络识别到图像中特征区域的大小与位置信息， 其中有四个参 数 ： 代表步骤S1中所述特 征点 与 的偏移系数 ； 代表步骤S1中所述特 征区域 的宽高系数 ； 所述 代表 是否含有 的概率； 所述 代表识别到的特 征区域属于各个 类别的概 率； S36、 对步骤S35的 进行解码， 上述 定义为原图分为 个网络输出区 域， 网络输出区域的中心点记为 ； 通过解码获得特征区域， 选取特征区域的中心点， 获得操作仪的特征点在RGB 彩色图像 中的二维坐标； S37、 在网络训练过程中， 通过正样本匹配方法从网络输出的大量负样本中选出可用来 训练的正样本数据， 再构造损失函数用于回归调整卷积核系数； 所述的损失函数包括四个部分 、 、 、 ： 特征区域损失函数 ： 正样本输出区域与步骤S13中标记的区域的IOU损失； 特征点存在损失函 数 ： 正负样本与步骤S13中标记区域是否含有特征区域计 算交叉 熵损失； 特征点类别损失函数 ： 正负样本与步骤S13中标记的区域的类别计算交叉熵损失； 特征点偏移损失函数 ： 正负样本与步骤S13中标记区域中心点的欧氏距离； 总损失函数 计算公式如下： 其中 为重点损失函数系数； 训练时， 根据步骤S1提供的训练集， 对构建好的特征点检测卷积神经网络设置训练的 超参数和训练条件进行网络参数训练。权　利　要　求　书 2/4 页 3 CN 114663513 B 3