(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058910.6 (22)申请日 2022.08.30 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 钱华　朱丽　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 杨春香 (51)Int.Cl. G06V 30/148(2022.01) G06K 7/14(2006.01) G06Q 10/08(2012.01) G06V 30/42(2022.01) (54)发明名称 一种信息识别方法、 装置及终端设备 (57)摘要 本申请提供一种信息识别方法、 装置及终端 设备， 该方法包括： 获取针对快递面单的多帧面 单图像； 从所述多帧面单图像中选取出目标面单 图像； 其中， 所述目标面单图像中的条形码中心 点与候选面单图像中的条形码中心点之间的位 移小于预设位移阈值， 且所述候选面单图像是所 述目标面单图像的前一帧面单图像； 从所述目标 面单图像中解析出目标面单字段； 基于所述目标 面单字段确定所述目标面单图像中的面单关键 信息。 通过本申请的技术方案， 能够基于清晰的 目标面单图像识别出快递面单中的面单关键信 息， 面单关键信息的识别效率高、 识别准确率高、 识别速度快， 且用户体验较好。 权利要求书3页 说明书16页 附图5页 CN 115393860 A 2022.11.25 CN 115393860 A 1.一种信息识别方法， 其特 征在于， 应用于终端设备， 所述方法包括： 获取针对快递 面单的多帧面单图像； 从所述多帧面单图像中选取出目标面单图像； 其中， 所述目标面单图像中的条形码中 心点与候选面单图像中的条形码中心点之 间的位移小于预设位移阈值， 且 所述候选面单图 像是所述目标面单图像的前一帧面单图像； 从所述目标面单图像中解析 出目标面单字段； 基于所述目标面单字段确定所述目标面单图像中的面单关键信息 。 2.根据权利要求1所述的方法， 其特 征在于， 所述从所述多帧面单图像中选取 出目标面单图像， 包括： 若当前帧面单图像中的条形码满足条形码校验规则， 且所述当前帧面单图像的前一帧 面单图像中的条形码满足所述条形码校验规则， 则基于所述当前帧面单图像中的条形码的 四个顶点坐标确定第一中心 点坐标， 基于所述前一帧面单图像中的条形码的四个顶点坐标 确定第二中心点 坐标； 若所述第一中心点坐标与 所述第二中心点坐标之间的位移小于预设位移阈值， 则将所 述当前帧面单图像选取为所述目标面单图像。 3.根据权利要求1所述的方法， 其特 征在于， 所述从所述目标面单图像中解析 出目标面单字段， 包括： 对所述目标面单图像进行面单检测， 得到所述快递面单对应的4个角点以及所述4个角 点的顺序； 基于所述4个角点从所述目标面单图像中截取出面单区域初始子图像， 并基于所 述4个角点的顺序对所述面单区域初始子图像进行旋转校正， 得到旋转校正后的面单区域 目标子图像； 从所述面单区域目标子图像中解析 出目标面单字段。 4.根据权利要求3所述的方法， 其特 征在于， 所述从所述 面单区域目标子图像中解析 出目标面单字段， 包括： 对所述面单区域目标子 图像进行文字检测， 得到面单字段对应的坐标位置， 并从所述 面单区域目标子图像中截取 出所述坐标位置对应的文字区域； 对所述文字区域进行文字识别， 得到所述目标面单字段。 5.根据权利要求1 ‑4任一项所述的方法， 其特 征在于， 所述从所述目标面单图像中解析 出目标面单字段之后， 所述方法还 包括： 检测所述目标面单字段 是否存在异常； 如果否， 则执行基于所述目标面单字段确定所述目标面单图像中的面单关键信 息的操 作； 如果是， 则从所述多帧面单图像中选取出新目标面单图像， 返回执行从所述新目标面单 图像中解析 出目标面单字段的操作。 6.根据权利要求5所述的方法， 其特 征在于， 所述检测所述目标面单字段 是否存在异常， 包括： 将所述目标面单字段输入给已训练 的目标网络模型， 得到所述目标面单字段中每个字 符对应的置信度、 所述目标面单字段对应的模糊度； 其中， 所述目标网络模型包括目标主干 子网络、 目标识别子网络和目标分类子网络， 所述 目标主干子网络用于基于所述 目标面单 字段确定目标特征， 所述目标识别子网络用于基于所述目标特征确定所述目标面单字段中权　利　要　求　书 1/3 页 2 CN 115393860 A 2每个字符对应的置信度， 所述目标分类子网络用于基于所述目标特征确定所述目标面单字 段对应的模糊度； 基于所述目标面单字段中每个字符对应的置信度和/或所述目标面单字段对应的模糊 度， 确定所述目标面单字段是否存在异常； 其中， 若有字符对应的置信度小于预设置信度阈 值， 则所述目标面单字段存在异常； 若 所述模糊度 表示所述目标面单字段为模糊， 则所述目 标面单字段存在异常。 7.根据权利要求6所述的方法， 其特征在于， 初始网络模型包括初始主干子网络、 初始 识别子网络和初始分类子网络， 目标网络模型的训练过程， 包括： 将第一训练数据集中的第 一样本数据输入给初始主干子网络得到第 一样本特征， 将第 一样本特征输入给初始识别子网络得到第一样本数据的识别结果； 基于第一样本数据的识 别结果和 第一样本数据的标签信息对初始主干子网络和初始识别子网络进 行优化， 得到目 标主干子网络和目标识别子网络； 将第二训练数据集中的第 二样本数据输入给所述目标主干子网络得到第 二样本特征， 将第二样本特征输入给初始分类子网络得到第二样本数据的分类结果； 基于第二样本数据 的分类结果和第二样本数据的标签信息对初始分类子网络进行优化， 得到目标分类子网 络； 基于所述 目标主干子网络、 所述 目标识别子网络和所述 目标分类子网络生成所述 目标 网络模型。 8.一种信息识别装置， 其特 征在于， 应用于终端设备， 所述装置包括： 获取模块， 用于获取针对快递 面单的多帧面单图像； 处理模块， 用于从所述多帧面单图像 中选取出目标面单图像； 其中， 所述目标面单图像 中的条形码中心 点与候选面单图像中的条形码中心 点之间的位移小于预设位移阈值， 所述 候选面单图像是 所述目标面单图像的前一帧面单图像； 确定模块， 用于从所述目标面单图像中解析出目标面单字段， 基于所述目标面单字段 确定所述目标面单图像中的面单关键信息 。 9.根据权利要求8所述的装置， 其特 征在于， 其中， 所述处理模块从所述多帧面单图像中选取出目标面单图像时具体用于： 若当前 帧面单图像中的条形码满足条形码校验规则， 且当前帧面单图像的前一帧面单图像中的条 形码满足条形码校验规则， 则基于 当前帧面单图像中的条形码的四个顶点坐标确定第一中 心点坐标， 基于前一帧面单图像中的条形码的四个顶点坐标确定第二中心点坐标； 若第一 中心点坐标与第二中心 点坐标之间的位移小于预设位移阈值， 则将当前帧面单图像选取为 目标面单图像； 其中， 所述确定模块从所述目标面单图像中解析出目标面单字段时具体用于： 对目标 面单图像进 行面单检测， 得到所述快递面单对应的4个角点和4个角点的顺序； 基于所述4个 角点从所述 目标面单图像中截取出面单区域初始子图像， 基于所述4个角点的顺序对所述 面单区域初始子图像进行旋转校正， 得到面单区域 目标子图像； 从所述面单区域 目标子图 像中解析 出目标面单字段； 其中， 所述确定模块从所述面单区域目标子 图像中解析出目标面单字段时具体用于： 对所述面单区域目标子图像进行文字检测， 得到面单字段对应的坐标位置， 并从所述面单 区域目标子图像中截取出所述坐标位置对应的文字区域， 并对所述文字区域进行文字识权　利　要　求　书 2/3 页 3 CN 115393860 A 3