(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210095671.5 (22)申请日 2022.01.26 (65)同一申请的已公布的文献号 申请公布号 CN 114612911 A (43)申请公布日 2022.06.10 (73)专利权人 哈尔滨工业大 学 （深圳） 地址 518055 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 户保田　杨倩　李云鑫　陈清财　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 朱阳波 (51)Int.Cl. G06V 30/32(2022.01) G06F 40/30(2020.01) G06N 3/02(2006.01)(56)对比文件 CN 110377914 A,2019.10.25 Yunxin Li 等.Fast and Robust On line Handwrit ten Chinese Character Recogn ition with Deep Spatial & Co ntextual Informati on Fusion Network. 《IEEE》 .2022, Yunxin Li 等.Fast and Robust On line Handwrit ten Chinese Character Recogn ition with Deep Spatial & Co ntextual Informati on Fusion Network. 《IEEE》 .2022, Yunxin Li等.Glyph CRM: Bidirecti onal Encoder Representati on for Chinese Character w ith its Glyph. 《arXiv: 2107.00395v1 [cs.AI]》 .2021, Xin Liu 等.Stro ke Sequence-Dependent Deep Convolutional Neural Netw ork for Online Handwrit ten Chinese Character Recognition. 《IEEE》 .2020, 审查员 党英霞 (54)发明名称 笔画层级手写字符序列识别方法、 装置、 终 端及存储介质 (57)摘要 本发明公开了一种笔画层级手写字符序列 识别方法、 装置、 终端及存储介质， 其中， 上述方 法包括： 获取待识别手写字符的笔画图片序列； 基于所述笔画图片序列， 根据编码端神经网络模 型获得笔画序列特征； 基于已识别字符序列， 获 取字符序列特征； 基于交叉注意力机制， 将所述 字符序列特征和所述笔画序列特征输入解码端 单向多头自注 意力层， 获得所述待识别手写字 符 的语义特征向量； 基于所述语义特征向量和所述 笔画序列特征， 根据神经网络模 型获得所述待识 别手写字符的识别结果。 与现有技术相比， 本发 明通过将手写字符序列的上下文语义信息与手 写字符的笔画特征融合， 能够准确识别非完整笔 画字符， 提高识别效率， 实现高鲁棒性的手写汉字序列识别。 权利要求书2页 说明书10页 附图8页 CN 114612911 B 2022.11.29 CN 114612911 B 1.笔画层级手写字符序列识别方法， 其特 征在于， 包括： 获取待识别手写字符的笔画图片序列， 所述待识别手写字符为当前正在输入的字符； 基于所述笔画图片序列， 根据编码端神经网络模型获得 笔画序列特 征； 基于已识别字符序列， 获取字符序列特 征； 基于交叉注意力 机制， 将所述字符序列 特征和所述笔画序列 特征输入解码端单向多头 自注意力层， 获得 所述待识别手写字符的语义特 征向量； 基于所述语义特征向量和所述笔画序列 特征， 根据神经网络模型获得所述待识别手写 字符的识别结果； 所述基于所述笔画图片序列， 根据神经网络模型获得 笔画序列特 征， 包括： 基于所述笔画图片序列， 根据 卷积神经网络获得所述笔画图片序列中所有笔画图片的 笔画图片特 征； 获取所述笔画图片序列中所有笔画图片的位置特 征； 将所述笔画图片特征和所述位置特征输入双向多头自注意力层， 获得所述笔画序列 特 征， 所述笔画序列特 征的长度为可变长度。 2.如权利要求1所述的笔画层级手写字符序列识别方法， 其特征在于， 所述获取所述笔 画图片序列中所有笔画图片的位置特 征， 包括： 获取所述笔画图片序列中所有笔画图片的位置编码； 将所述位置编码输入位置嵌入层， 获得 所述位置特征。 3.如权利要求1所述的笔画层级手写字符序列识别方法， 其特征在于， 所述基于所述语 义特征向量和所述笔画序列特征， 根据神经网络模型获得所述待识别手写字符的识别结 果， 包括： 基于最大池化目标， 对所述笔画序列特 征降维， 获得最大池化特 征； 基于所述最大池化特征和所述语义特征向量， 拼接获得所述待识别手写字符的特征向 量； 基于特征向量， 根据神经网络模型获得 所述待识别手写字符的识别结果。 4.如权利要求1所述的笔画层级手写字符序列识别方法， 其特征在于， 所述基于交叉注 意力机制， 将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层， 获得所述 待识别手写字符的语义特 征向量， 包括： 获取神经网络中保存的所述已识别字符序列的语义信息； 基于交叉注意力机制， 将所述语义信息、 所述字符序列特征和所述笔画序列特征输入 至单向多头自注意力层， 获得 所述待识别手写字符的语义特 征向量并更新所述语义信息 。 5.如权利要求1所述的笔画层级手写字符序列识别方法， 其特征在于， 所述获取待识别 手写字符的笔画图片序列， 还 包括： 获取手写停顿时间； 基于所述手写停顿时间， 根据 笔画完整性判断方法判断所述待识别手写字符的笔画完 整性； 若所述待识别手写字符为笔画完整， 获取所述待识别手写字符的图片， 对所述图片进 行图像处 理以使得 所述图片中的字符居中； 基于所述待识别手写字符的图片获得 所述笔画图片序列。权　利　要　求　书 1/2 页 2 CN 114612911 B 26.如权利要求1所述的笔画层级手写字符序列识别方法， 其特征在于， 所述基于已识别 字符序列， 获取字符序列特 征， 包括： 获取所述已识别字符序列中最后一个字符的映射编码； 基于所述映射编码， 根据词嵌入方法获得字符向量； 基于所述已识别字符序列中最后一个字符的位置编码， 获得位置向量； 基于所述 位置向量和所述字符向量， 获得 所述字符序列特 征。 7.笔画层级手写字符序列识别装置， 其特 征在于， 所述装置包括： 笔画图片获取模块， 用于获取待识别手写字符的笔画图片序列， 所述待识别手写字符 为当前正在输入的字符； 笔画序列特征获取模块， 用于基于所述笔画图片序列， 根据编码端神经网络模型获得 笔画序列特 征； 字符序列特 征获取模块， 用于基于已识别字符序列， 获取字符序列特 征； 语义特征向量获取模块， 用于基于交叉注意力机制， 将所述字符序列特征和所述笔画 序列特征输入解码端单向多头自注意力层， 获得 所述待识别手写字符的语义特 征向量； 识别结果获取模块， 用于基于所述语义特征向量和所述笔画序列特征， 根据神经网络 模型获得 所述待识别手写字符的识别结果； 所述基于所述笔画图片序列， 根据神经网络模型获得 笔画序列特 征， 包括： 基于所述笔画图片序列， 根据 卷积神经网络获得所述笔画图片序列中所有笔画图片的 笔画图片特 征； 获取所述笔画图片序列中所有笔画图片的位置特 征； 将所述笔画图片特征和所述位置特征输入双向多头自注意力层， 获得所述笔画序列 特 征， 所述笔画序列特 征的长度为可变长度。 8.智能终端， 其特征在于， 所述智能终端包括存储器、 处理器以及存储在所述存储器上 并可在所述处理器上运行的笔画层级手写字符序列 识别程序， 所述笔画层级手写字符序列 识别程序被所述处理器执行时实现如权利要求 1‑6任意一项 所述笔画层 级手写字符序列识 别方法的步骤。 9.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有笔画层级手 写字符序列 识别程序， 所述笔画层级手写字符序列 识别程序被处理器执行时实现如权利要 求1‑6任意一项所述笔画层级手写字符序列识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114612911 B 3