(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210149404.1 (22)申请日 2022.02.18 (65)同一申请的已公布的文献号 申请公布号 CN 114219876 A (43)申请公布日 2022.03.22 (73)专利权人 阿里巴巴达摩院 （杭州） 科技有限 公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 廖敏鹏　樊楷　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 张子青 (51)Int.Cl. G06T 11/60(2006.01)G06F 40/211(2020.01) G06F 40/30(2020.01) (56)对比文件 CN 114036298 A,202 2.02.11 Hanzhou Wu等.L inguistic Steg analysis With Graph Neural Netw orks. 《IE EE》 .2021, 翟文洁等.基 于混合深度信念网络的多类文 本表示与分类方法. 《情 报工程》 .2016,第02卷 (第05期),30-40. 许晶航等.基于图注意力网络的因果关系抽 取. 《计算机 研究与发展》 .2020,(第01期),161- 176. 审查员 孟圆 (54)发明名称 文本合并方法、 装置、 设备及存 储介质 (57)摘要 本公开涉及一种文本合并方法、 装置、 设备 及存储介质。 本公开通过获取目标图片， 并从所 述目标图片中获取至少一个文本行中每个文本 行的位置信息和包含所述文本行的子图片。 进一 步， 根据所述每个文本行的位置信息和包含所述 文本行的子图片， 确定无向图， 所述无向图包括 的至少一个节点和所述至少一个文本行一一对 应， 该无向图可以作为预测模型的输入， 通过预 测模型可以预测得到有向图。 由于该有向图中有 向边两端的节 点之间的关联性较强， 并且这两个 节点之间还存在着先后顺序， 该先后顺序与该有 向边的方向相关， 因此， 将这两个节点分别对应 的文本行按照该先后顺序拼接后可以构成一个 语义完整的句子。 从而可以避免后续的文本理解 或处理出错。 权利要求书3页 说明书10页 附图7页 CN 114219876 B 2022.06.24 CN 114219876 B 1.一种文本合并方法， 其中， 所述方法包括： 获取目标图片； 从所述目标图片中获取至少一个文本行中每个文本行的位置信息和包含所述文本行 的子图片； 根据所述每个文本行的位置信息和包含所述文本行的子 图片， 确定无向图， 所述无向 图包括的至少一个节点和所述至少一个文本行一一对应， 在所述无向图中， 每两个节点之 间有一条 无向边； 将所述无向图输入预测模型， 通过 所述预测模型 得到有向图； 将所述有向图中有向边两端的两个节点分别对应的文本行进行合并； 根据所述每 个文本行的位置信息和包 含所述文本行的子图片， 确定无向图， 包括： 对所述文本行的位置信息进行 特征提取， 得到第一特 征信息； 对包含所述文本行的子图片进行 特征提取， 得到第二特 征信息； 根据所述第一特征信息和所述第二特征信息， 得到所述文本行对应的节点的表示向 量； 所述无向图包括所述至少一个节点中每个节点的表示向量、 以及节点之间无向边的表 示向量。 2.根据权利要求1所述的方法， 其中， 所述无向边的表示向量是根据所述无向边两端的 两个节点的表示向量确定的； 或者 所述方法还 包括： 给不同的无向边分配不同的表示向量。 3.根据权利要求1所述的方法， 其中， 将所述无向图输入预测模型， 通过所述预测模型 得到有向图， 包括： 将所述无向图输入预测模型， 通过所述预测模型预测节点之间有无有向边、 以及所述 有向边的方向， 所述有向图包括所述至少一个节点中每个节点的表示向量、 以及节点之间 有向边的表示向量。 4.根据权利要求1所述的方法， 其中， 将所述有向图中有向边两端的两个节点分别对应 的文本行进行合并， 包括： 根据所述有向图中有向边的方向， 将所述有向边两端的两个节点分别对应的文本行的 子图片合并为目标子图片； 从所述目标子图片中获取合并后的文本 。 5.一种文本合并方法， 其中， 所述方法应用于终端， 所述方法包括： 从服务器接收目标图片， 或者 通过拍摄装置采集所述目标图片； 从所述目标图片中获取至少一个文本行中每个文本行的位置信息和包含所述文本行 的子图片； 根据所述每个文本行的位置信息和包含所述文本行的子 图片， 确定无向图， 所述无向 图包括的至少一个节点和所述至少一个文本行一一对应， 在所述无向图中， 每两个节点之 间有一条 无向边； 向服务器发送所述无向图， 所述服务器包括预测模型， 所述服务器用于将所述无向图 输入预测模型， 通过 所述预测模型 得到有向图； 从所述服务器接收所述有向图， 并将所述有向图中有向边两端的两个节点分别对应的权　利　要　求　书 1/3 页 2 CN 114219876 B 2文本行进行合并； 根据所述每 个文本行的位置信息和包 含所述文本行的子图片， 确定无向图， 包括： 对所述文本行的位置信息进行 特征提取， 得到第一特 征信息； 对包含所述文本行的子图片进行 特征提取， 得到第二特 征信息； 根据所述第一特征信息和所述第二特征信息， 得到所述文本行对应的节点的表示向 量； 所述无向图包括所述至少一个节点中每个节点的表示向量、 以及节点之间无向边的表 示向量。 6.一种文本合并方法， 其中， 所述方法应用于服 务器， 所述方法包括： 从终端接收目标图片； 从所述目标图片中获取至少一个文本行中每个文本行的位置信息和包含所述文本行 的子图片； 根据所述每个文本行的位置信息和包含所述文本行的子 图片， 确定无向图， 所述无向 图包括的至少一个节点和所述至少一个文本行一一对应， 在所述无向图中， 每两个节点之 间有一条 无向边； 将所述无向图输入预测模型， 通过 所述预测模型 得到有向图； 将所述有向图中有向边两端的两个节点分别对应的文本行进行合并， 得到合并后的文 本； 将所述合并后的文本发送给 所述终端； 根据所述每 个文本行的位置信息和包 含所述文本行的子图片， 确定无向图， 包括： 对所述文本行的位置信息进行 特征提取， 得到第一特 征信息； 对包含所述文本行的子图片进行 特征提取， 得到第二特 征信息； 根据所述第一特征信息和所述第二特征信息， 得到所述文本行对应的节点的表示向 量； 所述无向图包括所述至少一个节点中每个节点的表示向量、 以及节点之间无向边的表 示向量。 7.一种文本合并装置， 其中， 包括： 第一获取模块， 用于获取目标图片； 第二获取模块， 用于从所述目标图片中获取至少一个文本行中每个文本行的位置信 息 和包含所述文本行的子图片； 确定模块， 用于根据所述每个文本行的位置信息和包含所述文本行的子 图片， 确定无 向图， 所述无向图包括的至少一个节 点和所述至少一个文本行一一对应， 在所述无向图中， 每两个节点之间有一条 无向边； 预测模块， 用于将所述无向图输入预测模型， 通过 所述预测模型 得到有向图； 合并模块， 用于将所述有向图中有向边两端的两个节点分别对应的文本行进行合并； 所述确定模块根据所述每个文本行的位置信 息和包含所述文本行的子图片， 确定无向 图时， 具体用于： 对所述文本行的位置信息进行 特征提取， 得到第一特 征信息； 对包含所述文本行的子图片进行 特征提取， 得到第二特 征信息； 根据所述第一特征信息和所述第二特征信息， 得到所述文本行对应的节点的表示向 量； 所述无向图包括所述至少一个节点中每个节点的表示向量、 以及节点之间无向边的表权　利　要　求　书 2/3 页 3 CN 114219876 B 3