(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210092447.0 (22)申请日 2022.01.26 (71)申请人 云捷计算机软件 （江苏） 有限责任公 司 地址 213000 江苏省常州市新北区太湖东 路9号4幢1509室 (72)发明人 陈慧　 (74)专利代理 机构 北京广溢知识产权代理有限 公司 16001 专利代理师 姜宇 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/216(2020.01) G06F 40/211(2020.01) G06V 30/24(2022.01) (54)发明名称 一种基于人工智能的语言和图像理解集成 服务系统 (57)摘要 本发明公开了一种基于人工智能的语言和 图像理解集成服务系统， 包括预处理模块、 计算 解析模块和判断显示模块， 所述预处理模块用于 对扫描录入的字符内容进行解析预处理， 所述计 算解析模块用于识别扫描字符的语义信息和计 算其特征向量的实际距离， 所述判断显示模块用 于判断确认字符综合计算的结果并显示， 所述预 处理模块与计算解析模块电连接， 所述计算解析 模块与判断显示模块电连接， 首先将用户识别的 字符文本进行预处理工作， 同步 建立相似的字 符 模板库， 再通过预处理中得到的字符特征向量计 算其特征向量距离， 最后根据特征向量距离和与 词频相关的字符通顺值综合计算字符语义值， 本 发明， 具有识别精准和实用性强的特点。 权利要求书3页 说明书7页 附图1页 CN 114580429 A 2022.06.03 CN 114580429 A 1.一种基于人工智能的语言和图像理解集成服务系统， 包括预处理模块、 计算解析模 块和判断显示模块， 其特征在于： 所述预处理模块用于对扫描录入的字符内容进行解析预 处理， 所述计算解析模块用于识别扫描字符的语义信息和计算其特征向量的实际距离， 所 述判断显示模块用于判断确认字符综合计算的结果并显示， 所述预处理模块与计算解析模 块电连接， 所述计算 解析模块与判断显示模块电连接 。 2.根据权利要求1所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述预 处理模块包括扫描录入模块、 字符图像预 处理模块和建立相似字符模板模块， 所述扫描录入模块用于对待识别图片和文件上的字符进行扫描提取， 所述字符图像预 处理 模块用于对扫描记录的字 符文本图像进 行切分、 二值化、 平滑去噪、 细化和归一化等预 处理 工作， 所述建立相似字符模板模块用于 建立相似文字、 符号、 数字和字母等多文本维度的样 例模板。 3.根据权利要求1所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述计算解析模块包括特征向量距离模块、 语义解析模块和字符综合计算模块， 所述 特征向量距离模块用于计算划分出的单个字符的特征向量距离， 所述分析判断模块用于判 断字符是否属于需加入语义理解进行综合计算， 所述语义解析模块用于结合前后字符的意 思解析该字符的意思， 所述字符综合计算模块用于根据语义和向量距离进 行综合计算确认 该字符， 所述特征向量距离模块与分析判断模块电连接， 所述分析判断模块与字符综合计 算模块电连接 。 4.根据权利要求3所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述特征向量距离模块包括实际字符距离计算子模块和相似字符距离计算子模块， 所述实际字符距离计算子模块用于计算当前字符的特征向量与模板数据库中该字符的标 准距离值， 所述相似字符距离计算子模块用于计算该字符与模板数据库中的相似字符进 行 距离匹配计算， 所述语义解析模块包括单字符语义解析子模块和前后字符语义解析子模 块， 所述单字符语义解析子模块用于解析当前识别字符对应数据库模板中该字符的解析意 思， 所述前后字符语义解析子模块用于解析当前字符前后相邻字符在数据库中的语义信 息。 5.根据权利要求4所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述判断显示模块包括判断确认模块和字符呈现模块， 所述判断确认模块用于根据 计算的综合字符信息确认当前字符对应数据库中的准确字符， 所述字符呈现模块用于将正 确的字符进行 呈现显示。 6.根据权利要求5所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述语言和图像理解 集成服务系统的运行 方法主要包括以下步骤： 步骤S1： 用户将待识别图片或文件放入识别位置点击识别功能， 预处理模块对字符文 字扫描录入进行 行解析， 图像区域划分和提取 特征向量等预处理步骤； 步骤S2： 同步建立相似字符模板模块在已有的基准字符模板中， 根据预处理后字符的 字形相似度调整字符模板中的字符位置， 相似度较大 的字符处于临近位置， 建立字符形态 特征多模板库； 步骤S3： 将预处理后的字符进行特征向量距离计算， 根据计算出的距离与字符形态特 征模板库中进行对比判断， 判断字符准确性与模糊性；权　利　要　求　书 1/3 页 2 CN 114580429 A 2步骤S4： 语义解析模块对存在模糊性的字符进行单字符语义解析和前后字符语义解 析， 字符综合计算模块 根据相似度值和语义 解析值对 存在模糊性的字符进行综合计算； 步骤S5： 判断综合计算结果对应的最终字符， 并进行 呈现显示。 7.根据权利要求6所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述 步骤S2进一 步包括以下步骤： 步骤S21： 字符图像预处理模块应用骨架提取技术提取每个待识别字符横、 竖、 撇、 捺四 个方向的特 征向量， 得到待识别字符的四维特 征向量X＝(x1， x2， x3， x4)T； 步骤S22： 根据设定已有的基准字符m类模板模式W1， W2， W3， Wm， 建立以四维特征向量Yi＝ (yi1， yi2， yi3， yi4)表示的第i类模式Wi的基准模板 。 8.根据权利要求7所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述 步骤S3进一 步包括以下步骤： 步骤S31： 字符图像预处理模块中提取得出的N个待识别字符的四维特征向量X＝(x1， x2， x3， x4)T样本， 利用聚类算法自动识别匹配到基准模板中的类模板Wi， 所述聚类算法为根 据识别到的同一类别的字符特 征向量与模板库中的该类字符模板作对比分析； 步骤S32： 当聚类算法自动识别出现不止一类可匹配的基准模板时， 即除了最符合的第 一类模板Wi， 还有相似度较高的其它类模板Wm； 步骤S33： 相似字符距离计算子模块利用四维特征向量计算公式， 分别计算其与Wi类基 准模板间的距离d(X， Yi)和相似度， 和其它类模板Wm间的距离d(X， Ym)和相似度； 步骤S34： 实际字符距离计算子模块根据四维特征向量计算公式， 计算其与Wi类基准模 板间的距离d(X， Yi)， ： 式中， x1， x2， x3， x4表示实际测量的字符的横、 竖、 撇、 捺四个方向的特征向量， y1， y2， y3， y4表示Wi类基准模板中字符的标准横、 竖、 撇、 捺四个方向的特征向量， 两个特征向量的维度 值相差越大， 则距离也越大； 步骤S35： 通过计算出的特征向量的距离转换， 计算该字符与标准字符的相似度 相似度S(X， Yi)的范围为[0， 1]， 当距离越近时相似度就越大。 9.根据权利要求6所述的一种基于人工智能的语言和图像理解集成服务系统， 其特征 在于： 所述 步骤S4进一 步包括以下步骤： 步骤S41： 聚类算法自动识别匹配到唯一一类基准模板时， 分析判断模块判断该次识别 为精准识别， 不进行语义 解析直接进行 呈现显示； 步骤S42： 聚类算法自动识别匹配到多类基准模板时， 对计算出的相似度 大小进行分析 判断， 当相似度相 差较大时以相似度大 的一类模板为精准识别不进行语义解析， 当计算出 的相似度大小相差较小时， 判断此字符识别为模糊识别； 步骤S43： 语义解析模块对判断出的模糊识别的字符进行语义解析， 将多类模板 中的匹 配字符分别进入标准字符语义数据库进行 单字符语义 解析； 步骤S44： 将解析出的单字符与前后字符组合形成词频， 利用词频数据库对该词频使用 频率进行解析判断， 词频使用频率越高， 在句式中的语句通顺值也越 大， 因此将该词频放完 整句式中解析出该句式的语句通 顺值K， 语句通 顺值K的范围为[0， 1]；权　利　要　求　书 2/3 页 3 CN 114580429 A 3