(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210142940.9 (22)申请日 2022.02.16 (71)申请人 平安国际智慧城市科技股份有限公 司 地址 518000 广东省深圳市前海深港合作 区妈湾兴海 大道3048号前海自贸大厦 1-34层 (72)发明人 刘荣荣　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 姚泽鑫 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 40/30(2020.01)G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/22(2006.01) G10L 15/26(2006.01) G10L 25/63(2013.01) (54)发明名称 基于人工智能的对话服务方法、 装置、 服务 器及介质 (57)摘要 本申请适用于人工智能领域， 尤其涉及一种 基于人工智 能的对话服务方法、 装置、 服务器及 介质。 该方法在触发对话服务时， 获取用户的当 前声音数据和当前面部数据， 对当前声音数据进 行音频分析和语义分析， 确定当前语气状态， 对 当前面部数据进行表情分析， 确定当前表情状 态， 在当前语气状态为第一目标状态， 且当前表 情状态为第二目标状态时， 提取当前声音数据中 的问题语句， 将问题语句输入训练好的匹配模 型， 得到问题语句对应的答复语句， 将语气与表 情相结合来识别用户意图， 并在语气和表情对应 的状态均满足条件时生成相应的答复语句， 避免 在用户出现不满等意图的情况下仍继续进行对 话， 从而可以准确把握用户意图， 提升对话服务 的服务质量。 权利要求书2页 说明书11页 附图2页 CN 114490947 A 2022.05.13 CN 114490947 A 1.一种基于人工智能的对话 服务方法， 其特 征在于， 所述对话 服务方法包括： 在用户触发对话 服务时， 获取 所述用户的当前声 音数据和当前面部数据； 对所述当前声音数据进行音频分析和语义分析， 确定对应的当前语气状态， 对所述当 前面部数据进行表情分析， 确定对应的当前表情状态； 在所述当前语气状态为第一目标状态， 且所述当前表情状态为第二目标状态时， 提取 所述当前声音数据中的问题语句， 所述第一 目标状态表征所述用户未出现消极语气， 所述 第二目标状态 表征所述用户未 出现消极表情； 将所述问题语句输入训练好的匹配模型， 得到所述问题语句对应的答复语句。 2.根据权利要求1所述的对话服务方法， 其特征在于， 在所述提取所述当前声音数据中 的问题语句之前， 还 包括： 若所述当前声音数据存在前一声音数据， 则对所述前一声音数据进行音频分析和语义 分析， 确定对应的前一语气状态； 获取训练好的提取模型； 根据所述前一语气状态， 调整所述训练好的提取模型， 得到调整后的提取模型； 相应地， 所述 提取所述当前声 音数据中的问题语句包括： 使用所述调整后的提取模型， 提取 所述当前声 音数据中的问题语句。 3.根据权利要求1所述的对话服务方法， 其特征在于， 在所述对所述当前声音数据进行 音频分析和语义分析， 确定对应的当前语气状态之后， 还 包括： 在所述当前语气状态为第三目标状态和/或所述当前表情状态为第 四目标状态时， 获 取人工服务的人员状态信息， 所述第三 目标状态表征所述用户出现消极语气， 所述第四目 标状态表征所述用户出现消极表情； 根据所述人员状态信息， 确定目标 人员， 并将所述当前声 音数据发送给 所述目标 人员。 4.根据权利要求3所述的对话服务方法， 其特征在于， 在所述将所述当前声音数据发送 给所述目标 人员之后， 还 包括： 基于所述用户触发的对话 服务， 将所述目标 人员与所述用户对接； 在对接成功 的情况下， 获取所述目标人员发送的回复信息， 将所述回复信息发送给所 述用户。 5.根据权利要求1所述的对话服务方法， 其特征在于， 在所述将所述问题语句输入训练 好的匹配模型， 得到所述问题语句对应的答复语句之后， 还 包括： 从答复话 术数据库中获取 所述问题语句对应的答复话 术； 将所述答复语句与所述 答复话术结合， 得到所述问题语句对应的答复。 6.根据权利要求1至5任一项所述的对话服务方法， 其特征在于， 所述对所述当前声音 数据进行音频分析和语义分析， 确定对应的当前语气状态包括： 检测所述当前声 音数据中声 音的振幅和频率； 识别所述当前声 音数据的语义， 确定所述当前声 音数据对应的态度； 在所述振幅低于第 一阈值或者所述频率低于第 二阈值， 且所述当前声音数据对应的态 度为积极时， 确定所述当前语气状态为第一目标状态； 在所述当前声音数据对应的态度为消极和/或所述振幅不低于所述第 一阈值且所述频 率不低于所述第二阈值时， 确定所述当前语气状态不 为第一目标状态。权　利　要　求　书 1/2 页 2 CN 114490947 A 27.根据权利要求6所述的对话服务方法， 其特征在于， 所述识别所述当前声音数据的语 义， 确定所述当前声 音数据对应的态度包括： 对所述当前声 音数据进行降噪处 理， 得到降噪后的声 音数据； 从降噪后的声 音数据中提取 人声数据； 将所述人声数据转换为文字数据， 使用自然语言处理识别所述文字数据， 确定所述文 字数据对应的态度为所述当前声 音数据对应的态度。 8.一种基于人工智能的对话 服务装置， 其特 征在于， 所述对话 服务装置包括： 数据获取模块， 用于在用户触发对话服务时， 获取所述用户的当前声音数据和当前面 部数据； 数据分析模块， 用于对所述当前声音数据进行音频分析和语义分析， 确定对应的当前 语气状态， 对所述当前面部数据进行表情分析， 确定对应的当前表情状态， 所述第一目标状 态表征所述用户未 出现消极语气， 所述第二目标状态 表征所述用户未 出现消极表情； 问题提取模块， 用于在所述当前语气状态为第一目标状态， 且所述当前表情状态为第 二目标状态时， 提取 所述当前声 音数据中的问题语句； 问题答复模块， 用于将所述问题语句输入训练好的匹配模型， 得到所述问题语句对应 的答复语句。 9.一种服务器， 其特征在于， 所述服务器包括处理器、 存储器以及存储在所述存储器中 并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要 求1至7任一项所述的对话 服务方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的对话 服务方法。权　利　要　求　书 2/2 页 3 CN 114490947 A 3