(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210049257.0 (22)申请日 2022.01.17 (71)申请人 北京中智博咨询有限公司 地址 102200 北京市昌平区回龙观镇龙域 中街1号院1号楼 2单元803 (72)发明人 胡文玉　 (74)专利代理 机构 天津企兴智财知识产权代理 有限公司 12 226 代理人 安孔川 (51)Int.Cl. G10L 15/22(2006.01) G10L 15/16(2006.01) H04L 67/10(2022.01) G06V 20/40(2022.01) G06F 40/30(2020.01)G06V 10/25(2022.01) (54)发明名称 基于智能语音和视频行为识别技术的现场 服务监测方法 (57)摘要 本发明提供了一种基于智能语音和视频行 为识别技术的现场服务监测方法， 包括以下步 骤： S1、 分别通过语音采集模块和视频图像采集 模块对于服务现场进行场景信息采集， 生成语音 信息和视频图像信息； S2、 分别对步骤S1中的语 音信息和视频图像信息进行识别分析处理， 获取 语音关键信息和视频关键信息； S3、 使用预设的 评价标准对步骤S2中获取的语音关键信息和视 频图像关键信息进行分析评价。 本发明有益效 果： 将语音和图像识别后的信息与标准库进行对 比分析， 自动生成并输出服务和需求监测结果、 监测报告和需求清单， 能够 有效监测现场服务人 员的服务品质和服务规范， 并能够有效收集客户 需求， 有助于持续 提升企业的运营能力。 权利要求书2页 说明书7页 附图5页 CN 114400004 A 2022.04.26 CN 114400004 A 1.基于智能语音和视频行为识别技术的现场服务监测方法， 其特征在于， 包括以下步 骤： S1、 分别通过语音采集模块和视频图像采集模块对服务现场进行场景信息采集， 生成 语音信息和视频图像信息； S2、 分别对步骤S1中的语音信息和视频图像信息进行识别分析处理， 获取语音关键信 息和视频关键信息； S3、 使用预设的评价标准对步骤S2中获取的语音关键信息和视频图像关键信息进行分 析评价。 2.根据权利要求1所述的基于智能语音和视频行为识别技术的现场服务监测方法， 其 特征在于： 在步骤S1中， 语音采集模块和 视频图像采集模块设置在PDA终端上， 语音信息和 视频图像信息存 储在PDA终端中， 以工单号对语音信息和视频图像信息命名。 3.根据权利要求2所述的基于智能语音和视频行为识别技术的现场服务监测方法， 其 特征在于： 语音信息和视频图像信息还通过PDA终端 上传存储至服务器， 通过服务器对语音 信息和视频图像信息进行识别分析处 理。 4.根据权利要求1所述的基于智能语音和视频行为识别技术的现场服务监测方法， 其 特征在于： 在步骤S2中， 采用声学模型和 语言模型及算法对步骤S1中采集的语音信息进行 识别， 语音信息包括语音对话内容， 方法如下： 通过声学模型和语言模型及算法对语音信 息进行识别， 采用声纹技术将语音信 息分类 为语音、 语义， 并转化为文本信息， 再进行分割和提取存储到语音识别数据库中， 再按关键 字、 关键词和关键语句与预 先设定的服 务标准数据库中的关键信息匹配、 比对和判断。 5.根据权利要求1所述的基于智能语音和视频行为识别技术的现场服务监测方法， 其 特征在于： 在步骤S2中， 采用视觉词袋模型及算法实现对步骤S1中采集的视频图像信息进 行识别， 视频图像信息包括 服务人员的操作行为及服 务场景信息， 方法如下： 将步骤S1中采集的视频图像信息分别为单帧的图像， 针对单帧的图像对画面中的情 景、 语义动作、 物体进 行分割和提取， 输出得到物体类别、 位置、 动作， 并根据获取到的类别、 位置、 动作筛选出关键事件、 动作， 将抽取出来的关键事件、 动作存储到视频识别数据库中， 再与预先设定的服 务标准数据库进行匹配、 比对和判断。 6.应用权利要求1 ‑5任一所述的基于智能语音和视频行为识别技术的现场 服务监测方 法的监测系统， 其特征在于： 包括信息采集终端、 服务器， 以及设置在服务器上的现场服务 信息智能识别系统、 现场服务信息匹配分析系统、 现场服务监测结果输出系统以及现场服 务监测报告系统； 采集终端与服 务器连接， 用于采集 服务现场的语音信息以及视频图像信息 。 7.一种电子设备， 包括处理器以及与处理器通信连接， 且用于存储所述处理器可执行 指令的存储器， 其特征在于： 所述处理器用于执行上述权利要求 1‑6任一所述的基于智能语 音和视频 行为识别技 术的现场服 务监测方法。 8.一种服务器， 其特征在于： 包括至少一个处理器， 以及与所述处理器通信连接的存储 器， 所述存储器存储有 可被所述至少一个处理器执行的指 令， 所述指 令被所述处理器执行， 以使所述至少一个处理器执行如权利要求 1‑6任一所述的基于智能语音和视频行为识别技 术的现场服 务监测方法。权　利　要　求　书 1/2 页 2 CN 114400004 A 29.一种计算机可读取存储介质， 存储有计算机程序， 其特征在于： 所述计算机程序被处 理器执行时实现权利要求 1‑6任一项所述的基于智能语音和视频行为识别技术的现场服务 监测方法。权　利　要　求　书 2/2 页 3 CN 114400004 A 3