(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210024906.1 (22)申请日 2022.01.10 (71)申请人 常德职业 技术学院 地址 415000 湖南省常德市人民路425 3号 常德职业 技术学院 (72)发明人 邓晖　 (74)专利代理 机构 北京清控智云知识产权代理 事务所 (特殊普通合伙) 11919 代理人 马肃 (51)Int.Cl. G06F 16/61(2019.01) G06F 16/27(2019.01) G06F 40/30(2020.01) G09B 5/14(2006.01)G09B 19/06(2006.01) G10L 15/26(2006.01) (54)发明名称 一种基于多场景互动 的多模态英语教学系 统 (57)摘要 本发明提供了一种基于多场景互动 的多模 态英语教学系统， 包括服务器、 交互终端、 角色创 建模块、 场景切换模块、 语言转换模块、 交互模块 和处理器， 角色创建模块用于对互动的角色进行 创建， 以建立多角色的场景对话； 场景切换模块 用于对各个角色所选定的场景进行切换， 以实现 不同对话场景的语义和语境的表达； 语 言转换模 块根据场景切换模块所设定的场景， 将角色的语 言进行识别， 并将其转换为与设定场景匹配的语 言； 交互模块用于对多个交互终端进行配对， 以 实现对设备之间的交互控制； 本发 明通过采用动 作采集模块用于对使用者的动作进行采集， 使 得 使用者的动作能够被采集， 并对创建的角色进行 动作的控制或者传导动作。 权利要求书3页 说明书10页 附图4页 CN 114428879 A 2022.05.03 CN 114428879 A 1.一种基于多场景互动的多模态英语教学系统， 包括服务器和交互终端， 其特征在于， 包括角色创建模块、 场景切换模块、 语言转换模块、 交 互模块和处 理器， 所述处理器分别与角色创建模块、 场景切换模块、 语言转换模块、 交 互模块控制连接； 所述服务器分别与所述角色创建模块、 所述场景切换模块、 所述语言转换模块和 交互 模块连接； 所述角色创建模块用于对互动的角色进行创建， 以建立多角色的场景对话； 所述场景切换模块用于对各个角色所选定的场景进行切换， 以实现不同对话场景的语 义和语境的表达； 所述语言转换模块根据所述场景切换模块所设定的场景， 将角色的语言进行识别， 并 将其转换为与设定场景匹配的语言； 所述交互模块用于与 所述交互终端进行配对， 以实现对所述交互终端的交互数据进行 采集； 其中， 所述交互终端用于对使用者的动作和语音 数据进行采集， 并将采集采集到的数 据传输至所述交 互模块中； 所述语言转换模块包括采集单元和设定单元， 所述设定单元用于对角色的语境进行设 定； 所述采集单 元采集使用者发出的声 音， 并配合分析 单元对使用者的语音 进行识别； 所述采集单元包括支撑构件、 录音构件和采集构件， 所述录音构件和所述采集构件设 置在所述支撑构件上， 其中， 所述支撑构件用于固定在 使用者的颈部； 所述支撑构件包括固 定环和支撑杆， 所述支撑杆的一端与所述固定环连接， 所述支撑杆的另一端朝向远离所述 固定环的一侧伸出且所述采集构件设置在其端部； 所述支撑杆的杆体上设置有供所述录音构件放置的存储腔， 使所述录音构件隐藏在所 述存储腔中； 所述录音构件包括拾音阵列和传输器， 所述拾音阵列用于对所述使用者的声音进行采 集； 所述传输器将拾音阵列的声 音数据向所述 服务器传输； 所述采集构件设置在所述支撑杆上朝向使用者的嘴巴一侧， 并对所述使用者的口型变 化进行采集； 所述采集构件包括采集探头和存储单元， 所述采集探头对所述使用者嘴巴的 图像数据进行采集； 所述存 储单元对所述采集探 头采集的数据进行存 储； 所述采集单元还包括分析构件， 所述分析构件用于对所述录音构件捕 获的声音数据进 行分析； 所述分析构件包括语音云数据库、 裁剪器和语音识别工具， 所述裁剪器用于对声音 数据进行裁剪， 并与所述语音云数据库进行比对； 所述语音云数据库存储有各种语音对话 的场景， 并对所述使用者的语音数据进行分析后， 匹配该对话场景对话下的回应； 获取一个触发周期中所述使用者的语音数据， 并通过所述裁剪器将所述语音数据进行 裁剪， 形成一个 语音片段矩阵Vo ice， 其中， m为声 音片段数， n为采样点， aij表示第i个采样点的第j个声 音片段； 对声音片段矩阵中的声音片段进行检测， 以过滤掉一些无效的声音片段， 依次对所述权　利　要　求　书 1/3 页 2 CN 114428879 A 2声音片段进行声 音能量的检测： 其中， aij声音片段的声 音能量Q(aij)为： Q(aij)＝G2(aij)·Δt 式中， G(aij)为声音信号在i个采样点的第j个声音片段 的采样的幅值； △t为每次采样 的时长； 计算每个声音片段的所述声音能量后， 计算出时间长度为T的声音片段的声音能量R， 计算公式： 式中， N为声音片段的总数， 满足： N＝T/ △t； T为声音片段的时间长度； 根据R的取值， 确 定语音片段矩阵Vo ice中的有效成分， 并对矩阵进行 更新形成有效片段矩阵Vo ice’。 2.根据权利要求1所述的一种基于多场景互动的多模态英语教学系统， 其特征在于， 所 述设定单元包括偏好收集器和数据库， 所述偏好收集器用于收集所述使用者的设定的数 据； 所述数据库根据所述偏好收集器的数据， 调用所述服务器中存储的语言数据， 并存储在 本地的存 储器中； 其中， 所述偏好收集器生成一个采集所述使用者个人喜好的情境信息， 基于情境信息 生成包括用户偏好、 兴趣或习惯中的至少一个用户简档， 以实现识别用户的表达或行为规 则。 3.根据权利要求2所述的一种基于多场景互动的多模态英语教学系统， 其特征在于， 所 述场景切换模块包括场景建立单元和显示单元， 所述场景建立单元基于设定或选定的场景 数据源建立对话场景； 所述显示单元用于显示所述对话场景； 其中， 各个所述对话场景预置 在所述数据库中， 并在所述使用者选 定后， 调用选 定的对话场景。 4.根据权利要求3所述的一种基于多场景互动的多模态英语教学系统， 其特征在于， 所 述交互模块包括授权单元和配对单元， 所述授权单元用于验证设备是否经过授权； 所述配 对单元用于与交 互终端进行配对， 以建立数据传输关系； 所述授权单元包括授权器和存储器， 所述授权器识别交互终端的识别码， 并建立数据 传输通道； 所述存储器用于对所述交互终端的配对历史进行存储， 若所述交互终端在存储 器中有记录， 且正处于 激活状态， 则恢复其数据传输通道。 5.根据权利要求4所述的一种基于多场景互动的多模态英语教学系统， 其特征在于， 所 述角色创建模块对各个使用者扮演的角色进行创建， 其中， 所述角色创建模块包括验证单 元和创建单元， 所述验证单元对 所述使用者的身份进 行核验， 若使用者的身份核验通过， 则 采集所述使用者的角色 建立数据； 其中， 所述角色建立数据包括角色姓名、 英语对话类型、 角色性别和角色的年龄； 所述 创建单元根据所述验证单 元的数据， 建立 一个使用者的角色； 所述验证单元读取所述使用者的识别信息， 所述识别信息包括身份证和校园卡； 所述 验证单元核验所述识别 信息并核验通过后， 将识别 信息与所述角色 建立数据绑定 。 6.根据权利要求5所述的一种基于多场景互动的多模态英语教学系统， 其特征在于， 所 述创建单元包括激活器和选择器， 所述选择器用于调用数据库中存储的默认角色； 其中， 所权　利　要　求　书 2/3 页 3 CN 114428879 A 3