(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210709323.2 (22)申请日 2022.06.22 (71)申请人 上海爱乐克智能科技有限公司 地址 201800 上海市嘉定区安亭镇 安拓路 56弄11号8单元402室 (72)发明人 陈萱仪　洪晨辉　孙东　陈芳　 (51)Int.Cl. G10L 15/22(2006.01) G10L 25/63(2013.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 20/40(2022.01) G06V 20/59(2022.01) G06V 40/16(2022.01) (54)发明名称 一种根据驾驶员情绪状态切换的车载语音 交互系统及方法 (57)摘要 本发明涉及车载语音控制领域， 具体为一种 根据驾驶员情绪状态切换的车载语音交互系统 及方法， 包括驾驶员信息采集模块。 驾驶员情绪 状态识别模块和车载语音系统切换模块， 本发明 中， 通过驾驶员面部表情和语音双模块进行情绪 状态判断， 免除心率、 血压、 脑电等生理信号采集 和处理技术复杂、 价格高昂的困扰， 同时避免单 一信息导致的情绪状态判断失误， 通过改变车载 语音副语音特征这一简单且可控的方式与驾驶 员用车时的不同情绪状态进行情绪匹配， 不仅能 够避免驾驶员因极端情绪导致的用车安全事故， 同时改善驾驶员驾驶表现和驾驶体验， 提高驾驶 效率。 权利要求书3页 说明书7页 附图4页 CN 115376508 A 2022.11.22 CN 115376508 A 1.一种根据驾驶员情绪状态切换的车 载语音交 互系统， 其特 征在于； 驾驶员信息采集模块， 所述驾驶员 信息采集模块包括面部图像信 息采集模块和语音信 息采集模块， 所述驾驶员信息采集模块用于对驾驶员的面部图像信息和语音信息进行采 集； 驾驶员情绪状态识别模块， 所述驾驶员情绪状态识别模块包括面部情绪识别和语音情 绪识别， 所述驾驶员情绪状态识别模块通过驾驶员信息采集模块采集到的驾驶员数据信 息， 对驾驶员状态情绪进行识别， 判断驾驶员所处情绪状态； 车载语音系统切换模块， 所述车载语音系统切换模块根据驾驶员情绪状态， 当驾驶员 的某种驾驶相关情绪高于阈值时， 切换预先设定好的不同副语言特征语音交互模式， 与驾 驶员进行情绪匹配。 2.根据权利要求1所述的一种根据驾驶员情绪状态切换的车载语音交互系统， 其特征 在于： 所述 面部图像情绪识别， 具体为： ①面部图像信息预处 理： 将摄像头捕获的驾驶员图像视频拆解成帧； ②面部信息 图像特征的提取： 在驾驶员表情图像上提取特征点， 通过特征点找到当前 对应的面部动作单 元， 将面部动作单 元作为情绪状态分类特 征； ③面部情绪参考模式库生成： 利用SVM分类算法对面部图像信息库中的面部表情的情 绪特征进 行训练， 得到不同情绪状态对应的面部情绪模型， 建立驾驶员情绪参考模式库， 利 用训练得到的情绪模型进行驾驶员面部情绪识别； ④面部情绪类型判断： 将采集到的驾驶员面部动作特征与面部情绪参考模式库中的情 绪模型进行模式匹配， 对驾驶员的情绪状态进行实时监测， 判断驾驶员当前面部情绪状态。 3.根据权利要求1所述的一种根据驾驶员情绪状态切换的车载语音交互系统， 其特征 在于： 所述语音情绪识别， 具体为： ①语音信息预处 理： 将麦克风采集到的驾驶员信息进行降噪处 理； ②驾驶员语音情绪参考模型库生成： 采用SVM分类算法， 对语音库中的语音片段进行情 绪识别训练， 生成驾驶员语音情绪 参考模型库； ③语音特征提取： 将采集到的驾驶员语音进行MFCC特征及PLP ‑CC特征提取， 得到语音 情绪特征参数； ④语音情绪类型判断： 将提取到的驾驶员语音特征参数利用SVM分类器与驾驶员语音 情绪参考模型库进行匹配， 判断驾驶员的情绪状态。 4.根据权利要求2所述的一种根据驾驶员情绪状态切换的车载语音交互系统， 其特征 在于： 所述SVM分类算法对驾驶员表情图像进行分类的主 要步骤如下： Step1： 对于68个驾驶员面部的特征点， 驾驶员表情有变化的时候其中一些特征点就会 随之改变， 在二维空间中68个驾驶员面部特征点是不可分的， 需要转换到更高维度的空间 进行区分， 因此假设在更高的维度空间有超平面： kTx+A= 0， A代表常量； Step2： 驾驶员面部特征点由于是存在于超平面的不同侧的， 此 时计算这些驾驶员面部 特征点坐标到超平面的距离， 可以取超平 面上两个不同的点x ′， x″用公式表示为： kTx ′=‑a, kTx″=‑a， 此时的k表示垂直于超平面的法向量， 那么就能推算驾驶员面部特征点到超平面 的距离： Distance=project(x ‑x′)to⊥hyperplane →Distance(x， a， k)=1/|k| ·|kTx+a|；权　利　要　求　书 1/3 页 2 CN 115376508 A 2x′、 x″代表超平面上不同点， k是超平面变量； Step3： 前面部分求出了驾驶员面部特征点， 那么对于一个驾驶员表情的训练， 为正例 样本的点视为+1， 为负例样本的点视为－1， 就会 得到公式： 有y （x） =kT ∅(x)+a→yiy(xi)>0， （后续给 出∅(x） 的函数意 义） ； Step4： 结合Step2与Step3得到最终的优化距离yi(kT) ∅(xi)+a)/| |k||； Step5： 为了使得驾驶员表情区分的效果理想， 优化距离的值应该尽可能的小， 超平面 总体区域范围尽可能大， 假设通过放缩 可以使得分子部 分大于1， 最终的驾驶员表情分类解 优化结果， A rgmax1/| |k||， k为超平面变量； Step6： 求解极大值相当于求解导数的极小值 →min1\2k2， 现在求解驾驶员表情最优分 类解就转换为了带约束条件的拉格朗日乘子法优化问题， 总体转 化为： Step7： 该式即所要求解的驾驶员表情最优分类解公式， 最后进行维度选择， 这个维度 变换的函数就是Step3提到的， 使用高斯核函数进行维度映射， 高斯核函数： 。 5.根据权利要求4所述的一种根据驾驶员情绪状态切换的车载语音交互系统， 其特征 在于： 在驾驶员表情图像识别的中， 具体的应用SVM进行分类的操作流 程如下： Step 1： 引入必要的包和相关函数， SVC， tr ain_test_split和classification_repor 等文件； Step 2： 读取驾驶员表情图像文件， 并进行存储， Open("test.txt","r")asfile， 取某 列label值， 令ty= ‑i， 即取倒数i列所有值； Step 3： 将驾驶员表情图像测试集和训练集进行划分， 分别为： train_x,test_x,train_y， 设定驾驶员表情图像训练集相关参数， test_y=train_ test_spl it(x,y,test_size= 0.2)； Step 4： 训练驾驶员表情图像模型并对其进行 预测， pred_y= clf.predict(test_x)； Step 5： 输出预测驾驶员表情图像结果， Printclassification_report(t est_y,pred_ y)。 6.根据权利要求3所述的一种根据驾驶员情绪状态切换的车载语音交互系统， 其特征 在于： 所述驾驶员的语音特 征提取方法包括MFC C特征提取方法和PLP ‑CC特征提取方法。 7.根据权利要求6所述的一种根据驾驶员情绪状态切换的车载语音交互系统， 其特征 在于： 所述MFC C特征提取方法包括 梅尔频率 转换和倒谱分析， 具体的： 所述梅尔频率变换的具体流 程是： 首先对时域信号做傅立叶变换到频域， 然后再利用梅尔刻度的滤波器组对应的频率信 号进行切分， 最后每 个频率段对应一个数值； 所述倒谱分析的具体流 程是： 对时域信号做傅立叶变换转化到频域， 然后取对数， 最后再进行反傅立叶变换 （离散余权　利　要　求　书 2/3 页 3 CN 115376508 A 3