(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210715777.0 (22)申请日 2022.06.23 (65)同一申请的已公布的文献号 申请公布号 CN 114786033 A (43)申请公布日 2022.07.22 (73)专利权人 中译文娱科技 （青岛） 有限公司 地址 266000 山东省青岛市崂山区海尔路 166号永业大厦7层 (72)发明人 罗鑫凯　王新勇　杨柳　单鑫　 张雅妮　 (74)专利代理 机构 北京天盾知识产权代理有限 公司 11421 专利代理师 薛海静 (51)Int.Cl. H04N 21/2187(2011.01) H04N 21/234(2011.01)H04N 21/439(2011.01) H04N 21/44(2011.01) H04N 17/00(2006.01) G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/74(2022.01) (56)对比文件 CN 114187259 A,202 2.03.15 CN 113902992 A,2022.01.07 CN 109951652 A,2019.0 6.28 CN 1091680 67 A,2019.01.08 CN 112911192 A,2021.0 6.04 CN 10976909 9 A,2019.0 5.17 CN 111091824 A,2020.0 5.01 CN 111639766 A,2020.09.08 US 2021160580 A1,2021.0 5.27 审查员 龚锦玲 (54)发明名称 一种基于人工智能的视听数据智能分析管 理系统 (57)摘要 本发明公开一种基于人工智能的视听数据 智能分析管 理系统， 涉及视频视听数据分析技术 领域， 本发 明通过获取待分析直播视频内各子视 频段的视听数据， 处理得到待分析直播视频内各 子视频段的视听数据对应关联信息， 分析待分析 直播视频内各子视频段的视听信息匹配度和视 听数据连贯度， 评估 得到待分析直播视频的视听 数据匹配指数和视听数据连贯指数， 进而分析待 分析直播视频的综合视听数据质量系数， 并与预 设的合格视听数据质量系数阈值进行对比， 根据 对比结果进行对应的处理， 从而实现对直播视频 视听数据进行智能化和全面化的分析管理， 在极 大程度上保证直播视频质量分析结果的精准性 和可靠性， 进而提高用户的直播视频观看体验感 和满意度。 权利要求书4页 说明书11页 附图1页 CN 114786033 B 2022.10.21 CN 114786033 B 1.一种基于人工智能的视听数据智能分析 管理系统， 其特 征在于， 包括： 视听数据截取模块用于对待分析直播视频进行划分， 截取待分析直播视频内各子视频 段的视听数据， 其中视听数据包括视频画面数据、 视频语音数据和手 语画面数据； 所述视听数据截取模块中对待分析直 播视频进行划分， 具体划分方式包括： 将待分析直播视频按照预设视频帧数划分方式进行划分， 得到待分析直播视频内各子 视频段， 并按照视频播放时间先后顺序依 次对待分析直播视频内各子视频段进行编号， 将 待分析直 播视频内各子 视频段的编号分别记为 ； 视听数据 预处理模块用于对待分析直播视频内各子视频段的视听数据进行预处理， 得 到待分析直 播视频内各子 视频段的视听数据对应关联信息； 视听信息匹配度分析模块用于根据待分析直播视频内各子视频段的视听数据对应关 联信息， 分析待分析直 播视频内各子 视频段的视听信息匹配度； 视听数据匹配指数评估模块用于根据待分析直播视频内各子视频段的视听信息匹配 度， 评估待分析直 播视频的视听数据匹配指数； 视听信息匹配度分析模块中分析待分析直播视频内各子视频段的视听信 息匹配度， 具 体分析包括： 提取视听数据存储库中存储的各预设文本词汇对应的各标准人物口型图像， 对比筛选 待分析直播视频内各子视频段的视频语音 数据对应各文本词汇的各标准人物口型图像， 并 按照文本词汇排列顺序依 次排列统计待分析直播视频内各子视频段 的视频语音数据对应 各标准人物口型图像， 根据待分析直播视频内各子视频段的视频画 面数据对应各人物口型 图像和各子视频段的视频语音 数据对应各标准人物口型图像， 分析待分析直播视频内各子 视频段对应视频画 面数据与其视频语音数据的匹配度， 将待分析直播视频内各子视频段对 应视频画面数据与其视频语音数据的匹配度记为 ； 所述视听数据匹配指数评估模块中评估待分析直播视频的视听数据匹配指数， 具体评 估方式为： 将待分析直播视频内各子视频段对应视频画面数据与其视频语音数据的匹配度 、 各子视频段对应手语画面数据与其视频语音数据的匹配度 和各子视频段对应视频画 面 数 据 与 其 手 语 画 面 数 据的 匹 配 度 代 入 视 听 数 据 匹 配 指 数 评 估 公 式 ， 得到待分析直播视频的视听数据匹配指数 ， 其中 分别表示为预设的视频画面数据与视频语音数据的匹配影响因子、 手语画面 数据与视频语音 数据的匹配影响因子和视频画 面数据与手语画 面数据的匹配影响因子， 且 ； 视听数据连贯度获取模块用于根据待分析直播视频内各子视频段的视听数据对应关 联信息， 获得待分析直 播视频内各子 视频段的视听数据连贯度； 视听数据连贯指数评估模块用于将待分析直播视频内各子视频段的视听数据连贯度 代入视听数据连贯指数评估公式 中， 得到待分析直 播视频的视听数据连贯指数；权　利　要　求　书 1/4 页 2 CN 114786033 B 2综合视听数据质量系数分析模块用于分析待分析直播视频的综合视听数据质量系数， 并与预设的合格视听数据质量系数阈值进行对比， 根据对比结果进行对应的处 理； 视听数据存储库用于存储各预设文本词汇对应的各标准人物口型图像和各预设人物 手语图像对应的表达含义。 2.根据权利要求1所述的一种基于人工智能的视听数据智能分析管理系统， 其特征在 于： 所述视听数据预 处理模块中得到待分析直播视频内各子视频段的视听数据对应关联信 息， 具体包括： 获取待分析直播视频内各子视频段的视频画面数据， 按照视频播放顺序依次提取待分 析直播视频内各子视频段的视频画 面数据中各视频帧图像， 并采用图像定位技术对待分析 直播视频内各子视频段的视频画 面数据中各视频帧图像进 行定位处理， 得到待分析直播视 频内各子视频段的视频画面数据中各视频帧图像对应人物口型图像， 记为待分析直播视频 内各子视频段的视频画面数据对应各 人物口型图像； 获取待分析直播视频内各子视频段的视频语音数据， 采用语音识别技术对待分析直播 视频内各子视频段的视频语音 数据进行识别处理， 得到待分析直播视频内各子视频段的视 频语音数据对应文本信息， 并对待分析直播视频内各子视频段的视频语音 数据对应文本信 息按照预设顺序进行分词处理， 得到待分析直播视频内各子视频段的视频语音数据对应各 文本词汇； 获取待分析直播视频内各子视频段的手语画面数据， 并采用图像分割技术对待分析直 播视频内各子视频段的手语画面数据进行 处理， 得到待分析直播视频内各子视频段的手语 画面数据中各视频帧画 面对应人物手语图像， 并记为待分析直播视频内各子视频段的手语 画面数据对应各 人物手语图像。 3.根据权利要求1所述的一种基于人工智能的视听数据智能分析管理系统， 其特征在 于： 所述视听信息匹配度分析模块中分析待分析直播视频内各子视频段的视听信息匹配 度， 具体分析还 包括： 提取视听数据存储库中存储的各预设人物手语图像对应的表达含义， 对比筛选待分析 直播视频内各子视频段的手语画 面数据对应各人物手语图像的表达含义， 将待分析直播视 频内各子视频段的手语画面数据对应各人物手语图像的表达含义进行语句汇总， 得到待分 析直播视频内各子视频段的手语画 面数据对应表达语句， 并通过分词处理得到待分析直播 视频内各子视频段的手语画 面数据对应各表达词汇， 构成待分析直播视频内各子视频段的 手语画面数据对应表达词汇集合 ， 表 示为待分析直播视频内第i个子视频段的手语画面数据对应第j个表达词汇， ， ； 根据待分析直播视频内各子视频段的视频语音数据对应各文本词汇， 构 成待分析直播 视频内各子视频段的视频语音数据对应文本词汇集合 ， 表示为待分析直播视频内第i个子视频段的视频语音数据对应第r个文本词汇， ；权　利　要　求　书 2/4 页 3 CN 114786033 B 3