(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211196108.3 (22)申请日 2022.09.29 (71)申请人 广西壮族自治区公众信息产业有限 公司 地址 530105 广西壮 族自治区南宁市广西- 东盟经济技术开发区武华大道35号华 强科技孵化园1号综合楼310 -6室 (72)发明人 蔡源昌　黄尧　 (74)专利代理 机构 南宁深之意专利代理事务所 (特殊普通 合伙) 45123 专利代理师 黄南概 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 21/62(2013.01) (54)发明名称 一种基于 Flink的分布式灾备演练线程池优 化及适配方法 (57)摘要 本发明公开了一种基于Flink的分布式灾备 演练线程池优化及适配方法， 综合采用分布式数 据收敛及利用各地组网内边缘节点训练中央模 型， 从而优化中央训练模型， 并大幅度减小中央 模型训练负载。 将Flink作为灾备演练数据仓的 主要计算引擎， 来解决分布式灾备演练解决方案 中关键的一个环节， 通过线程池优化及调度将地 方及跨地方隐私数据存储和计算引擎之间的适 配问题， 通过Flink构建的线程池特有的共享 Slot特性合并多个计算优化运算链， 同时， 采取 人工智能构建中央预警模型预测运算链各环节 资源开销、 基础架构及性能开销映射的监控指标 之间提供一个最优平衡点做为依据。 权利要求书1页 说明书4页 附图1页 CN 115543567 A 2022.12.30 CN 115543567 A 1.一种基于Flink的分布式灾备演练线程池优化及适配方法， 其特征在于： 包括以下步 骤： 步骤一： 在中央服务器构建及部署中央预警模型； 所述中央预警模型公式： 其中： P(A)为每天灾害评估故障发生的概率， P(B)为灾害评估故障发生后误报的占比， P(A|B)为故障恢复后该类型故障仍然会发生的概率， P(B|A)为灾害评估故障每天发生的概 率； 步骤二、 创建线程池并将地方灾备演练数据按演练环节映射为算子， 整个演练过程映 射为运算链； 步骤三、 将每个运算链映射为一个TaskManager进程； JobManager 通过Actor System 管理分布式灾备演练地方 的数据运算及参与中央预警模型运算得到每个算子的故障发生 概率值， 并通过概率值进行优先级线程分配， 从而达到充分的利用Task Slots 的资源使较 大的算子能够均匀的分布在TaskMana ger上； 步骤四、 最后通过Cl ient来管理各地方灾备演练数据流向JobMana gers。 2.根据权利要求1所述的一种基于Flink的分布式灾备演练线程池优化及适配方法， 其 特征在于： 所述演练环 节包括告警 发现、 灾害评估、 灾难确认。 3.所述JobManager： 负责协调地方隐私及公开数据以分布式任务的形式通过线程池向 中央数据库进行传输； 所述TaskManager： 负责映射为地方向中央传输数据的一个进程， Task Slots映射为一 个线程， 一个进程内可包含多个线程； T askManager将内存Task Slots与内存资源连接， 将 灾备演练各环节产生的数据映射为算子放入中央预警模型进 行运算， 预测算子发生异常的 概率值一起放入算子中， 最后将各环 节的算子组成运 算链； 所述线程池： 负责收到包 含算子预测概 率值的运算链线程后进行优先级 线程分配； 所述Client： 负责准备和提交数据流到JobManagers之后可以断开连接或者保持连接 以获取任务的状态信息 。 4.优先级 线程分配包括： 优先将运算链中各算子预测概率值没有大于50%的运算链线程向共享的多个Task Slots按顺序均匀发送， 从而达到充分的利用Task Slots的资源使较大的算子能够均匀的 分布在TaskMana ger上； 次优先加权平均后不超过50%的运算链程向共享的多个Task Slots按顺序均匀发送， 从而达到充分的利用Task Sl ots的资源使较大的算子能够均匀的分布在TaskMana ger上； 运算链中某个算子预测概率值大于等于50%或运算链加权平均值大于等于50%， 则放入 一个单独开辟的TaskManager进程内的多个Task Slots线程的进程内并根据运算链数量及 所占内存大小使 预测概率值大于50%及代 价较大的算子均匀的分布在 TaskManager上， 从而 使得预测概率值大于50%的算子可共用单独TaskManager的进程， 并且可以共用同一个 JobManager 下的其他TaskManager的TCP连接和心跳消息， 同时可以共用一些数据集和数 据结构， 从而减小任务的开销。权　利　要　求　书 1/1 页 2 CN 115543567 A 2一种基于Flink的分布式灾 备演练线 程池优化及适配方 法 技术领域 [0001]本发明属于软件开发及IT技术领域， 具体涉及一种基于Flink 的分布式灾备演练 线程池优化及适配方法。 背景技术 [0002]随着数字化发展的逐渐深入， 网络安全已经成为社会发展的重要保证， 使得灾备 演练更加具有参考价值， 灾备数据信息的收集和处理是灾备演练中的一个重要环节。 信息 收集全面， 数据准确能够保证灾备演练的各任务正常执行。 演练的处理过程是高度接近真 实灾难发生时的处理过程， 确保了灾备演练能够对工作起到作用， 从而使灾备自动演练对 数据维护起到参 考作用。 [0003]现有IT业务系统的容灾演练业务流程信息存在表现不完整， 各地边缘节点隐私数 据对中央模型影训练影响； 分布式应用不同于传统单体应用， 不同计算节点存在硬件配置 差异， 线程池的运行情况也是各有差异； 线程池的工作线程数、 最大工作线程数、 任务队列 大小等参数主要依靠项目开发人员的经验进行确定， 缺 乏成熟可靠的方式提前规划； 当线 程池的配置不符合 实际业务需求时， 极易引发资源浪费、 任务阻塞等一系列问题， 降低软件 项目的可用性 甚至造成软件项目的崩溃 等一系列的问题。 发明内容 [0004]本发明针对现有技术的问题， 提供一种将人工智能应用于灾备演练中并通过线程 池适配技术减轻中央模型训练的负载， 又保证了分布式灾备演练数据在中央与地方数据差 异化问题的基于Fl ink的分布式灾备演练线程池 优化及适配方法。 [0005]为了实现上述发明目的， 本发明的技 术方案如下： 一种基于Fl ink的分布式灾备演练线程池 优化及适配方法， 包括以下步骤： 步骤一： 在中央服务器构建及部署中央预警模型； 所述中央预警模型公式： 其中： P(A)为每天灾害评估故障发生 的概率， P(B)为灾害评估故障发生后误报的 占比， P(A|B)为故障恢复后该类型故 障仍然会发生的概率， P(B|A)为灾害评估故 障每天发 生的概率； 步骤二、 创建线程池并将地方灾备演练数据按演练环节映射为算子， 整个演练过 程映射为运算链； 步骤三、 将每个运算链映射为一个TaskManager进程； JobManager 通过Actor System管理分布式灾备演练地方的数据运算及参与中央预警模型运算得到每个算子的故 障发生概率值， 并通过概率值进 行优先级线程分配， 从而达到充分的利用Task Slots （进程 插槽） 的资源使较大的算子能够均匀的分布在TaskMana ger上； 步骤四、 最后通过Cl ient来管理各地方灾备演练数据流向JobMana gers。说　明　书 1/4 页 3 CN 115543567 A 3