(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210981888.6 (22)申请日 2022.08.16 (71)申请人 广东省信息网络有限公司 地址 510000 广东省广州市越秀区北较场 横路12号物资大厦14楼 (72)发明人 王征宇　王睿　梁天爵　 (51)Int.Cl. H04N 19/114(2014.01) H04N 19/177(2014.01) H04N 21/434(2011.01) G10L 15/26(2006.01) G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/74(2022.01) (54)发明名称 一种RPA流 程自动化方法和系统 (57)摘要 本申请公开了一种RPA流程自动化方法和系 统， 方法包括： 从终端设备 获取待处理的视频； 在 终端设备对待处理的视频进行编码处理， 其中， 按设定规则抽取多个摘要画面帧并配置在编码 后的视频数据的前部数据， 所述编码后的视频数 据的前部数据的传输优先级高于所述视频数据 的后部数据； 服务器端接收所述编码后的视频数 据时， 对所述前部数据进行解码以获取所述摘要 画面帧进行识别， 并根据 识别结果选择对应的业 务处理流程， 并在完整接收所述后部数据后将所 述前部数据和后部数据还原成完整视频。 本方案 可以在视频未传输 完的情况 下进行图像识别。 权利要求书2页 说明书7页 附图2页 CN 115297323 A 2022.11.04 CN 115297323 A 1.一种RPA流 程自动化方法， 其特 征在于， 包括： 从终端设备获取待处 理的视频； 在终端设备对待处理的视频进行编码处理， 其中， 编码处理时按设定规则抽取多个摘 要画面帧并配置在编码后的视频数据的前部数据， 所述编 码后的视频数据的前部数据的传 输优先级高于所述视频 数据的后部数据； 服务器端接收所述编码后的视频数据时， 对所述前部数据进行解码以获取所述摘要画 面帧进行识别， 并根据识别结果选择对应的业务处理流程， 并在完整接 收所述后部数据后 将所述前部数据和后部数据还原成完整视频。 2.根据权利要求1所述的RPA流程自动化方法， 其特征在于， 所述在终端设备对待处理 的视频进行编码处 理， 具体包括： 采用GOP策略对视频进行处理， 得到多个GOP 分组， 每个GOP 分组中包括一个关键帧和多 个预测帧； 抽取若干个G OP分组的关键帧作为摘要画面帧； 在被抽取关键帧的G OP分组中加入索引信息， 以确定关键帧所在所述前部数据的位置 。 3.根据权利要求1所述的RPA流程自动化方法， 其特征在于， 所述对所述前部数据进行 解码以获取 所述摘要画面帧进行识别， 并根据识别结果选择对应的业 务处理流程， 包括： 获取当前在预设时间内的订单信息， 根据所述 订单信息获取关联图片； 将所述关联图片与所述摘要画面帧进行匹配， 以确定所述视频对应的订单信息； 向终端设备推送订单确认界面， 以使终端设备基于用户指令确 认或否认对应的订单信 息， 并根据终端设备的确认或者否认动作执 行下一步设定的流 程。 4.根据权利要求3所述的RPA流程自动化方法， 其特征在于， 所述将所述关联图片与所 述摘要画面帧进行匹配， 以确定所述视频对应的订单信息， 具体是： 从摘要画面帧中识别出摘要画面帧中物品的类型， 得到 至少一个候选类型； 根据所述候选类型从预设时间段内的订单信 息中匹配对应类型的商 品订单， 得到至少 一个候选订单； 将候选订单的关联图片中的商 品区域与 各摘要画面帧中的物品区域进行匹配， 将匹配 度最高的图片组对应的候选订单确定所述视频对应的订单信息 。 5.根据权利要求 4所述的RPA流 程自动化方法， 其特 征在于， 还 包括以下步骤： 根据候选订单中关联图片与各画面帧之间的匹配度的最大值对候选订单进行降序排 序； 当所述终端设备执行否认动作时， 关闭当前订单信息， 并将排序中在当前订单后一位 的订单信息作为确认对象向终端设备进行推送。 6.根据权利要求1所述的RPA流程自动化方法， 其特征在于， 在所述在终端设备对待处 理的视频进行编码处 理的步骤之前， 还 包括： 根据视频长度和当前网络状态估算传输时间， 当传输时间小于阈值时， 采取不区分前 部数据和后部数据的方式编码后直接传输 视频。 7.根据权利要求1所述的RPA流程自动化方法， 其特征在于， 所述服务器在接收后部数 据时， 每接收到一个GOP分组后校验是否具有关键帧， 若有则直接对GOP分组进行解码或存 储， 若无则根据索引信息从前部数据获取GOP分组对应的关键帧， 从而还原成完整的GOP分权　利　要　求　书 1/2 页 2 CN 115297323 A 2组进行解码或存 储。 8.根据权利要求1所述的RPA流程自动化方法， 其特征在于， 所述摘要画面帧每间隔N个 GOP分组获取一帧， 所述 N为正整数。 9.根据权利要求4所述的RPA流程自动化方法， 其特征在于， 在对视频进行编码处理前， 还包括以下步骤： 分离视频中的视频 数据与音频 数据； 音频数据转换为文本数据； 对文本数据进行分词处 理并进行词性标注； 根据词性标注内容 提取上述分词结果中的名词； 将所述名词以优先于音频 数据传输的优先级上传至服 务器。 10.一种RPA流 程自动化系统， 其特 征在于， 包括： 终端设备， 用于获取待处理的视频， 对待处理的视频进行编码处理， 其中， 按设定规则 抽取多个摘要画 面帧并配置在编码后的视频数据的前部数据， 所述编 码后的视频数据的前 部数据的传输优先级高于所述视频 数据的后部数据； 服务器， 用于接收所述编码后的视频数据时， 对所述前部数据进行解码以获取所述摘 要画面帧进行识别， 并根据识别结果选择对应的业务处理流程， 并在完整接 收所述后部数 据后将所述前部数据和后部数据还原成完整视频。权　利　要　求　书 2/2 页 3 CN 115297323 A 3