(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210851181.3 (22)申请日 2022.07.19 (71)申请人 广州亚信技 术有限公司 地址 511458 广东省广州市南沙区丰泽 东 路106号(自编1号楼)X 1301-B309 5(仅 限办公用途)(JM) (72)发明人 闫方利　欧阳晔　 (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张秀程 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 数据处理方法、 装置、 电子设备及计算机可 读存储介质 (57)摘要 本申请实施例提供了一种数据处理方法、 装 置、 电子设备及计算机可读存储介质， 涉及大数 据运维技术领域。 该方法包括： 确定完成待处理 任务所需的数据； 其中， 数据包括多个子数据， 多 个子数据分布存储在多个处理节 点中； 根据处理 待处理任务的资源消耗预估值， 从多个处理节点 中筛选出目标处理节点； 其中， 目标处理节点的 盈余程度大于预设第一阈值； 盈余程度是根据资 源消耗预估值与各个处理节点的资源可用信息 确定的； 根据目标处理节点处理待处理任务， 得 到处理结果。 本申请实施例通过任务的资源消耗 预估值和各处理节点的资源可用信息， 筛选出目 标处理节 点进行任务处理， 有效提高了大数据运 维的分析计算效率。 权利要求书2页 说明书14页 附图4页 CN 115202880 A 2022.10.18 CN 115202880 A 1.一种数据处 理方法， 其特 征在于， 包括： 确定完成待处理任务所需的数据； 其中， 所述数据包括多个子数据， 所述多个子数据分 布存储在多个处 理节点中； 根据处理所述待处理任务的资源消耗预估值， 从所述多个处理节点中筛选出目标处理 节点； 其中， 所述目标 处理节点的盈余程度大于预设第一阈值； 所述盈余程度是根据所述资 源消耗预估值与各个处 理节点的资源可用信息确定的； 根据所述目标处 理节点处 理所述待处 理任务， 得到处 理结果。 2.根据权利要求1所述的方法， 其特征在于， 所述根据处理所述待处理任务的资源消耗 预估值， 从所述多个处 理节点中筛 选出目标处 理节点之前， 包括： 针对每一子数据， 根据所述子数据的属性信息， 确定所述子数据的唯一编码值； 根据所述唯一编码值计算所述子数据的索引值， 将所述索引值对应的处理节点作为存 储所述子数据的处 理节点。 3.根据权利要求1所述的方法， 其特征在于， 所述根据处理所述待处理任务的资源消耗 预估值， 从所述多个处 理节点中筛 选出目标处 理节点， 包括： 确定各个处 理节点的资源可用信息； 对于每一个处理节点， 确定所述处理节点的资源可用信 息相对于所述资源消耗预估值 的盈余程度； 当所述处理节点中存在至少一个参考处理节点 时， 从所述参考处理节点中筛选出盈余 程度大于预设第一阈值的目标处理节点； 其中， 所述参考处理节点为盈余程度大于第二阈 值的处理节点； 所述第二阈值 不大于第一阈值。 4.根据权利要求3所述的方法， 其特征在于， 所述子数据的类型包括主份和备份； 存储 各主份子数据的处理节点为一级处理节点， 存储各备份子数据 的处理节点为二级处理节 点， 除所述 一级处理节点与所述 二级处理节点之外的处 理节点为三级处理节点； 所述从所述参考处理节点中筛选出盈余程度大于预设第一阈值的目标处理节点， 包 括： 当所述参考处理节点包括一级处理节点 时， 从所述一级处理节点中筛选出盈余程度 大 于预设第一阈值的目标处 理节点。 5.根据权利要求 4所述的方法， 其特 征在于， 还 包括： 当所述参考处理节点包括二级处理节点且不包括一级处理节点 时， 从所述二级处理节 点中筛选出盈余 程度大于预设第一阈值的目标处 理节点； 当所述参考处理节点仅包括三级处理节点 时， 从所述三级处理节点中筛选出盈余程度 大于预设第一阈值的目标处 理节点。 6.根据权利要求4所述的方法， 其特征在于， 所述资源可用信息包括： CPU可用核心数和 可用内存大小； 所述确定所述处理节点的资源可用信息相对于所述资源消耗预估值的盈余程度， 包 括： 将所述CPU可用核心数和可用内存大小进行加权求和， 得到所述处理节点的资源盈余 值； 根据所述资源可用信息与所述资源消耗预估值的差值， 对所述资源盈余值进行加权，权　利　要　求　书 1/2 页 2 CN 115202880 A 2得到所述盈余 程度。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述CPU可用核心数和可用内存大 小进行加权求和， 得到所述处 理节点的资源盈余 值， 包括： 根据所述处理节点的类型， 确定所述处理节点的资源盈余基数； 其中， 所述一级处理节 点的资源盈余基数大于所述二级处理节点的资源盈余基数， 所述二级处理节点的资源盈余 基数大于所述 三级处理节点的资源盈余基数； 将所述资源盈余基数、 所述CPU可用核心数和可用内存大小进行加权求和， 得到所述处 理节点的资源盈余 值。 8.一种数据处 理装置， 其特 征在于， 包括： 确定模块， 用于确定完成待处理任务所需的数据； 其中， 所述数据包括多个子数据， 所 述多个子数据分布存 储在多个处 理节点中； 筛选模块， 用于根据处理所述待处理任务的资源消耗预估值， 从所述多个处理节点中 筛选出目标 处理节点； 其中， 所述目标处理节点的盈余程度大于预设第一阈值； 所述盈余程 度是根据所述资源消耗预估值与各个处 理节点的资源可用信息确定的； 处理模块， 用于根据所述目标处 理节点处 理所述待处 理任务， 得到处 理结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上的计算机程序， 其特征在于， 所述处理器执行所述计算机程序以实现权利要求1至7任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115202880 A 3