全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210685414.7 (22)申请日 2022.06.17 (71)申请人 长沙理工大 学 地址 410117 湖南省长 沙市天心区赤岭路 45号 (72)发明人 唐小勇 刘艺 邓锬 黄浩炜  刘文正 吴志强  (74)专利代理 机构 长沙星耀专利事务所(普通 合伙) 4320 5 专利代理师 赵静华 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于时序分割与模型混合并行优化的网格 负载均衡调度方法 (57)摘要 一种基于时序分割与模型混合并行优化的 网格负载均衡调度方法, 包 括以下步骤: S100: 将 历史数据分割为不同的数据块, 将分割后的数据 块分给不同处理器; S2 00:对每个单一处理器, 使 用并行化的二位长短期记忆网络细胞训练; S300: 收集不同处理器计算得出的误差值, 得出 平均值, 更新上一时刻的细胞内矩阵; S400: 进行 迭代训练, 以获得可预测网格内各计算节点工作 量的二维长短期记忆网络; S500: 使用获得的二 维长短期记忆网络, 并行预测各个子节点的工作 量; S600:按照最小的工作量匹配最小负载的原 则, 确定计算节点与作业的二元组并完成调度。 本发明对于提升提高网格服务质量、 加快任务请 求的处理速度、 保证良好的用户体验、 更好的实 现负载均衡具有重要意 义。 权利要求书3页 说明书7页 附图8页 CN 114968596 A 2022.08.30 CN 114968596 A 1.一种基于时序分割与模型混合并行优化的网格负载均衡调度方法, 其特张在于, 包 括以下步骤: S100: 将历史数据分割为 不同的数据块, 将分割后的数据块分给不同处 理器; S200:对每个单一处 理器, 使用并行化的二 位长短期记 忆网络细胞训练; S300: 收集不同处理器计算得出的误差值, 得 出平均值, 更新上一时刻的细胞内矩阵; S400: 进行迭代训练, 以获得 可预测网格内各计算节点工作量的二维长短期记 忆网络; S500: 使用获得的二维长短期记忆网络, 根据各计算节点的频率, 并行预测各个子节点 的工作量; S600:按照最小的工作量匹配最小负载的原则, 确定计算节点与作业的二元组并完成 调度。 2.根据权利要求1所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述 步骤S100包括: S101:确定日期方向上的训练块长为D+1, 日期方向上需要当前时间点之前D天的按顺 序排列的负载, D+1用于生成初始状态值; S102: 确定时间方向上的训练块长为T+2, 时间方向上需要当前时间点之前T小时的按 顺序排列的负载, T+2用于生成初始状态值; S103:将数据分割为(T+2)*(D+1) ‑2的数据块。 3.根据权利要求2所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述 步骤S200包括: 确定单个处理机的处理数据量以及组合方式, 子节点二维长短期记忆网络细胞结构中 任意参数的训练通式如式(1)所示, 其中, W为二维长短期记忆网络细胞结构中任意参数、 α 为学习率、 ΔW 为损失函数对于任意 参数W的偏导、 上 标表示时刻、 下 标坐标表示矩阵位置; (1)式中ΔW运算方式如下所示。 其中, LOSS表示损失函数, f表示任意函数, n为数据总 量; 将(2)式分为 k段: 将(3)式抽象如下 所示。 其中, l表示单个处 理器的数据集, k 为处理器数量; 取 原(2)式转 化为:权 利 要 求 书 1/3 页 2 CN 114968596 A 2此时损失计算方式转化为每个处理器处理m份 的数据, 其每个处理器数据量为 组 合方式为每 个处理器运算结果之和的平均值。 4.根据权利要求3所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述 步骤S300包括: 对于ΔW的得出以二维长短期记忆网络的遗忘门矩阵为例, 其矩阵内单个值的偏导数 计算方式为: 5.根据权利要求4所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述 步骤S400包括: 采用并行 方式嵌套 进行训练。 6.根据权利要求5所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述 步骤S500包括: S501: 收集调度间隔内的作 业集JS与计算节点集NS, 不同计算节点计算频率不同, 对频 率作归一化处理; 初始化网格计算节点的属性, 具体包括: 最小CPU核数限制 ‑MinCL(NSj)、 最大CPU核数限制 ‑MaxCL(NSj)、 可用核数ACN(NSj)、 运行时间限制WTL(NSj)、 部署应用软件 集合AV(NSj); 初始化作 业集合的属性具体包括: 所需核数 ‑CN(JSi)、 预计运行最大时间 ‑WT (JSi)、 所需软件AP P(JSi); S502: 使用并行化的二维长短期记 忆网络细胞 结构对于各节点的ACN(NSj)进行预测。 7.根据权利要求6所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述步骤S 502包括: 将每个节 点的之前T个时刻, D个日期按顺序输向量, 可 表示为下(7)公式: 其中NWVj表示输入负载向量, NWj表示对应 时刻的负载。 ACN(NSj)的计算 方式如(8)式, 此时, 已经预测了各个计算节点在未来时刻的可用核数, 将据此对网格资源 进行进一 步的合理分配; 8.根据权利要求7所述的基于时序分割与模型混合并行优化的网格负载均衡调度方 法, 其特征在于, 所述 步骤S600包括: S601: 按照最小的工作量的作业匹配最小负载的计算节点的原则, 得到计算节点与作 业的二元组, 作业能够与计算节点匹配的条件如下 所示; 权 利 要 求 书 2/3 页 3 CN 114968596 A 3

.PDF文档 专利 基于时序分割与模型混合并行优化的网格负载均衡调度方法

文档预览
中文文档 19 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于时序分割与模型混合并行优化的网格负载均衡调度方法 第 1 页 专利 基于时序分割与模型混合并行优化的网格负载均衡调度方法 第 2 页 专利 基于时序分割与模型混合并行优化的网格负载均衡调度方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:31:38上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。