(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111564034.X (22)申请日 2021.12.20 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路2号 (72)发明人 杨科华　张曼　赵欢　李俐璇　 (74)专利代理 机构 长沙永星专利商标事务所 (普通合伙) 43001 代理人 周咏　米中业 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/04(2012.01) G06N 3/04(2006.01) G06N 20/20(2019.01)H04L 9/08(2006.01) H04L 9/40(2022.01) (54)发明名称 一种基于联邦学习与注意力机制的生产线 调度方法 (57)摘要 本发明公开了一种基于联邦学习与注意力 机制的生产线调度方法， 包括获取若干个零件厂 家的历史生产零件数据； 采用长短期记忆网络， 生成各个零件厂家的生产零件数据模 型； 通过加 密和纵向联邦学习， 将各个零件厂家的生产零件 数据模型进行协 同训练； 采用注意力机制， 求解 作业车间调度问题， 并采用生 成的结果进行生产 线调度。 本发 明在预测准确率较高的前提下保证 了本生产线数据的私密与安全， 防止了数据的泄 露； 且由于预测数据较为准确， 可 以避免生产过 剩等造成资源的浪费。 使用联邦学习进行共同建 模， 不仅可以使各参与方获得数据保护的同时， 也实现共同提升模型效果的目的， 且模型无损 失， 不会出现负迁移， 使得生产线调度更接近实 际情况， 更准确。 权利要求书4页 说明书10页 附图5页 CN 114219159 A 2022.03.22 CN 114219159 A 1.一种基于联邦学习与注意力机制的生产线调度方法， 其特 征在于包括如下步骤： S1.获取若干个零件厂家的历史生产零件数据； S2.采用长短期记 忆网络， 生成各个零件厂家的生产零件数据模型； S3.通过加密和纵向联邦学习， 将各个零件厂家的生产零件数据模型进行协同训练， 获 得全局生产零件数据模型； S4.将获得的全局生产零件数据模型作为原始输入序列， 通过注意力机制求解作业车 间调度问题， 生成调度 序列， 并采用生成的结果进行生产线调度。 2.根据权利要求1所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 所述的步骤S2， 包括如下步骤： A1.采用历史生产零件数据， 对历史生产零件数据进行 预处理； 生成训练集和 测试集； A2.采用长短期记忆网络， 建立初始生产零件数据模型， 并初始化参数； 包括将当前输 入和前一个状态输出的门控拼接训练得到四个状态， 对当前的输入有选择的进行记忆和忘 记， 并将选择的记 忆和忘记合并输入， 对输出进行选择后采用损失函数优化； A3.采用步骤A1生成的训练集对初始生产零件数据模型进行训练， 并校验结果是否满 足预测精度要求； 若校验结果不满足预测精度要求， 则继续训练； 若校验结果满足预测精度 要求， 则生成训练好的生产零件 数据模型， 采用测试集进行预测， 同时根据正规化过程将数 据转换为原值； 参与的第三方传递训练参数和损失函数及其 参数。 3.根据权利要求2所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 所述的步骤A1， 包括如下步骤： B1.对历史生产零件数据进行预处理； 预处理包括： 对历史生产零件数据进行归一化处 理， 加速训练速度； 将数据进行标准化处理； 将历史生产零件数据设置为数据数列； 设置时 间步， 并根据设置时间步的数据预测之后的数据； B2.根据滑动窗口的大小构造训练集； 具体包括根据滑动窗口的大小将历史零件数据 依次输入长短期记 忆网络模型的输入层。 4.根据权利要求3所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 所述的步骤S3， 包括如下步骤： D1.将加密样本对齐， 在系统层面进行加密样本对齐， 将各个参与 方在本地生成的生产 零件数据模型进行加密， 生 成加密样本； 对各个加密样本进 行处理， 使各个参与方的样 本对 齐； D2.各个参与方分别在本地的生产零件数据模型进行训练对齐的加密样本； D3.由第三方服 务器创建加密对， 向各个参与方发送公钥， 用于加密需要传输的数据； D4.各个参与方分别计算与其相关的特征中间结果， 并加密交互， 用于求得各个参与 方 的梯度和损失； D5.各个参与方分别计算本身加密后的梯度并添加掩码发送给第三方服务器， 同时有 标签点数据的参与方计算加密后的损失发送给第三方服务器， 计算 目标函数， 并加入正则 项； 标签数据持有方计算梯度损失， 并在加密后回传； D6.第三方服务器收集来自无标签数据持有方和标签数据持有方的加密梯度及损失后 进行模型更新； 对来自各个参与方的模型参数采用不同的权重比例对其进行整合， 以获得 服务器更新后的联邦模型；权　利　要　求　书 1/4 页 2 CN 114219159 A 2D7.第三方服务器解密梯度和损失后回传给各个参与方， 各个参与方去除掩码并更新 生产零件数据模型， 获取更新生产零件数据模型； 对第三方服务器在聚合后增加 一个逻辑 判断， 判断接收的各参与方本地计算结果质量， 若计算结果质量好， 则训练终止， 联合建模 结束， 建立好的全局 生产零件数据模型保留在第三方服务器中； 否则继续迭代进行模型训 练。 5.根据权利要求4所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 步骤S4中， 所述的作业车间调度问题包括一条加工流水线上有若干台机器， 若干待加工作 业； 其中， 作业包含若干工序数； 设作业的总工序数为每个作业工序数之和； 其中每个作业 的各个工序的加工时间已确定， 并且每个作业必须按照规定的工序的先后顺序进行加工； 调度的任务是安排确定工件的加工顺序以及每阶段工件在机器上的分配情况， 求解约束 条 件被满足的同时， 使得最大完 工时间极小化。 6.根据权利要求5所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 约束条件 包括： 约束一： 同一时刻、 同一机器只能加工一道工序； 约束二： 每道工序在指定的机器上加工， 且在其前一道工序完成后才能开始加工； 约束三： 同一个作业的工序先后顺序有约束， 不同作业加工工序之间没有先后顺序约 束； 约束四： 各作业的工序顺序和 加工时间已确定， 不随加工排序该变而改变； 约束五： 不同工件之间的优先级是相同的。 7.根据权利要求6所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 所述的步骤S4， 包括如下步骤： E1.将获得的全局生产零件数据模型作为原始输入序列， 初始化原始输入序列， 加载作 业车间调度问题的输入数据； 对输入序列进行编码； 将注意力扩展到单个输入序列之外的 存储网络； E2.加载注意力基质网络， 包括： 第一阶段根据作业车间调度问题和工序计算两者的向 量Cosine相似性； 第二阶段引入SoftMax计算方法对第一阶段的得分进行数值转换； 通过加 权获取注意力值； E3.通过注意力值绕过步骤D7获取的全局生产零件数据模型的顺序处理， 对输出序列 进行解码， 并输出求 解到的序列， 用于生产线的调度。 8.根据权利要求7所述的基于联邦学习与注意力机制的生产线调度方法， 其特征在于 所述的数据 数列为， X(n)＝[x(1),x(2), …,x(n‑1),x(n)]； x(n)表示特征x的第 n个时刻的 观测值； 所述的步骤A 2， 包括如下步骤： C1.将当前输入xt和前一个状态输出的ht‑1拼接训练得到四个状态， 包括z,zf,zi,zo， 其 中， z表示将结果通过tanh激活函数转换的值； zf,zi,zo表示由拼接向量乘以权重矩阵后， 再 通过一个sigmoid激活函数转成0到1之间的数值作为门控状态， zf表示忘记门控； zi表示记 忆门控； zo表示输出门控； C2.忘记阶段， 对上一个节点传进来的输入进行选择性忘记； 通过计算得到的zf作为忘 记门控， 用于选择上一状态的ct‑1忘记的部分， ct‑1表示上一时刻的神经元状态，权　利　要　求　书 2/4 页 3 CN 114219159 A 3