(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111417472.3 (22)申请日 2021.11.25 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 吴秉哲　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 代理人 石翰林 (51)Int.Cl. G16C 20/50(2019.01) G16C 20/70(2019.01) G06N 20/00(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) (54)发明名称 一种模型训练的方法、 相关装置、 设备以及 存储介质 (57)摘要 本申请公开了一种基于联邦学习的模型训 练方法， 涉及人工智能领域。 本申请包括： 获取K 个分子样本特征以及K个分子标注特征； 根据贝 塔分布确定 K个特征混合基数； 根据K个特征混合 基数、 K个分子样本特征以及K个分子标注特征， 生成混合分子样本的目标分子样本特征以及目 标分子标注特征； 根据目标分子样 本特征以及目 标分子标注特征， 获取针对本地模 型的第一局部 梯度值， 当满足模型训练条件时， 得到第二局部 梯度值； 向中心设备发送第二局部梯度值。 本申 请还提供了相关装置、 设备及存储介质。 本申请 能够消除噪声的影响， 从而提升模型的鲁棒性。 此外， 在联邦学习框架下多个机构可共同训练一 个全局模型， 有利于提升模型 预测的准确性。 权利要求书4页 说明书26页 附图6页 CN 114334036 A 2022.04.12 CN 114334036 A 1.一种模型训练的方法， 其特 征在于， 包括： 获取K个分子样本特征以及K个分子标注特征， 其中， 所述分子样本特征与所述分子标 注特征具有对应关系， 所述K为大于1的整数； 根据贝塔分布确定K个特 征混合基数， 其中， 所述K个特 征混合基数之和为1； 根据所述K个特征混合基数、 所述K个分子样本特征以及所述K个分子标注特征， 生成混 合分子样本的目标分子样本特 征以及目标分子标注特 征； 根据所述目标分子样本特征以及所述目标分子标注特征， 获取针对本地模型的第 一局 部梯度值， 当满足模型训练条件时， 得到第二局部梯度值； 向中心设备发送所述第二局部梯度值。 2.根据权利要求1所述的方法， 其特征在于， 所述获取K个分子样本特征以及K个分子标 注特征， 包括： 获取K个分子样本， 其中， 每 个分子样本对应至少一个标注结果； 针对于所述每个分子样本， 对分子样本进行特征提取， 得到所述分子样本所对应的分 子样本特 征； 针对于所述每个分子样本， 根据分子样本所对应的至少一个标注结果， 生成所述分子 样本所对应的分子标注特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述对分子样本进行特征提取， 得到所述 分子样本所对应的分子样本特 征， 包括： 根据所述分子样本生成分子图样本， 其中， 所述分子图样本包括顶点和边， 所述顶点表 示原子， 所述 边表示化学键； 基于所述分子图样本， 通过图神经网络获取 所述分子样本特 征。 4.根据权利要求2所述的方法， 其特 征在于， 所述获取 K个分子样本， 包括： 向目标本地设备发送数据调用请求； 若所述目标本地设备对所述数据调用请求鉴权通过， 则从所述目标本地设备中获取P 个分子样本， 其中， 所述P为大于或等于1的整数； 从本地数据库中获取Q个分子样本， 其中， 所述 Q为大于或等于1的整数； 将所述P个分子样本和所述 Q个分子样本作为所述K个分子样本 。 5.根据权利要求1所述的方法， 其特征在于， 所述根据贝塔分布确定K个特征混合基数， 包括： 获取满足所述贝塔分布的随机数， 并将所述随机数作为第一特 征混合基数； 根据所述第一特 征混合基数确定第二特 征混合基数。 6.根据权利要求5所述的方法， 其特征在于， 所述K个分子样本特征包括第一分子样本 特征以及第二分子样本特征， 所述K个分子标注特征包括第一分子标注特征以及第二分子 标注特征； 所述根据 所述K个特征混合基数、 所述K个分子样本特征以及所述K个分子标注特征， 生 成混合分子样本的目标分子样本特 征以及目标分子标注特 征， 包括： 采用所述第一特 征混合基数对所述第一分子样本特 征进行加权， 得到第一特 征向量； 采用所述第二特 征混合基数对所述第二分子样本特 征进行加权， 得到第二特 征向量； 根据所述第 一特征向量以及所述第 二特征向量， 生成所述混合分子样本的所述目标分权　利　要　求　书 1/4 页 2 CN 114334036 A 2子样本特 征； 采用所述第一特 征混合基数对所述第一分子标注特 征进行加权， 得到第三特 征向量； 采用所述第二特 征混合基数对所述第二分子标注特 征进行加权， 得到第四特 征向量； 根据所述第 三特征向量以及所述第四特征向量， 生成所述混合分子样本的所述目标分 子标注特 征。 7.根据权利要求1所述的方法， 其特征在于， 所述根据贝塔分布确定K个特征混合基数， 包括： 获取满足所述贝塔分布的至少三个随机数； 根据所述至少三个随机数之和， 对每个随机数进行归一化， 得到所述每个随机数所对 应的特征混合基数。 8.根据权利要求7所述的方法， 其特征在于， 所述K个分子样本特征包括至少三个分子 样本特征， 所述K个分子标注特 征包括至少三个分子标注特 征； 所述根据 所述K个特征混合基数、 所述K个分子样本特征以及所述K个分子标注特征， 生 成混合分子样本的目标分子样本特 征以及目标分子标注特 征， 包括： 采用所述每个随机数所对应的特征混合基数， 对所述至少三个分子样本特征进行加权 求和， 得到所述混合分子样本的所述目标分子样本特 征； 采用所述每个随机数所对应的特征混合基数， 对所述至少三个分子标注特征进行加权 求和， 得到所述混合分子样本的所述目标分子标注特 征。 9.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标分子样本特征以及所述 目标分子标注特 征， 获取针对本地模型的第一局部梯度值之前， 所述方法还 包括： 响应所述中心设备发送的模型更新指令， 从所述中心设备中获取所述全局模型的模型 参数， 并将所述全局模型的模型参数作为所述本地模型的模型参数。 10.根据权利要求1至9中任一项所述的方法， 其特征在于， 所述根据所述目标分子样本 特征以及所述目标分子标注特 征， 获取针对本地模型的第一局部梯度值， 包括： 基于所述目标分子样本特征， 通过所述本地模型获取所述混合分子样本的分子属性预 测分值， 其中， 所述分子属性预测分值表示预测针对于目标分子属性的分值； 基于所述分子属性预测分值以及所述目标分子标注特征， 通过第 一损失函数确定针对 所述本地模型 的所述第一局部梯度值， 其中， 所述 目标分子标注特征表示针对于所述 目标 分子属性的实际分值。 11.根据权利要求1至9中任一项所述的方法， 其特征在于， 所述根据所述目标分子样本 特征以及所述目标分子标注特 征， 获取针对本地模型的第一局部梯度值， 包括： 基于所述目标分子样本特征， 通过所述本地模型获取所述混合分子样本的分子属性预 测分布， 其中， 所述分子属性预测分布 表示预测 属于每个分子属性的概 率； 基于所述分子属性预测分布以及所述目标分子标注特征， 通过第 二损失函数确定针对 所述本地模型 的所述第一局部梯度值， 其中， 所述 目标分子标注特征表示标注属于所述每 个分子属性的概 率。 12.一种模型训练的方法， 其特 征在于， 包括： 向M个本地设备发送全局模型的模型参数， 以使每个本地设备将所述全局模型的模型 参数作为本地模型 的模型参数， 并根据目标分子样本特征以及目标分子标注特征， 获取针权　利　要　求　书 2/4 页 3 CN 114334036 A 3