(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678804.1 (22)申请日 2022.06.15 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 张文博　吴恒　许源佳　胡艺　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 余长江 (51)Int.Cl. H04L 41/0823(2022.01) H04L 41/0894(2022.01) H04L 41/16(2022.01) H04L 41/08(2022.01) G06F 9/50(2006.01)G06F 16/9535(2019.01) G06N 3/08(2006.01) G06N 7/00(2006.01) (54)发明名称 基于算子特征分析的深度学习应用云配置 推荐方法及系统 (57)摘要 本发明公开了一种基于算子特征分析的深 度学习应用云配置推荐 方法及装置。 所述方法包 括： 获取深度学习应用、 优化目标与结束条件； 计 算所述深度学习应用包含的算子组成； 基于所述 算子组成， 预测所述深度学习应用的 “配置‑性 能”关系， 并结合所述优化目标， 在配置空间中获 取所述深度学习应用的优化配置搜索空间； 在所 述优化配置搜索空间中， 基于所述深度学习应用 的“配置‑性能”关系搜索优化配置， 直至得到的 优化配置使所述深度学习应用的性能满足所述 优化目标或搜索次数达到结束条件。 本发明可以 快速高效的搜索出优化配置， 大幅降低搜索成本 同时保持了 较高的准确率。 权利要求书2页 说明书7页 附图2页 CN 115118592 A 2022.09.27 CN 115118592 A 1.一种基于算子特 征分析的深度学习应用云配置推荐方法， 其 步骤包括： 获取深度学习应用、 优化目标与结束条件； 计算所述深度学习应用包 含的算子组成； 基于所述算子组成， 预测所述深度学习应用的 “配置‑性能”关系， 并结合所述优化目 标， 在配置空间中获取所述深度学习应用的优化配置搜索空间， 其中， 所述配置空间基于影 响深度学习应用性能的配置参数的组合构建； 在所述优化配置搜索空间中， 基于所述深度学习应用的 “配置‑性能”关系搜索优化配 置， 直至得到的优化配置使所述深度学习应用的性能满足所述优化目标或搜索次数达到结 束条件。 2.如权利要求1所述的方法， 其特征在于， 所述计算所述深度学习应用包含的算子组 成， 包括： 将所述深度学习应用转换为深度学习模型通用格式； 基于所述深度学习模型通用格式， 构建所述深度学习应用的计算图， 其中所述计算图 中的节点代 表所述深度学习应用包 含的算子， 边表示 算子的数据依赖关系； 遍历所述计算图， 得到所述 算子种类、 算子属性、 算子参数与输入输出 数据的维度； 根据所述输入输出 数据的维度， 随机生成运行 所述算子的数据； 使用所述数据运行 所述算子， 得到所述 算子的运行时间占比； 基于所述 算子种类、 算子属性、 算子参数及算子的运行时间占比， 得到算子组成。 3.如权利要求2所述的方法， 其特征在于， 所述深度学习模型通用格式包括： 可扩展计 算图模型的定义、 标准数据类型的定义和内置运 算符的定义。 4.如权利要求1所述的方法， 其特征在于， 所述基于所述算子组成， 预测所述深度学习 应用的“配置‑性能”关系， 包括： 对主流深度学习应用的组成算子进行统计， 并结合 运行时间占比阈值， 构建算子集； 获取所述算子集中算子的算子组成， 并在配置空间上对所述算子集中的算子进行性 能 测试， 得到算子的 “配置‑性能”关系； 根据主流深度 学习应用包含的算子， 对所述算子的 “配置‑性能”样本关系进行组合， 得 到所述主流深度学习应用的 “配置‑性能”关系； 基于算子组成、 算子的 “配置‑性能”关系与主流深度学习应用的 “配置‑性能”关系有监 督地训练一神经网络模型， 得到深度学习应用的性能预测模型； 将所述深度学习应用的算子组成与算子的 “配置‑性能”关系输入所述性能预测模型， 得到所述深度学习应用的 “配置‑性能”关系。 5.如权利要求4所述的方法， 其特征在于， 所述算子的 “配置‑性能”关系使用矩阵存储， 其中矩阵中的元 素hij表示算子i在配置j上的性能。 6.如权利要求1所述的方法， 其特征在于， 所述影响深度学习应用性能的配置参数， 包 括： GPU型号、 GPU内存大小、 GPU功率、 CPU 核数和批数据量大小。 7.如权利要求1所述的方法， 其特征在于， 所述在所述优化配置搜索空间中， 基于所述 深度学习应用的 “配置‑性能”关系搜索优化配置， 直至得到的优化配置使所述深度学习应 用的性能满足所述优化目标或搜索次数达 到结束条件， 包括： 基于贝叶斯优化方法， 在所述优化配置搜索空间中， 基于所述深度学习应用的 “配置‑权　利　要　求　书 1/2 页 2 CN 115118592 A 2性能”关系搜索优化配置； 根据所述优化配置， 在公有云上创建实例， 并运行 所述深度学习应用； 基于随机生成的数据， 测试在所述优化配置上所述深度学习应用的性能， 以获取性能 数据； 根据所述性能数据调整所述深度学习应用的 “配置‑性能”关系， 并返回至所述基于贝 叶斯优化方法， 在所述优化配置 搜索空间中， 基于所述深度学习应用的性能搜索优化配置； 直至得到的优化配置使所述深度学习应用的性能满足所述优化目标或搜索次数达到 结束条件。 8.如权利要求1所述的方法， 其特 征在于， 所述 性能数据包括： 每秒处 理的请求数表示。 9.一种基于算子特 征分析的深度学习应用云配置推荐系统， 包括： 获取模块， 用于获取深度学习应用、 优化目标与结束条件； 算子分析模块， 用于计算所述深度学习应用包 含的算子组成； 优化配置分析模型， 用于基于所述算子组成， 预测所述深度学习应用的 “配置‑性能”关 系， 并结合所述优化目标， 在配置空间中获取所述深度学习应用的优化配置搜索空间， 其 中， 所述配置空间基于影响深度学习应用性能的配置参数的组合构建； 优化配置搜索与工作负载执行模块， 用于在所述优化配置搜索空间中， 基于所述深度 学习应用的 “配置‑性能”关系搜索优化配置， 直至得到的优化配置使所述深度学习应用的 性能满足所述优化目标或搜索次数达 到结束条件。 10.如权利要求9所述的系统， 其特 征在于， 还 包括： 可视化交互模块， 用于提供一个界面以进行人机交流， 所示人机交流包括： 用户进行深 度学习应用、 优化目标及结束条件的提交和将满足用户需求的优化配置反馈给用户。权　利　要　求　书 2/2 页 3 CN 115118592 A 3