(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111389374.3 (22)申请日 2021.11.22 (71)申请人 厦门深度赋智科技有限公司 地址 361000 福建省厦门市软件园三期诚 毅北大街50号404室A005 (72)发明人 沈楚城　王金淋　吴承霖　 (74)专利代理 机构 北京知果之信知识产权代理 有限公司 1 1541 代理人 高科 (51)Int.Cl. G06F 8/35(2018.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种自动化 生成AI训练代码的方法 (57)摘要 本发明公开了一种自动化生成AI训练代码 的方法， 涉及AI技术领域， S1： 输入搜索空间值， S2： 主函数模板解析， S3： 搜索控制值是否有效， S4： 生产配置文件、 依赖文件， S5： 代码有效性检 测， S6： 生成AI训练代码， 通过自动化生成AI训练 代码， 能够节省开发人员大量时间， 提高开发效 率， 减少手动创建代码出错概率， 降低AI训练的 学习成本， 减小训练代码冗余程度， 为实现自动 化训练提供支撑， 同时标准化训练代码输出， 可 实现对训练代码的统一修改、 注入、 支持自定义 配置等， 减少无关的模型代码， 从一定程度上保 护了模型代码文 件。 权利要求书1页 说明书5页 附图2页 CN 114153447 A 2022.03.08 CN 114153447 A 1.一种自动化 生成AI训练代码的方法， 其特 征在于： 包括以下步骤： S1： 输入搜索空间值， 用户输入搜索空间值， 初步验证搜索空间值有效性， 匹配对应主 函数模板； S2： 主函数模板解析， 加载主函数模板文件， 解析配置函数的实现， 将用户输入的搜索 空间值， 通过模拟解析配置函数运行， 解析出对应的基础配置， 基础配置信息， 包含算子库 组件清单和预置参数信息； S3： 搜索控制值是否有效， 根据基础配置参数获取到的算子组件清单， 首先， 验证清单 的算子是否存在及是否满足可拔插要求， 若配置参数满足需求， 则加载算子库文件， 保留清 单包含的算子文件， 将其他无关文件删除， 然后根据保留的代码文件， 生成对应的第三方库 依赖， 初始 化基础代码仓库文件； 根据基础配置参数的预置参数信息， 反推生成该搜索空间 对应的配置参数函数， 该函数不含搜索空间入参； S4： 生产配置文件、 依赖文件， 基于主函数模板文件， 组合基础配置参数、 配置组件清单 生成训练流程的入口函数， 导入组件清单依赖， 整合配置参数函数与入口函数， 初步输出训 练代码； S5： 代码有效性检测， 检验代码是否有效， 若有效进行继续进行步骤6； 若无效， 分析判 断错误原因， 若错 误原因不在预定义的范围则退 出； S6： 生成AI训练代码， 输出训练代码文件， 包 含依赖包， AI训练代码入口文件。 2.根据权利要求1所述的一种自动化生成AI训练代码的方法， 其特征在于： S3中算子库 通过python类文件动态注册的方式实现可拔插， 实现方法为每种类型的算子创建一个注册 空间， 将所有该类型 的算子都主动注册到对应的空间中， 并且可以通过算子名称从对应的 注册空间获取到对应的类。 3.根据权利要求2所述的一种自动化生成AI训练代码的方法， 其特征在于： 算子之间是 相互独立的， 每 个算子都应能在特定情形 下被注销， 算子注销不影响其 他任何模块的使用。 4.根据权利要求3所述的一种自动化生成AI训练代码的方法， 其特征在于： 训练模板要 能够在包含所有算子库的环境下， 通过运行测试， 实现最基本的训练任务， 主函数入口文件 定义了配置参数函数， 配置参数函数可根据搜索空间， 生成所需训练所需的算子组件清单 以及入参 规则， 同时需要定义训练流 程函数， 包含数据集输入、 处 理流程、 输出指标等。 5.根据权利要求1所述的一种自动化生成AI训练代码的方法， 其特征在于： S5中错误原 因包括以下两点： 1)模板问题： 继续匹配模板， 若 有模板匹配， 则更 换模板后重试步骤1， 否则退 出； 2)配置参数函数错误： 是否预定义错误， 若是根据预定义方法修改， 修改后 重试步骤3， 否则退出。 6.根据权利要求1所述的一种自动化生成AI训练代码的方法， 其特征在于： S2中预置参 数是指不由搜索空间值决定的变量 值， 例如数据集 来源、 指标输出配置信息等。 7.根据权利要求1所述的一种自动化生成AI训练代码的方法， 其特征在于： S6中， 当生 成AI训练代码时， 则会进行输出提 示。权　利　要　求　书 1/1 页 2 CN 114153447 A 2一种自动化生成 AI训练代码的方 法 技术领域 [0001]本发明涉及AI 技术领域， 具体为 一种自动化 生成AI训练代码的方法。 背景技术 [0002]深度学习可以自动学习出有用的特征， 脱离了对特征工程的依赖， 在图像、 语音等 任务上取得了超越其他算法的结果。 这种成功很大程度上得益于新神经网络结构的出现， 如ResNet、 Inception、 DenseNet等。 但设计出高性能的神经网络需要大量的专业知识与反 复试验， 成本极高， 限制了神经网络在很多问题上的应用。 神经结构搜索(Neural   Architecture  Search， 简称NAS)是一种自动设计神经网络的技术， 可以通过算法根据样本 集自动设计出高性能的网络结构， 在某些任务上甚至可以媲美人类专家的水准， 甚至发现 某些人类之前 未曾提出的网络结构， 这可以有效的降低神经网络的实现和使用成本 。 [0003]NAS的原理是给定一个称为搜索空间的候选神经网络结构集合， 用某种策略从中 搜索出最优网络结构 。 神经网络结构的优劣即性能用某些指标如精度、 速度来度量， 称为性 能评估。 在搜索过程的每次迭代中， 从搜索空间产生 “样本”即得到一个神经网络结构， 称为 “子网络”。 在训练样本集上训练子网络， 然后在验证集上评估其性能。 逐步优化网络结构， 直至找到最优的子网络 。 [0004]搜索空间， 搜索策略， 性能评估策略是NAS算法的核心要素。 搜索空间定义了可以 搜索的神经网络结构的集合， 即解的空间。 搜索策略定义了如何在搜索空间中寻找最优网 络结构。 性能评估策略定义了如何评估搜索出的网络结构的性能。 [0005]在给定搜索空间里面求解最优网络结构的过程， 例如， 寻找模型的最佳超参组合， 或最好的神经网络架构等， 称为Experiment， 即一次实验， 它由Trial和自动机器学习算法 所组成。 Trial， 即试验， 是一次独立的尝试， 它会使用某组配置(例如， 一组超参值， 或者特 定的神经网络架构)， 一次实验往往包含了多 次Trial。 机器学习算法一般需要包含骨干网 络、 优化器、 损失函数、 数据增强算法等在内的各自算子集 合。 [0006]传统AI训练代码实现方式通常需要AI工程师通过定义搜索空间、 实现模型代码， 然后才能进行实验。 整个过程需要工程师对代码有较深刻的理解， 比较依赖工程师 的开发 水平， 这种模式下开发的代码， 可移植性不强， 要应用到新的相似应用场景时， 往往需要修 改大部分的代码进行适配。 这个过程比较繁琐， 极费时间， 效率相对低下， 甚至实现过程容 易出现人工失误， 导致实验失败， 事实上， Experiment的流程相对固定， 骨干网络、 优化器、 损失函数、 数据增强等算法实现也可以复用， 需要的是在具体的应用场景下， 进行重新组 合， 最大程度的复用训练代码。 为 实现这一目的， 一些解决方案是通过将所有模 型文件一次 性加载到程序中， 然后训练主函数入口根据搜索空间的需求， 使用对应的模型进 行训练。 但 是， 该方法的缺点也是很明显， 一次性加载所有模 型， 将会导致代码文件臃肿， 依赖多， 随着 模型种类的不断增加， 这个问题愈加明显， 另外， 如果一次Exper iment就需要包含 所有模型 代码文件， 这将非常不利于模型代码的保护。 [0007]针对以上问题， 提出了一种自动化 生成AI训练代码的方法。说　明　书 1/5 页 3 CN 114153447 A 3