(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111501962.1 (22)申请日 2021.12.09 (71)申请人 天翼电子商务有限公司 地址 102200 北京市昌平区未来科技城南 区中国电信集团公司院内 (72)发明人 方徐伟　谢巍盛　李慧　 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06N 3/04(2006.01) (54)发明名称 一种基于可微分网络架构搜索的任务分配 最优化方法 (57)摘要 本发明公开了一种基于可微分网络架构搜 索的任务 分配最优化方法， 包括以下步骤： 一、 任 务拆分与组合； 二、 构建搜索空间和架构参数； 三、 可微分设计； 四、 模型的计算和loss， 任务的 优化， 需要考虑三个方面， 第一， 任务收益最大 化， 第二， 任务人力最小化， 第三， 任务资源最小 化。 本发明可通过可微分的方式以及多任务训 练， 对可拆分任务， 可以达到 人员分配， 资源分配 和收益最大化的一个最优衡量。 权利要求书2页 说明书5页 附图1页 CN 114386665 A 2022.04.22 CN 114386665 A 1.一种基于可微分网络架构搜索的任务分配最优化方法， 其特 征在于， 包括以下步骤： 一、 任务拆分与组合： 这里可实现的前提是任务可以被拆分成N个互不影响的子任务， 具体的拆分方式根据 实际任务的不同可定制不同拆分规则， 由于任务离散化， 所以可以将任务看成神经网络的 一层， 将子任务 堆叠起来； 二、 构建搜索空间和架构参数 这里假设每个子任务分配人数从1开始， 不断递增 1， 最大为4人， 这样设置一般可以满 足大部分任务， 这里用向量表示记为： a＝[a1， a2， a3， a4]； 为a分配同纬度的资源记为： b ＝ [b1， b2， b3， b4]， 则分配给a1个人， b1资源的收益可记为 那么关于收益向量可以记为： 构建好这些评估向量后， 于是可以为评估向量设计同纬度的架构参 数， 记为 三、 可微分 设计 由于这里的架构参数是离散化的， 所以不能进行微分操作， 于是借鉴了一个离散化转 可微分的一个常用方式Gumbel ‑Softmax Trick， 通过引入了Gumbel分布和so ftmax将网络 架构参数进 行重参数化， 使得可以随着网络可微分； 值得一提的是， 加入了一种新的任务经 验的先验样本分布， 使得重参数初始化更好， 具体的操作方式如下： Stepl： 通过网络输出值， 假设为n维的向量a， 生成一个和a同维度的独立样本[b1， b2…， bn]， 这里的样本分布是根据往年类似 任务经验总结的； Step2： 通过公式 ‑log(‑log(bi))计算得到 ci； Step3： 对应相加得到新向量a＝[a1+c1， ...， an+cn]； Step4： 通过softmax公式计算得到最终结果， softmax公式如公式2所示： 其中τ代表温度， 这里的值随着训练的epoch数增加而减小； 通过上述方式， 可以将离散 的分布重参数化为可微分的形式； 加入往年先验的任务分布， 使 得重参数初始 化值更好； 有 利于网络优化； 为了进一 步提升效果， 改进了原 始softmax的微分选择操做作； 原始的op计算为每个op互斥， 因为softmax的特性， 只能允许一个值变大其余值变小； 这样对于梯度下降过程中对于梯度容易下降的op来说， 过于容易占主导作用， 这样就会引 起不公平的竞争； 于是提出一种新型的op组合方式来消除这种不公平竞争； 为了解决间不公开竞争的问题， 提出了一种新型的构建方式， 为每个op新加入两个辅 助性op， 0和1， 0代表的是输入不可通过， 而1代表的是输入可通过； 于是对0和1这两个op做 softmax， 对于每个op来说， 其α 值都可以趋向于1， 这样使 得每个op都能独立开来， 消除了不 公平竞争， 而且这样设计也增强了可解释性， 因为对于每个op来说， 如果其op的α 值趋向于权　利　要　求　书 1/2 页 2 CN 114386665 A 21， 则说明网络需要该op的输入， 也 就说明该op重要； 四、 模型的计算和l oss： 任务的优化， 需要考虑三个方面， 第一， 任务收益最大化， 第二， 任务人力最小化， 第三， 任务资源最小化， 于是l oss设计如下： Ltotal＝Lincome+ μ1·Lpeople+ μ2·Lresource   公式1 这里 μ1， μ2代表loss的权重； 这里 代表第i层第j个op的架构 参数， L代表网络L层， 即拆分成L个子任务； N代表中op 的类型， 即子任务中的预定义的可能种类， a， b， c分别代表所需人数， 所需资源， 收益的 embedding向量。权　利　要　求　书 2/2 页 3 CN 114386665 A 3