(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210740995.X (22)申请日 2022.06.27 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 赵蓉　马松辰　张伟豪　施路平　 曲环宇　裴京　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/063(2006.01) G06F 9/50(2006.01) (54)发明名称 神经网络任务处理方法、 装置、 电子设备以 及存储介质 (57)摘要 本公开涉及一种神经网络任务处理方法、 装 置、 电子设备 以及存储介质， 用于在接收到多个 神经网络任务的情况下， 对电子设备中包括的多 个计算核进行分组， 得到分别用于执行每个神经 网络任务的计算核组， 并确定每个神经网络任务 对应的运行周期。 通过每个计算核组根据对应的 运行周期分别执行神经网络任务。 其中， 计算核 组在一个运行周期内进行至少一次数据交换， 每 个计算核组中存在至少两个数据交换时刻保持 同步的计算核。 本公开通过不同的计算核组对不 同任务进行异步处理， 为每个任务开辟独立了运 行环境， 降低了任务间切换带来的延迟和不必要 的等待。 同时， 通过在计算核组内设置数据交换 时刻同步的计算核使计算时序更加紧凑， 降低 延 迟并节约资源。 权利要求书1页 说明书11页 附图5页 CN 115099391 A 2022.09.23 CN 115099391 A 1.一种神经网络任务处理方法， 用于包括多个计算核的电子设备， 其特征在于， 所述方 法包括： 响应于接收到多个神经网络任务， 对所述电子设备的多个计算核进行分组， 得到分别 用于执行每个所述神经网络任务的计算核组； 确定每个所述神经网络任务对应的运行周期； 通过每个所述计算核组根据对应的运行周期分别执 行神经网络任务； 其中， 所述计算核组在一个所述运行周期内进行至少一次数据交换， 所述计算核组中 至少两个 计算核完成数据交换的数据交换时刻保持同步。 2.根据权利要求1所述的方法， 其特征在于， 所述通过每个所述计算核组根据对应的运 行周期执 行神经网络任务， 包括： 对于每个所述计算核组， 根据计算核的计算 量进行分组， 得到 至少一个 计算核子组； 通过每个所述计算核组根据对应的运行周期执行神经网络任务， 在每个所述运行周期 内， 相同计算核子组中的计算核的数据交换时刻保持同步。 3.根据权利要求2所述的方法， 其特征在于， 不同计算核组中之间的数据交换， 和/或同 一计算核组中不同计算核子组之间的数据交换基于预设的异步 通信机制实现。 4.根据权利要求3所述的方法， 其特 征在于， 所述异步 通信机制包括握 手机制。 5.根据权利要求1 ‑4中任意一项所述的方法， 其特征在于， 所述神经网络任务对应的神 经网络包括脉冲神经网络和/或人工神经网络 。 6.根据权利要求1 ‑5中任意一项所述的方法， 其特征在于， 每个所述计算核在两个相邻 的所述数据交换时刻期间完成数据计算和数据计算结果的通信。 7.根据权利要求1 ‑6中任意一项所述的方法， 其特征在于， 所述确定每个所述神经网络 任务对应的运行周期， 包括： 获取用户上传的与每 个所述神经网络任务对应的运行周期。 8.一种神经网络任务处理装置， 用于包括多个计算核的电子设备， 其特征在于， 所述装 置包括： 分组模块， 用于响应于接收到多个神经网络任务， 对所述电子设备的多个计算核进行 分组， 得到分别用于执 行每个所述神经网络任务的计算核组； 周期确定模块， 用于确定每 个所述神经网络任务对应的运行周期； 任务执行模块， 用于通过每 个所述计算核组根据对应的运行周期执 行神经网络任务； 其中， 所述计算核组在一个所述运行周期内进行至少一次数据交换， 所述计算核组中 至少两个 计算核完成数据交换的数据交换时刻保持同步。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为在执行所述存储器存储的指令时， 实现权利要求1至7中任 意一项所述的方法。 10.一种非易失性计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所 述计算机程序指令被处 理器执行时实现权利要求1至7中任意 一项所述的方法。权　利　要　求　书 1/1 页 2 CN 115099391 A 2神经网络任务处理 方法、 装置、 电子设备以及存 储介质 技术领域 [0001]本公开涉及计算机技术领域， 尤其涉及一种神经网络任务处理方法、 装置、 电子设 备以及存 储介质。 背景技术 [0002]随着人工智能深度学习的迅速发展， 无论是学术还是工业界都涌现出了非常多的 面向神经网络的专用处理器。 但是 由于深度学习神经网络需要的算力较大， 针对每个任务 都是神经网络的多任务处理对硬件及搭建的并行计算系统要求较高， 采用众核硬件系统进 行多个神经网络任务的处理是非常有 前景的方案。 但目前众核硬件系统在进 行多个神经网 络任务的处 理过程中因强制同步以及串行 执行等执行方式导致资源利用率差， 吞吐量小。 发明内容 [0003]有鉴于此， 本 公开提出了一种神经网络任务处理方法、 装置、 电子设备以及存储介 质， 旨在提高多个神经网络任务处 理时的资源利用率以及吞吐量。 [0004]根据本公开的第一方面， 提供了一种神经网络任务处理方法， 用于包括多个计算 核的电子设备， 包括： [0005]响应于接收到多个神经网络任务， 对所述电子设备的多个计算核进行分组， 得到 分别用于执 行每个所述神经网络任务的计算核组； [0006]确定每个所述神经网络任务对应的运行周期； [0007]通过每个所述计算核组根据对应的运行周期分别执 行神经网络任务； [0008]其中， 所述计算核组在一个所述运行周期内进行至少一次数据交换， 所述计算核 组中至少两个 计算核完成数据交换的数据交换时刻保持同步。 [0009]在一种可能的实现方式中， 所述通过每个所述计算核组根据对应的运行周期执行 神经网络任务， 包括： [0010]对于每个所述计算核组， 根据计算核的计算量进行分组， 得到至少一个计算核子 组； [0011]通过每个所述计算核组根据对应的运行周期执行神经网络任务， 在每个所述运行 周期内， 相同计算核子组中的计算核的数据交换时刻保持同步。 [0012]在一种可能的实现方式中， 不同计算核组中之间的数据交换， 和/或同一计算核组 中不同计算核子组之间的数据交换基于预设的异步 通信机制实现。 [0013]在一种可能的实现方式 中， 所述异步 通信机制包括握 手机制。 [0014]在一种可能的实现方式中， 所述神经网络任务对应的神经网络包括脉冲神经网络 和/或人工神经网络 。 [0015]在一种可能的实现方式中， 每个所述计算核在两个相邻的所述数据交换时刻期间 完成数据计算和数据计算结果的通信。 [0016]在一种可能的实现方式中， 所述确定每个所述神经网络任务对应的运行周期， 包说　明　书 1/11 页 3 CN 115099391 A 3