(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624096.3 (22)申请日 2022.06.02 (71)申请人 深圳市芯中芯科技有限公司 地址 518000 广东省深圳市宝安区新 桥街 道上寮社区南浦路293号东环工业区 A1栋一层、 二层、 三层 (72)发明人 鲁霖　鲁鹏飞　莫木新　 (74)专利代理 机构 北京鹏帆慧博知识产权代理 有限公司 1 1903 专利代理师 祝辽原 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 基于深度强化学习的无人机辅助移动边缘 计算优化方法 (57)摘要 本发明提供了一种基于深度强化学习的无 人机辅助移动边缘计算优化方法， 构造了考虑地 面障碍物的多无人机辅助 移动边缘计算模型， 计 算无人机和用户的总能耗， 并且考虑了障碍物导 致的风险， 将风险数字化为风险系数， 目标函数 为系统总能耗与风险系数之和； 以最小化系统总 能耗与风险系数之和为目的， 建立深度强化学习 模型； 使用DDPG算法联合优化卸载决策与无人机 轨迹； 在有效避开地面障碍物并保证用户服务质 量的同时， 最小化无 人机和用户设备总能耗。 权利要求书4页 说明书9页 附图2页 CN 114896072 A 2022.08.12 CN 114896072 A 1.基于深度强化学习的无人机辅助移动边缘计算优化方法， 其特征在于： 包括以下步 骤： S1： 构造考虑地面障碍物 的多无人机辅助移动边缘计算模型， 无人机作为空中边缘计 算服务器， 为地面的移动用户设备提供服 务； S2： 根据S1模型计算系统总能耗， 并考虑无 人机避障问题， 计算出目标函数； S3： 以最小化目标函数为目标， 建立深度强化学习模型； S4： 使用深度强化学习算法联合优化卸载决策和无 人机轨迹。 2.根据权利要求1所述的基于深度强化学习的无人机辅助移动边缘计算优化方法， 其 特征在于： 在S1中， 构造考虑地 面障碍物的多无 人机辅助移动边 缘计算模型 具体为： 在系统模型中， 设定在一边长为lmax的方形区域上随机分布着N个用户设备， 用户设备 集记作 在该方形区域上空有M 个无人机以高度H飞行， 为 地面设备提供 服 务 ，无 人 机 集 记 作 任 务 周 期 为 T 个 连 续 的 时 隙 ， 每个时隙的持续时间为Δ； 设定每个用户设备在每个时隙都会产生一个需要执行的任务， 采用二元卸载方式定义 一个卸载决策变量zn， m， t＝{0， 1}； 当zn， m， t＝1， m≠0时， 表示在t时隙， 用户n将任务卸载到无 人机m； 当zn， m， t＝1， m＝0时， 表示在t时隙， 用户n在本地执行计算； 当zn， m， t＝0时， 表示其他 情况； 由于任务只能在一个地方 执行， 所以有 设定用户n在时隙t有一个任务Sn， t需要执行， 则 其中Dn， t代表需要处理的数据量， Fn， t代表执行此任务所需要的CPU周期数， Tmax表示用户设 备最大容忍执 行时间； 当时隙的持续时间Δ足够小时， 在时隙内无人机的位置看作不变； 设定在时隙t中， 每 个无人机都沿着方向αm， t∈[0， 2 π )前进dm， t∈[0， dmax]距离； 则在时隙t时， 无人机m的位置为 其中， 0≤Xm， t≤lmax， 0≤Ym， t≤lmax， 在时隙t时， 无人机m和无人机 UAVm’之间的距离为： 为了防止碰撞以及相互干 扰， 无人机和无人机之间设定最小距离Ru， 则有： Rm， m′， t≥Ru； 在时隙t时， 用户设备n和无人机 之间的距离为： 设定无人机有 固定的覆盖范 围， 只 有当用户在无 人机覆盖范围之内时， 用户才能向无 人机卸载 数据， 则有： zn， m， tRn， m， t≤Rmax； 设定在该方形区域上存在着I个障碍物， 记作 障碍物i的中心位置 为： 为了防止无人机撞到这些障碍物， 设定一个风险系数 该风险系数表示权　利　要　求　书 1/4 页 2 CN 114896072 A 2在t时隙， 障碍物i对无人机m存在的风险； 设定所有障碍物的风险系数都符合高斯分布， 但 是 不 同 的 障 碍 物 拥 有 不 同 的 变 量σi，则 得 到 其 中 3.根据权利要求1所述的基于深度强化学习的无人机辅助移动边缘计算优化方法， 其 特征在于： 在S2中， 计算系统总能耗以及目标函数 具体为： 在t时隙中， 无人机m的飞行能耗为： 其中 表示无人机m在t时 隙内的飞行速度， G是无人机的质量； 则在t时隙， 所有无人机的飞行能耗为： 在t时隙中， 当用户设备n决定将任务卸载至无人机m执行时， 用户设备和无人机之间的 信道增益为： 其中β0表示参考距离d0＝1m时的信道增益； 用户设备的 卸载速率为： 其中， B是带宽， Pn是用户设备卸载任务的传输 功率， σ2是无人机的噪声功率； 卸载时间为： 用户设备n产生的卸载能量为： 则在t时隙， 所有用户产生的卸载能耗 为： 在t时隙中， 当用户设备n决定本地执行任务时， 用户设备n所产生的本地计算能耗为： 其中， 代表计算任务所需时间， fn， 0， t代表用户设备n 的CPU频率， kn是与处理器芯片有关的正系数； 则在t时隙， 所有用户设备的本地计算能耗 为： 在t时隙中， 当用户设备n将任务卸载至无人机m时， 无人机m产生的计算能耗为： 其中， 代表计算任务所需的时间， fn， m， t代表在t时隙 无人机m分配给来自用户设备n 的任务的CPU频率， km是与处理器芯片有关的正系数。 在t时权　利　要　求　书 2/4 页 3 CN 114896072 A 3