| 904 | 6 | 600 |
| 下载次数 | 被引频次 | 阅读次数 |
无人机(Unmanned Aerial Vehicle, UAV)集群通信与网络亟需解决频谱效率、可靠性、低时延等一系列基础问题，应用深度强化学习(Deep Reinforcement Learning, DRL)来优化UAV集群通信网络是目前较好的解决方法。面向UAV集群通信与网络中的资源优化调度问题，进行了较为全面的调研，归纳总结了通信与网络领域采用DRL方法进行资源优化调度的研究成果，对未来的技术发展进行了展望。
Abstract：There are a series of basic problems such as spectral efficiency, reliability and low latency need to be solved urgently for Unmanned Aerial Vehicle(UAV) cluster communication and network. It is a good solution at present to use Deep Reinforcement Learning(DRL) for optimization of UAV cluster communication network. A comprehensive investigation is conducted on optimized scheduling of resources in UAV cluster communication and network. The research results of using DRL method for optimized scheduling of resources in communication and network are summarized, and the future development of the technology is prospected.
[1] 李波，黄晶益，万开方，等.基于深度强化学习的无人机系统应用研究综述[J].战术导弹技术，2023(1):58-68.
[2] 李成凤，刘胜军，张弘强，等.通信时延下无人机群集系统分群控制算法[J].无线电工程，2022,52(4):536-543.
[3] LIAO Y,GAO G,JING Y H.Ultra-reliable Intelligent Link Scheduling Based on DRL for Manned/Unmanned Aerial Vehicle Cooperative Scenarios[J].Physical Communication,2024,63:102304.
[4] 贾维敏，杨龑，赵建伟，等.无人机蜂群通信感知一体化关键技术[J].国防科技，2023,44(3):88-95.
[5] 张届飞.无人机通信网络及资源优化技术[J].通信电源技术，2023,40(4):116-118.
[6] 田畅，贾倩，陈润丰，等.无人机集群网络资源优化综述[J].数据采集与处理，2023,38(3):506-524.
[7] 曹志波.警用无人机集群指挥网络的构建与应用[J].中国人民警察大学学报，2023,39(8):26-32.
[8] 郑迪，谢亚琴，谷天园.基于无人机5G高空基站的低成本应急定位方法[J].无线电工程，2023,53(11):2607-2618.
[9] 马捷，李雅.人工智能在无人机领域的应用[J].无线电工程，2024,54(3):759-764.
[10] 孙卉，赵睿，游亚璇，等.保障无人机安全通信的自主飞行3D路径规划[J].信号处理，2022,38(5):1027-1036.
[11] 周世阳，程郁凡，徐丰，等.基于深度强化学习的无人机间通信链路智能决策[J].信号处理，2022,38(7):1424-1433.
[12] YANG X C,QIN D Y,LIU J P,et al.Deep Reinforcement Learning in NOMA-assisted UAV Networks for Path Selection and Resource Offloading[J].Ad Hoc Networks,2023,151(4):103285.
[13] 邓丹昊，王朝炜，江帆，等.无人机辅助无蜂窝大规模MIMO中的空地协同调度[J].电信科学，2022,38(8):37-44.
[14] 罗佳，陈前斌，唐伦，等.考虑能耗中断的无人机通信中基于深度强化学习的资源管理[J].电子与信息学报，2023,45(8):2885-2892.
[15] LIN Y,WANG M Y,ZHOU X L,et al.Dynamic Spectrum Interaction of UAV Flight Formation Communication with Priority:A Deep Reinforcement Learning Approach[J].IEEE Transactions on Cognitive Communications and Networking,2020,6(3):892-903.
[16] 周永涛，刘唐，彭舰.无人机空中基站的路径规划研究[J].重庆理工大学学报(自然科学版),2022,36(10):166-175.
[17] 张惠婷，张然，刘敏提，等.基于深度强化学习的无人机通信抗干扰算法[J].兵器装备工程学报，2022,43(10):27-34.
[18] KARMAKAR P,SHAH V K,ROY S,et al.Reliable Backhauling in Aerial Communication Networks Against UAV Failures:A Deep Reinforcement Learning Approach[J].IEEE Transactions on Network and Service Management,2022,19(3):2798-2811.
[19] 李健，翟亚红，徐龙艳.基于深度强化学习的无人机通信速率优化[J].湖北汽车工业学院学报，2023,37(3):58-62.
[20] 胡浪涛，毕松姣，刘全金，等.基于强化学习的智能超表面辅助无人机通信系统物理层安全算法[J].电子与信息学报，2022,44(7):2407-2415.
[21] DING R J,GAO F F,SHEN X S.3D UAV Trajectory Design and Frequency Band Allocation for Energy-efficient and Fair Communication:A Deep Reinforcement Learning Approach[J].IEEE Transactions on Wireless Communications,2022,19(12):7796-7809.
[22] LIU C H,CHEN Z Y,TANG J,et al.Energy-efficient UAV Control for Effective and Fair Communication Coverage:A Deep Reinforcement Learning Approach[J].IEEE Journal on Selected Areas in Communications,2018,36(9):2059-2070.
[23] WANG C W,DENG D H,XU L X,et al.Resource Sche-duling Based on Deep Reinforcement Learning in UAV Assisted Emergency Communication Networks[J].IEEE Transactions on Communications,2022,70(6):3834-3848.
[24] 付振江，罗俊松，宁进，等.无人机集群通信的应用现状及展望[J].无线电工程，2023,53(1):3-10.
[25] 董方昊，冯有前，尹忠海，等.具有精英策略的深度强化学习无人机集群通信网络拓扑设计[J].空军工程大学学报(自然科学版),2019,20(4):52-58.
[26] 王朝炜，邓丹昊，王卫东，等.无蜂窝大规模MIMO中基于深度强化学习的无人机辅助通信与资源调度[J].电子与信息学报，2022,44(3):835-843.
[27] 张广驰，何梓楠，崔苗.基于深度强化学习的无人机辅助移动边缘计算系统能耗优化[J].电子与信息学报，2023,45(5):1635-1643.
[28] 陈剑，杨青青，彭艺.基于MADDPG的无人机辅助通信功率分配算法[J].光电子·激光，2023,34(3):306-313.
[29] 唐伦，李质萱，蒲昊，等.基于多智能体深度强化学习的无人机动态预部署策略[J].电子与信息学报，2023,45(6):2007-2015.
[30] 李斌，彭思聪，费泽松.基于边缘计算的无人机通感融合网络波束成形与资源优化[J].通信学报，2023,44(9):228-237.
[31] 李斌.基于多智能体强化学习的多无人机边缘计算任务卸载[J].无线电工程，2023,53(12):2731-2740.
[32] 唐峯竹，唐欣，李春海，等.基于深度强化学习的多无人机任务动态分配[J].广西师范大学学报(自然科学版),2021,39(6):63-71.
[33] 郭永安，王宇翱，周沂，等.边缘网络下多无人机协同计算和资源分配联合优化策略[J].南京航空航天大学学报，2023,55(5):757-767.
[34] 徐思雅，邢逸斐，郭少勇，等.基于深度强化学习的能源互联网智能巡检任务分配机制[J].通信学报，2021,42(5):191-204.
[35] 文永明，石晓荣，黄雪梅，等.一种无人机集群对抗多耦合任务智能决策方法[J].宇航学报，2021,42(4):504-512.
[36] QI H,HU Z Q,HUANG H,et al.Energy Efficient 3-D UAV Control for Persistent Communication Service and Fairness:A Deep Reinforcement Learning Approach[J].IEEE Access,2020,8:53172-53184.
[37] 赵晓荣.基于深度强化学习的异构网络资源分配[D].济南：山东大学，2023.
[38] BI S Z,HUANG L,WANG H,et al.Lyapunov-guided Deep Reinforcement Learning for Stable Online Computation Offloading in Mobile-edge Computing Networks[J].IEEE Transactions on Wireless Communications,2021,20(11):7519-7537.
[39] 孙恩昌，袁永仪，吴兵，等.深度强化学习与移动通信资源管理：算法、进展与展望[J].北京工业大学学报，2023,49(1):71-88.
[40] 陈佳馨，方韬，方峰，等.无人机群通信网络中博弈论综述[J].指挥信息系统与技术，2023,14(3):39-45.
[41] 吴义豪，齐彦丽，周一青，等.通感算协同的无人机群轨迹规划与功率分配[J].西安电子科技大学学报(自然科学版),2023,50(3):61-74.
[42] 刘昊洋，杨金松，孙三山，等.MEC中RIS辅助的无人机轨迹和计算策略联合优化[J].无线电工程，2023,53(1):18-25.
[43] 李斌，杨蓉蓉.无人机辅助反向散射通信计算任务卸载与资源分配[J].电子与信息学报，2023,45(7):2334-2341.
基本信息:
中图分类号:V279;TP18;TN929.5
引用信息:
[1]王庆,孙玮,张程程,等.基于深度强化学习的无人机集群通信与网络资源优化调度[J].无线电工程,2024,54(12):2942-2949.
基金信息:
杭州长望智创科技有限公司科技项目(HCZC-20231122)~~