Мультиагентне керування БПЛА за допомогою глибокого навчання з підкріпленням
DOI:
https://doi.org/10.18372/1990-5548.84.20187Ключові слова:
рій безпілотних літальних апаратів, глибоке навчання з підкріпленням, багатoагентні системи, MADRL, координація дронів, централізоване навчання з децентралізованим виконанням, уникнення перешкодАнотація
У статті представлено нову систему керування групою безпілотних літальних апаратів, що базується на глибокому навчанні з підкріпленням у багатoагентному середовищі (MADRL). Запропонований підхід використовує архітектуру актор–критик, централізоване навчання з децентралізованим виконанням та спільне повторне використання досвіду для забезпечення автономної координації у динамічних середовищах. Результати моделювання підтверджують підвищену точність відстеження, зменшення кількості зіткнень та збільшення ефективності покриття. У дослідженні також проведено порівняння запропонованої системи з базовими методами та окреслено перспективи її впровадження в реальних умовах. Новизна полягає в застосуванні MADRL до задачі безперервного керування безпілотним літальним апаратом в умовах з обмеженим сприйняттям і наявністю перешкод.
Посилання
A. Hussain, H. Khan, S. Nazir, I. Ullah, and T. Hussain, “Taking FANET to Next Level: The Contrast Evaluation of Moth-and-Ant with Bee Ad-hoc Routing Protocols for Flying Ad-hoc Networks,” ADCAIJ: Advances in Distributed Computing and Artificial Intelligence Journal, vol. 10, pp. 321–337, 2022. https://doi.org/10.14201/ADCAIJ2021104321337.
F. L. Lewis, D. Vrabie, and V. L. Syrmos, Optimal Control, Wiley, 2012, 552 p. ttps://doi.org/10.1002/9781118122631
H. X. Pham, H. M. La, D. Feil-Seifer, and A. Nefian, “Cooperative and Distributed Reinforcement Learning of Drones for Field Coverage,” Proc. IEEE Int. Conf. on Robotics and Automation (ICRA), 2018, pp. 1–6. https://doi.org/10.1109/SSRR.2018.8468611
D. D. Fan, E. Theodorou, J. Reeder, “Model-Based Stochastic Search for Large Scale Optimization of Multi-Agent UAV Swarms,” Proc. IEEE Int. Conf. on Robotics and Automation (ICRA), 2018, pp. 1–6. https://doi.org/10.1109/SSCI.2018.8628677
D. Baldazo, J. Parras, and S. Zazo, “Decentralized Multi-Agent Deep Reinforcement Learning in Swarms of Drones for Flood Monitoring,” Proc. of the 27th European Signal Processing Conf. (EUSIPCO), 2019. https://doi.org/10.23919/EUSIPCO.2019.8903067
G. Venturini, F. Mason, F. Pase, A. Testolin, A. Zanella, and M. Zorzi, “Distributed Reinforcement Learning for Flexible and Efficient UAV Swarm Control,” Proc. Cognitive IoT Tech. Conf., 2020, pp. 1–6. https://doi.org/10.1145/3396864.3399701
A. Shamsoshoara, M. Khaledi, F. Afghah, A. Razi, J. Ashdown, “Distributed Cooperative Spectrum Sharing in UAV Networks Using Multi-Agent Reinforcement Learning,” Proc. Int. Conf. on Computing, Networking and Communications (ICNC), 2018, pp. 124–129.
K. Gundy-Burlet, “Neural Flight Control System,” NASA Technical Memorandum, NASA Ames Research Center, 2003, TM-2003-212408.
M. P. Musiyenko and I. M. Zhuravska, “Route Planning Algorithms for UAVs Using Hopfield Neural Networks,” Visnyk Cherkaskoho Derzhavnoho Tekhnolohichnoho Universytetu, no. 1, pp. 20–27, 2016.
N. Thumiger and M. Deghat, “A Multi-Agent Deep Reinforcement Learning Approach for Practical Decentralized UAV Collision Avoidance, IEEE Control Systems Letters, vol. 6, 2021, pp. 1–5. https://doi.org/10.1109/LCSYS.2021.3138941
S. Batra, Z. Huang, A. Petrenko, et al. “Decentralized Control of Quadrotor Swarms with End-to-End Deep Reinforcement Learning, Proc. of the 5th Conf. on Robot Learning (CoRL), 2022, pp. 576–586.
J. Kocic, N. Jovicic, V. Drndarevic, “An End-to-End Deep Neural Network for Autonomous Driving Designed for Embedded Automotive Platforms,” Sensors, vol. 19(2), pp. 1–19. 2019. https://doi.org/10.3390/s19092064
A. Hussain, H. Khan, S. Nazir, I. Ullah, and T. Hussain, “Taking FANET to Next Level: The Contrast Evaluation of Moth-and-Ant with Bee Ad-hoc Routing Protocols for Flying Ad-hoc Networks,” ADCAIJ, vol. 10, pp. 321–337, 2022. https://doi.org/10.14201/ADCAIJ2021104321337
J. Z. Chang, “Training Neural Networks to Pilot Autonomous Vehicles: Scaled Self-Driving Car,” Senior Projects Spring, no. 402, 2018.
A. A. Khalil, A. J. Byrne, M. A. Rahman, end M. H. Manshaei, “Efficient UAV Trajectory-Planning Using Economic Reinforcement Learning,” Proc. Int. Conf. on Advanced Information Networking and Applications (AINA), 2020, pp. 233–243.
L. Bellone, B. Galkin, E. Traversi, end E. Natalizio, “Deep Reinforcement Learning for Combined Coverage and Resource Allocation in UAV-aided RAN-slicing,” IEEE Trans. on Mobile Computing, 2022, pp. 1–10. https://doi.org/10.1109/DCOSS-IoT58021.2023.00106
Sarder Fakhrul Abedin, Md. Shirajum Munir, Nguyen H. Tran, Zhu Han, and Choong Seon Hong, “Data Freshness and Energy-Efficient UAV Navigation Optimization: A Deep Reinforcement Learning Approach,” IEEE Internet of Things Journal, vol. 8(6), pp. 4514–4529. 2021. https://doi.org/10.48550/arXiv.2003.04816
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Науковий журнал "Електроніка та системи управління" дотримується принципів відкритого доступу (Open Access) та забезпечує вільний, негайний і постійний доступ до всіх опублікованих матеріалів без фінансових, технічних або юридичних обмежень для читачів.
Усі статті публікуються у відкритому доступі відповідно до ліцензії Creative Commons Attribution 4.0 International (CC BY 4.0).
Авторські права
Автори, які публікують свої роботи в журналі ""Електроніка та системи управління":
-
зберігають за собою авторські права на свої публікації;
-
надають журналу право на перше опублікування статті;
-
погоджуються на поширення матеріалів за ліцензією CC BY 4.0;
-
мають право повторно використовувати, архівувати та поширювати свої роботи (у тому числі в інституційних та тематичних репозитаріях) за умови посилання на первинну публікацію в журналі.
