vetpressАграрная наукаAgrarian science0869-81552686-701XРедакция журнала "Аграрная наука"10.32634/0869-8155-2024-379-2-107-112vetpress-2947Research ArticleАГРОИНЖЕНЕРИЯ И ПИЩЕВЫЕ ТЕХНОЛОГИИAGROENGINEERING AND FOOD TECHNOLOGIESРазработка программного обеспечения для бесконтактного управления БПЛАDevelopment of software for contactless control of UAVshttps://orcid.org/0000-0002-8641-0662ФедоровД. Е.FedorovD. E.

Дмитрий Евгеньевич Федоров – кандидат технических наук 

ул. Марковцева, 5, Кемерово, 650056

Dmitriy Evgenievich Fedorov – Candidate of Technical Sciences 

5 Markovtsev Str., Kemerovo, 650056

fedorov_de@inbox.ruКузбасский государственный аграрный университет им. В.Н. ПолецковаРоссияKuzbass State Agrarian University named after V.N. PoletskovRussian Federation20242002202402107112Copyright © Федоров Д.Е., 20242024Федоров Д.Е.Fedorov D.E.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vetpress.ru/jour/article/view/2947

Статья посвящена разработке программы для бесконтактного управления БПЛА с помощью нейросети, которая отслеживает положение объекта. Для этих целей была обучена соответствующая модель на нейросети ultralytics YOLOv8. Приведены графики обучения данной модели, демонстрирующие изменение величины функции потерь по ограничивающей рамке и классу, а также величины метрики mAP50-95. Обучение завершилось при значении метрики mAP50-95 0,855. Разработано программное обеспечение для управления БПЛА с помощью движений руки, приведены ее блок-схема и описание. Программа считывает координаты руки в каждом кадре, рассчитывает ее площадь, производит оценку полученных данных и отправляет управляющие команды на коптер, который перемещается в соответствующую сторону на заданный шаг, включая при этом определенную группу светодиодов. Вместе с этим на экране отображается симуляция перемещения дрона в двух проекциях (спереди и сверху) и отображаются относительные координаты дрона. Тестирование программного обеспечения производилось на квадрокоптере Geoscan pioneer mini. Может использоваться для учебных, демонстрационных целей, в сельском хозяйстве, спортивных соревнованиях по БПЛА, аэрофото- и видеосъемках и других сферах деятельности.

The article is devoted to the development of a program for contactless control of a UAV using a neural network that tracks the position of an object. For these purposes, a corresponding model was trained on the ultralytics YOLOv8 neural network. The graphs of the training of this model are presented, demonstrating the change in the magnitude of the loss function over the bounding box and class, as well as the values of the mAP50-95 metric. The training was completed when the value of the mAP50-95 metric was 0.855. Software has been developed to control the UAV using hand movements, its block diagram and description are given. The program reads the coordinates of the hand in each frame, calculates its area, evaluates the received data and sends control commands to the copter, which moves in the appropriate direction for a given step, including a certain group of LEDs. At the same time, the screen displays a simulation of the drone›s movement in two projections (front and top) and displays the relative coordinates of the drone. The software was tested on a Geoscan pioneer mini quadcopter. It can be used for educational, demonstration purposes, in agriculture, UAV sports competitions, aerial photography and video filming and other fields of activity.

БПЛАпрограммное обеспечениепрограммамашинное обучениенейросетьtable and incubation eggsexcitation spectrumphotoluminescence spectrumStokes shiftoptical propertiesReferencesПогонышев В.А., Погонышева Д.А., Ториков В.Е. Нейронные сети в цифровом сельском хозяйстве. Вестник Брянской ГСХА. 2021; (5): 68–71. https://doi.org/10.52691/2500-2651-2021-87-5-68-71Pogonyshev V.A., Pogonysheva D.A., Torikov V.E. Neural networks in digital agriculture. Vestnik Bryansk State Agricultural Academy. 2021; (5): 68–71 (in Russian). https://doi.org/10.52691/2500-2651-2021-87-5-68-71Сорокин И.А., Романов П.Н., Кондраненкова Т.Е., Ружьев В.А., Стенина Н.А., Пушкаренко Н.Н. Исследование алгоритмов перестановочного декодирования в системах управления БПЛА. Аграрная наука. 2022; (11): 133–140. https://doi.org/10.32634/0869-8155-2022-364-11-133-140Sorokin I.A., Romanov P.N., Kondranenkova T.E., Ruzhev V.A., Stenina N.A., Pushkarenko N.N. Study of permutation decoding algorithms in UAV control systems. Agrarian science. 2022; (11): 133–140 (in Russian). https://doi.org/10.32634/0869-8155-2022-364-11-133-140Кузнецов П.Н., Котельников Д.Ю., Воронин Д.Ю. Технология автоматизированного мониторинга состояния виноградника. Аграрная наука. 2023; (3): 109–116. https://doi.org/10.32634/0869-8155-2023-368-3-109-116Kuznetsov P.N., Kotelnikov D.Yu., Voronin D.Yu. Technology of automated monitoring of the vineyard condition. Agrarian science. 2023; (3): 109–116 (in Russian). https://doi.org/10.32634/0869-8155-2023-368-3-109-116Стесев Г.И., Журавлев В.А. Использование нейросетей для решения задач прогнозирования, адаптированного управления и распознавания образов, применяемых в роевых БПЛА. Неделя науки СПбПУ. Материалы научной конференции с международным участием. СПб.: Политех-Пресс. 2019; 83–86. https://www.elibrary.ru/mgdgwrStesev G.I., Zhuravlev V.A. The use of neural networks to solve forecasting problems, adapted control and pattern recognition used in swarming UAVs. St. Petersburg State University Science Week. Materials of the scientific conference with international participation. St. Petersburg: Polytech-Press. 2019; 83–86 (in Russian). https://www.elibrary.ru/mgdgwrWang C., Wang L. Artificial Neural Network and Its Application in Image Recognition. Journal of Engineering Research and Reports. 2023; 24(2): 50–57. https://doi.org/10.9734/JERR/2023/v24i2802Wang C., Wang L. Artificial Neural Network and Its Application in Image Recognition. Journal of Engineering Research and Reports. 2023; 24(2): 50–57. https://doi.org/10.9734/JERR/2023/v24i2802Syberfeldt A., Vuoluterä F. Image Processing based on Deep Neural Networks for Detecting Quality Problems in Paper Bag Production. Procedia CIRP. 2020; 93: 1224–1229. https://doi.org/10.1016/j.procir.2020.04.158Syberfeldt A., Vuoluterä F. Image Processing based on Deep Neural Networks for Detecting Quality Problems in Paper Bag Production. Procedia CIRP. 2020; 93: 1224–1229. https://doi.org/10.1016/j.procir.2020.04.158Калинцев Д.С. Система автоматической дозаправки БПЛА на основе нейросетей с использованием технологии CUDA. Молодежь и наука. XIX Международная телекоммуникационная конференция молодых ученых и студентов. Тезисы докладов. М.: Национальный исследовательский ядерный университет «МИФИ». 2015; 3: 95–96. https://www.elibrary.ru/wgqjddKalintsev D.S. Automatic refueling system for UAVs based on neural networks using CUDA technology. Youth and science. XIX International Telecommunication Conference of Young Scientists and Students. Abstracts of the reports. Moscow: National Research Nuclear University MEPhI. 2015; 3: 95–96 (in Russian). https://www.elibrary.ru/wgqjddМихайлов В.А., Пилипенко О.Г. Распознавание основных объектов инфраструктуры городской местности при помощи БПЛА и нейросети U-Net. IV Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2017). Труды семинара. Казань: Центр инновационных технологий. 2017; 25–35. https://www.elibrary.ru/mnkclfMikhailov V.A., Pilipenko O.G. Recognition of main infrastructure objects in urban areas using UAVs and the U-Net neural network. IV All-RussianМатко Е.В., Сафонова А.Н. Применение глубокого обучения для прогнозирования риска вымирания лесов от деятельности серой цапли на основе данных БПЛА. Региональные проблемы дистанционного зондирования Земли. Материалы X Международной научной конференции. Красноярск: Сибирский федеральный университет. 2023; 237–241. https://www.elibrary.ru/zlyejmScientific and Practical Seminar “Unmanned Vehicles with Elements of Artificial Intelligence” (BTS-II-2017). Proceedings of the seminar. Kazan: Tsentr innovatsionnykh tekhnologiy. 2017: 25–35 (in Russian). https://www.elibrary.ru/mnkclfСыч А.С., Балык В., Поляков А.И., Карталов А.В. Применение аэрофотосъемки с применением мультиспектральной камеры в комплексе с нейросетью в сельском хозяйстве. Chronos. 2019; (9): 26–28. https://www.elibrary.ru/cyelprMatko E.V., Safonova A.N. Applying deep learning to predict forest extinction risk from gray heron activity based on UAV data. Regional problems of remote sensing of the Earth. Proceedings of the X International Scientific Conference. Krasnoyarsk: Siberian Federal University. 2023; 237–241 (in Russian). https://www.elibrary.ru/zlyejmРогачев А.Ф., Белоусов И.С. Нейросетевое выявление проблемных участков состояния посевов методами искусственного интеллекта. Известия Нижневолжского агроуниверситетского комплекса: Наука и высшее профессиональное образование. 2022; (3): 459–466. https://www.elibrary.ru/bjmznySych A.S., Balyk V., Polyakov A.I., Kartalov A.V. Application of aerial photography using a multispectral camera in combination with a neural network in agriculture. Chronos. 2019; (9): 26–28 (in Russian). https://www.elibrary.ru/cyelprДолженко В.А., Балык В., Поляков А.И., Карталов А.В. Применение мультиспектральной аэрофотосъемки в комплексе с нейросетью для автоматизации мониторинга в сельском хозяйстве. Наукоемкие технологии и инновации (XXIII научные чтения). Сборник докладов Международной научно-практической конференции, посвященной 65-летию БГТУ им. В.Г. Шухова. Белгород: Белгородский государственный технологический университет им. В.Г. Шухова. 2019; 10: 33–37. https://www.elibrary.ru/ylcfbrRogachev A.F., Belousov I.S. Neural network identification of problem areas of the state of crops by methods of artificial intelligence. Proceedings of Nizhnevolzskiy Agrouniversity Complex: Science and Higher Vocational Education. 2022; (3): 459–466 (in Russian). https://www.elibrary.ru/bjmznyШайдуллин М.И., Белов Н.В. Разработка системы управления беспилотным летательным аппаратом с помощью жестов. Технологии информационного общества. Сборник трудов XVI Международной траслевой научно-технической конференции. М.: Медиа Паблишер. 2022; 324–326. https://www.elibrary.ru/eozwweDolzhenko V.A., Balyk V., Polyakov A.I., Kartalov A.V. Application of multispectral aerial photography in combination with a neural network to automate monitoring in agriculture. High technology and innovation (XXIII scientific readings). Collection of reports of the International Scientific and Practical Conference dedicated to the 65th anniversary of BSTU named after V.G. Shukhov. Belgorod: Belgorod State Technological University named after V.G. Shukhov. 2019; 10: 33–37 (in Russian). https://www.elibrary.ru/ylcfbrНагапетян В.Э., Хачумов В.М. Распознавание жестов руки в задаче бесконтактного управления беспилотным летательным аппаратом. Автометрия. 2015; 51(2): 103–109. https://www.elibrary.ru/tszezdShaydullin M.I., Belov N.V. Development of a control system for an unmanned aerial vehicle using gestures. Technologies of the information society. Proceedings of the XVI International Industrial Scientific and Technical Conference. Moscow: Media Publisher. 2022; 324–326 (in Russian). https://www.elibrary.ru/eozwweСенов А.А. Улучшение оценки распределенного стохастического градиентного спуска через аппроксимацию функции потерь. Стохастическая оптимизация в информатике. 2015; 11(1): 103–126. https://www.elibrary.ru/ubgwobNahapetyan V.E., Khachumov V.M. Gesture recognition in the problem of contactless control of an unmanned aerial vehicle. Optoelectronics, Instrumentation and Data Processing. 2015; 51(2): 192–197. https://doi.org/10.3103/S8756699015020132Dang F., Chen D., Lu Y., Li Z. YOLOWeeds: A novel benchmark of YOLO object detectors for multi-class weed detection in cotton production systems. Computers and Electronics in Agriculture. 2023; 205: 107655. https://doi.org/10.1016/j.compag.2023.107655Senov A.A. Improving distributed stochastic gradient descent estimate via loss function approximation. Stokhasticheskaya optimizatsiya v informatike. 2015; 11(1): 103–126 (in Russian). https://www.elibrary.ru/ubgwobDang F., Chen D., Lu Y., Li Z. YOLOWeeds: A novel benchmark of YOLO object detectors for multi-class weed detection in cotton production systems. Computers and Electronics in Agriculture. 2023; 205: 107655. https://doi.org/10.1016/j.compag.2023.107655Dang F., Chen D., Lu Y., Li Z. YOLOWeeds: A novel benchmark of YOLO object detectors for multi-class weed detection in cotton production systems. Computers and Electronics in Agriculture. 2023; 205: 107655. https://doi.org/10.1016/j.compag.2023.107655

The authors declare that there are no conflicts of interest present.