vetpressАграрная наукаAgrarian science0869-81552686-701XРедакция журнала "Аграрная наука"10.32634/0869-8155-2023-368-3-109-116vetpress-2550Research ArticleАГРОИНЖЕНЕРИЯ И ПИЩЕВЫЕ ТЕХНОЛОГИИAGROENGINEERING AND FOOD TECHNOLOGIESТехнология автоматизированного мониторинга состояния виноградникаTechnology of automated monitoring of the vineyard conditionhttps://orcid.org/0000-0002-1732-922XКузнецовП. Н.KuznetsovP. N.

Павел Николаевич Кузнецов, кандидат технических наукул. Университетская, 33, Севастополь, 299053,Российская Федерация

ул. Кирова, 31, Ялта, 298600, Российская Федерация

Pavel Nikolaevich Kuznetsov, Candidate of Technical Sciences

33 Universitetskaya Str., Sevastopol, 299053, Russian Federation

31 Kirova Str., Yalta, 298600, Russian Federation

PNKuznetsov@sevsu.ruhttps://orcid.org/0000-0001-9065-243XКотельниковД. Ю.KotelnikovD. Yu.

Дмитрий Юрьевич Котельников, младший научный сотрудник 

ул. Университетская, 33, Севастополь, 299053,Российская Федерация

ул. Кирова, 31, Ялта, 298600, Российская Федерация

Dmitry Yurievich Kotelnikov, Junior Researcher 

33 Universitetskaya Str., Sevastopol, 299053, Russian Federation

31 Kirova Str., Yalta, 298600, Russian Federation

DYKotelnikov@ya.ruhttps://orcid.org/0000-0001-6053-4758ВоронинД. Ю.VoroninD. Yu.

Дмитрий Юрьевич Воронин, кандидат технических наук, доцентул. Кирова, 31, Ялта, 298600, Российская Федерация

Dmitry Yurievich Voronin, candidate of technical sciences, associate professor 

33 Universitetskaya Str., Sevastopol, 299053, Russian Federation

dima_77@mail.ruСевастопольский государственный университет; Всероссийский национальный научно-исследовательский институт виноградарства и виноделия «Магарач» Российской академии наукРоссияSevastopol State University; All-Russian National Research Institute of Viticulture and Winemaking Magarach of the Russian Academy of SciencesRussian FederationСевастопольский государственный университетРоссияSevastopol State UniversityRussian Federation20231304202303109116Copyright © Кузнецов П.Н., Котельников Д.Ю., Воронин Д.Ю., 20232023Кузнецов П.Н., Котельников Д.Ю., Воронин Д.Ю.Kuznetsov P.N., Kotelnikov D.Y., Voronin D.Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vetpress.ru/jour/article/view/2550

Актуальность. Проактивное управление процессами эффективной реализации сортового потенциала винограда связано с необходимостью внедрения инновационных цифровых технологий автоматизированного мониторинга гетерогенных источников данных, характеризующих агроклиматические условия и деградационные процессы биологического состояния растений. В настоящее время наблюдается устойчивый тренд, направленный на цифровизацию отрасли виноградарства и виноделия. Возникает целый комплекс научно-практических, технических, технологических задач, связанных с внедрением цифровых технологий сбора необходимой информации, ее агрегации и создании методики предварительной обработки для реализации процедур многофакторного анализа данных при дальнейшем их использовании в системах поддержки принятия решений. Решение вышеописанных задач системного характера требует создания научно-методологических основ для реализации интеллектуального адаптивного автоматизированного мониторинга различных объектов и процессов сельскохозяйственных предприятий.Методы. Приведенная технология базируется на комплексном использовании методов технического зрения, нейросетевой классификации и детектирования виноградных листьев, оценки качества обучения нейросетевых алгоритмов, методах видеосъемки при использовании беспилотных летательных аппаратов (БПЛА).Результаты. Приведены результаты разработки информационной технологии автоматизированного нейросетевого детектирования признаков ухудшения состояния виноградных насаждений для проактивного управления процессами эффективной реализации сортового потенциала винограда. Технология позволяет обслуживающему персоналу виноградника оперативно получать информацию о признаках ухудшения состояния виноградных насаждений на основе данных видеофиксации виноградных растений, получаемых при помощи БПЛА, в статическом и динамическом режиме. Итоги тестирования точности детектирования пораженных листьев показали, что величина mAP обученной нейронной сети составляет не менее 91%, что является достаточным для выявления проблемных областей.

Relevance. Proactive management of the processes of effective realization of the varietal potential of grapes is associated with the need to introduce innovative digital technologies for automated monitoring of heterogeneous data sources characterizing agro-climatic conditions and degradation processes of the biological state of plants. Currently, there is a steady trend aimed at digitalization of the viticulture and winemaking industry. There is a whole complex of scientific, practical, technical, technological tasks associated with the introduction of digital technologies for collecting the necessary information, aggregating it and creating a pre-processing technique for implementing procedures for multifactorial data analysis with their further use in decision support systems. The solution of the above-described tasks of a systemic nature requires the creation of scientific and methodological foundations for the implementation of intelligent adaptive automated monitoring of various objects and processes of agricultural enterprises.Methods. The above technology is based on the complex use of methods of technical vision, neural network classification and detection of grape leaves, evaluation of the quality of training neural network algorithms, video recording methods when using unmanned aerial vehicles (UAVs).Results. The results of the development of information technology for automated neural network detection of signs of deterioration of grape plantations for proactive management of the processes of effective realization of the varietal potential of grapes are presented. The technology allows the vineyard service personnel to promptly receive information about signs of deterioration of the condition of grape plantations based on video recording data of grape plants obtained using UAVs in static and dynamic mode. The results of testing the accuracy of detecting affected leaves showed that the mAP value of the trained neural network is at least 91%, which is sufficient to identify problem areas.

мониторингдиагностикафитосанитарное состояниеболезнивиноградникибеспилотные летательные аппаратытехническое зрениеотслеживание объектовнейросетевая классификацияmonitoringdiagnosticsphytosanitary conditiondiseasesvineyardsunmanned aerial vehiclestechnical visionobject trackingneural network classificationРабота выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации (тема № FNZM-2022-0010 «Разработка методологии интеллектуального автоматизированного мониторинга для решения задач в области виноделия и виноградарства»).The research was carried out within the state assignment of Ministry of Science and Higher Education of the Russian Federation (theme No. FNZM-2022-0010 «Development of the methodology of intelligent automated monitoring for solving problems in the field of winemaking and viticulture»).ReferencesLiu Y., Wang X. Promoting competitiveness of green brand of agricultural products based on agricultural industry cluster. Wireless Communications and Mobile Computing. 2022. https://doi.org/10.1155/2022/7824638Liu Y., Wang X. Promoting competitiveness of green brand of agricultural products based on agricultural industry cluster. Wireless Communications and Mobile Computing. 2022. https://doi.org/10.1155/2022/7824638Basso B., Antle J. Digital agriculture to design sustainable agricultural systems. Nature Sustainability. 2020; 3: 254–256. https://doi.org/10.1038/s41893-020-0510-0Basso B., Antle J. Digital agriculture to design sustainable agricultural systems. Nature Sustainability. 2020; 3: 254–256. https://doi.org/10.1038/s41893-020-0510-0Tian H., Wang T., Liu Y., Qiao X., Li Y. Computer vision technology in agricultural automation — A review. Information Processing in Agriculture. 2020; 7(1): 1–19. https://doi.org/10.1016/j.inpa.2019.09.006Tian H., Wang T., Liu Y., Qiao X., Li Y. Computer vision technology in agricultural automation — A review. Information Processing in Agriculture. 2020; 7(1): 1–19. https://doi.org/10.1016/j.inpa.2019.09.006Rao R.N., Sridhar B. IoT based smart crop-field monitoring and automation irrigation system. 2nd International Conference on Inventive Systems and Control (ICISC). 2018; 478–483.Rao R.N., Sridhar B. IoT based smart crop-field monitoring and automation irrigation system. 2nd International Conference on Inventive Systems and Control (ICISC). 2018; 478–483.Jha K., Doshi A., Patel P., Shah M. A comprehensive review on automation in agriculture using artificial intelligence. Artificial Intelligence in Agriculture. 2019; 2: 1–12.Jha K., Doshi A., Patel P., Shah M. A comprehensive review on automation in agriculture using artificial intelligence. Artificial Intelligence in Agriculture. 2019; 2: 1–12.Raeva P. L., Šedina J., Dlesk A. Monitoring of crop fields using multispectral and thermal imagery from UAV. European Journal of Remote Sensing. 2019; 52(1): 192–201.Raeva P. L., Šedina J., Dlesk A. Monitoring of crop fields using multispectral and thermal imagery from UAV. European Journal of Remote Sensing. 2019; 52(1): 192–201.Kapania S., Saini D., Goyal S., Thakur N., Jain R. Multi object tracking with UAVs using deep SORT and YOLOv3 RetinaNet detection framework. Proceedings of the 1st ACM Workshop on Autonomous and Intelligent Mobile Systems. 2020; 1–6.Kapania S., Saini D., Goyal S., Thakur N., Jain R. Multi object tracking with UAVs using deep SORT and YOLOv3 RetinaNet detection framework. Proceedings of the 1st ACM Workshop on Autonomous and Intelligent Mobile Systems. 2020; 1–6.Pereira R., Carvalho G., Garrote L., Nunes U.J. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics. Applied Sciences / An Open Access Journal from MDPI. 2022; 12(3): 1319.Pereira R., Carvalho G., Garrote L., Nunes U.J. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics. Applied Sciences / An Open Access Journal from MDPI. 2022; 12(3): 1319.Süzen A.A., Duman B., Şen B. Benchmark Analysis of Jetson TX2, Jetson Nano and Raspberry PI using Deep-CNN. IEEE 2. International Congress on Human-Computer Interaction, Optimization and Robotic Applications. At: Turkey. 2020; 1–5.Süzen A.A., Duman B., Şen B. Benchmark Analysis of Jetson TX2, Jetson Nano and Raspberry PI using Deep-CNN. IEEE 2. International Congress on Human-Computer Interaction, Optimization and Robotic Applications. At: Turkey. 2020; 1–5.Зоев И.В., Марков Н.Г., Рыжова С.Е. Интеллектуальная система компьютерного зрения беспилотных летательных аппаратов для мониторинга технологических объектов предприятий нефтегазовой отрасли. Известия Томского политехнического университета. Инжиниринг георесурсов. 2019; 330(11): 34–49. DOI: 10.18799/24131830/2019/11/2346Zoev I.V., Markov N.G., Ryzhova S.E. Intelligent computer vision system for unmanned aerial vehicles for monitoring technological objects of oil and gas industry. Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering. 2019; 330(11): 34–49. DOI: 10.18799/24131830/2019/11/2346 (In Russian).Aposporis P. Object detection methods for improving UAV autonomy and remote sensing applications. 2020 IEEE/ACM. International Conference on Advances in Social Networks Analysis and Mining (ASONAM). 2020; 845–853.Aposporis P. Object detection methods for improving UAV autonomy and remote sensing applications. 2020 IEEE/ACM. International Conference on Advances in Social Networks Analysis and Mining (ASONAM). 2020; 845–853.Russakovsky O. et al. Imagenet large scale visual recognition challenge. International journal of computer vision. 2015; 115(3): 1–43.Russakovsky O. et al. Imagenet large scale visual recognition challenge. International journal of computer vision. 2015; 115(3): 1–43.Кузнецов П.Н., Котельников Д.Ю. Технология автоматизированного мониторинга состояния фотоэлектрических модулей солнечной электростанции. Мониторинг. Наука и технологии. 2022; 2(52): 65–72. DOI 10.25714/MNT.2022.52.008Russakovsky O. et al. Imagenet large scale visual recognition challenge. International journal of computer vision. 2015; 115(3): 1–43.Кузнецов П.Н., Котельников Д.Ю. Автоматизированный технологический комплекс мониторинга и диагностики виноградников. Вестник аграрной науки Дона. 2021; 4(56): 16–23. eLIBRARY ID: 47806373.Kuznetsov P.N., Kotelnikov D.Yu. Technology of automated monitoring of the photovoltaic modules of a solar power plant. Monitoring. Science and Technology. 2022; 2(52): 65–72. DOI 10.25714/MNT.2022.52.008 (In Russian).Kuznetsov P.N., Kotelnikov D.Yu. Automated technological complex for monitoring and diagnostics of vineyard. Don agrarian science bulletin (Vestnik agrarnoj nauki Dona). 2021; 4(56): 16–23. eLIBRARY ID: 47806373 (In Russian).Kuznetsov P.N., Kotelnikov D.Yu. Automated technological complex for monitoring and diagnostics of vineyard. Don agrarian science bulletin (Vestnik agrarnoj nauki Dona). 2021; 4(56): 16–23. eLIBRARY ID: 47806373 (In Russian).

The authors declare that there are no conflicts of interest present.