Многоуровневая платформа больших данных для интеллектуального контроля и диагностики параметров агроценозов на основе гибридных методов машинного обучения

Разработана многоуровневая платформа больших данных для интеллектуального контроля и диагностики параметров агроценозов на основе гибридных методов машинного обучения. Актуальность определяется разрывом между растущими объемами сенсорных, спутниковых и аэрофотоснимочных данных и производительностью одномашинных инструментов. В основу положена четырехуровневая архитектура «устройство — граничный узел — распределенное ядро — прикладной контур» на базе Apache Kafka 3.7, Apache Spark 3.5 и TimescaleDB 2.14. База собрана за 182 сут на 2850 га в Республике Татарстан (1240 сенсорных узлов, 28 граничных шлюзов); объем сырых данных — 4,2 ТБ, 12,8 млн записей. Сопоставлены шесть моделей прогнозирования урожайности, детектирования аномалий и диагностики посевов. Лучший результат — CatBoost при пятикратной кросс-валидации: R² = 0,89, RMSE = 2,4 ц/га, MAE = 1,7 ц/га по яровой пшенице; в задаче диагностики 14 параметров достигнуты Accuracy = 0,898 и AUC-ROC = 0,943 при задержке 75 с. Масштабирование Spark-кластера с 1 до 8 узлов сократило время обработки с 47,3 до 7,1 мин (ускорение 6,67; эффективность 83,4%). Авторский интегральный индекс ИДК учитывает точность, полноту и своевременность реакции; его итоговое значение составило 0,82, что на 0,04–0,17 превышает значения обзорных работ.

1. Харченко К.В. Государственная поддержка цифровизации агросектора: текущая ситуация и перспективы. Продовольственная политика и безопасность. 2024; 11(3): 541–552. https://doi.org/10.18334/ppib.11.3.121575

2. Вострухин А.В., Мастепаненко М.А., Вахтина Е.А. Энергосберегающий асинхронный интерфейс для беспроводных датчиков. Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2023; 63: 92–102. EDN MCGNMX

3. Monteiro A., Santos S., Gonçalves P. Precision Agriculture for Crop and Livestock Farming—Brief Review. Animals. 2021; 11(8): 2345. https://doi.org/10.3390/ani11082345

4. Morchid A., El Alami R., Raezah A.A., Sabbar Y. Applications of Internet of Things (IoT) and sensors technology to increase food security and agricultural Sustainability: Benefits and challenges. Ain Shams Engineering Journal. 2024; 15(3): 102509. https://doi.org/10.1016/j.asej.2023.102509

5. Вострухин А.В., Мастепаненко М.А., Воротников И.Н., Вахтина Е.А. Алгоритм разработки программного обеспечения беспроводной системы мониторинга температуры сельскохозяйственных объектов. Агроинженерия. 2025; 27(1): 75–81. https://doi.org/10.26897/2687-1149-2025-1-75-81

6. Debauche O., Mahmoudi S., Manneback P., Lebeau F. Cloud and distributed architectures for data management in agriculture 4.0: Review and future trends. Journal of King Saud University - Computer and Information Sciences. 2022; 34(9): 7494–7514. https://doi.org/10.1016/j.jksuci.2021.09.015

7. Li M., Yan Y. Comparative Analysis of Machine-Learning Models for Soil Moisture Estimation Using High-Resolution Remote-Sensing Data. Land. 2024; 13(8): 1331. https://doi.org/10.3390/land13081331

8. Dhillon M.S. et al. Integrating random forest and crop modeling improves the crop yield prediction of winter wheat and oil seed rape. Frontiers in Remote Sensing. 2022; 3: 1010978. https://doi.org/10.3389/frsen.2022.1010978

9. Araújo S.O., Peres R.S., Barata J., Lidon F., Ramalho J.C. Characterising the Agriculture 4.0 Landscape—Emerging Trends, Challenges and Opportunities. Agronomy. 2021; 11(4): 667. https://doi.org/10.3390/agronomy11040667

10. Галкин А.И. Применение технологий больших данных и нейронных сетей в целях оптимизации сельскохозяйственного производства. Аграрная наука. 2025; (2): 38–40. EDN UEWPMT

11. Димитров В.П., Борисова Л.В., Нурутдинова И.Н. Метод определения начальных значений регулируемых параметров жатвенной части зерноуборочного комбайна. Инженерные технологии и системы. 2022; 32(4): 552–566. https://doi.org/10.15507/2658-4123.032.202204.552-566

12. Костомахин М.Н., Пестряков Е.В. Программный комплекс для дистанционного контроля узлов и агрегатов. Сельскохозяйственные машины и технологии. 2022; 16(4): 19–25. https://doi.org/10.22314/2073-7599-2022-16-4-19-25

13. Кузнецов П.Н., Котельников Д.Ю., Воронин Д.Ю. Технология автоматизированного мониторинга состояния виноградника. Аграрная наука. 2023; (3): 109–116. https://doi.org/10.32634/0869-8155-2023-368-3-109-116

14. Рогачев А.Ф., Мелихова Е.В. Мультиклассовое распознавание аэрофотоснимков участков сельскохозяйственных полей. Известия Нижневолжского агроуниверситетского комплекса: Наука и высшее профессиональное образование. 2020; (3): 142–152. https://doi.org/10.32786/2071-9485-2020-03-14

15. Пестряков Е.В. Программное обеспечение для диагностирования и прогнозирования технического состояния сельскохозяйственных машин. Техника и оборудование для села. 2021; (12): 37–41. EDN NUTMPU

16. Павлова А.И. Агроэкологическая типизация сельскохозяйственных земель с применением методов машинного обучения, ГИС и ДДЗЗ. Siberian Journal of Life Sciences and Agriculture. 2023; 15(6): 72–88. https://doi.org/10.12731/2658-6649-2023-15-6-960

17. Васильев С.А., Лимонов С.Е., Мишин С.А. Интеллектуальная полевая сенсорная станция для мониторинга агрофизических параметров и фенотипирования в системе точного земледелия. Сельскохозяйственные машины и технологии. 2024; 18(4): 79–85. https://doi.org/10.22314/2073-7599-2024-18-4-79-85

18. Степных Н.В., Заргарян А.М. Геоинформационные технологии управления растениеводством. Аграрный вестник Урала. 2014; (7): 27–29. EDN SWEGEF