Рамил Рифатович Гибадуллин, кандидат технических наук
ул. Красносельская, 51, Казань, 420066
Ramil Rifatovich Gibadullin, Candidate of Engineering Sciences
51 Krasnoselskaya st., Kazan, 420066
Зумейра Мунировна Шакурова, кандидат педагогических наук, доцент
ул. Красносельская, 51, Казань, 420066
Zumeyra Munirovna Shakurova, Candidate of Pedagogical Sciences, Associate Professor
51 Krasnoselskaya st., Kazan, 420066
Разработана многоуровневая платформа больших данных для интеллектуального контроля и диагностики параметров агроценозов на основе гибридных методов машинного обучения. Актуальность определяется разрывом между растущими объемами сенсорных, спутниковых и аэрофотоснимочных данных и производительностью одномашинных инструментов. В основу положена четырехуровневая архитектура «устройство — граничный узел — распределенное ядро — прикладной контур» на базе Apache Kafka 3.7, Apache Spark 3.5 и TimescaleDB 2.14. База собрана за 182 сут на 2850 га в Республике Татарстан (1240 сенсорных узлов, 28 граничных шлюзов); объем сырых данных — 4,2 ТБ, 12,8 млн записей. Сопоставлены шесть моделей прогнозирования урожайности, детектирования аномалий и диагностики посевов. Лучший результат — CatBoost при пятикратной кросс-валидации: R² = 0,89, RMSE = 2,4 ц/га, MAE = 1,7 ц/га по яровой пшенице; в задаче диагностики 14 параметров достигнуты Accuracy = 0,898 и AUC-ROC = 0,943 при задержке 75 с. Масштабирование Spark-кластера с 1 до 8 узлов сократило время обработки с 47,3 до 7,1 мин (ускорение 6,67; эффективность 83,4%). Авторский интегральный индекс ИДК учитывает точность, полноту и своевременность реакции; его итоговое значение составило 0,82, что на 0,04–0,17 превышает значения обзорных работ.
A multi-tier big data platform for intelligent monitoring and diagnostics of agrocenoses parameters has been developed using hybrid machine learning methods. The relevance of this platform is determined by the gap between the growing volumes of sensor, satellite, and aerial imagery data and the performance of single-machine instruments. It is based on a fourtier architecture (device – edge node – distributed core – application circuit) based on Apache Kafka 3.7, Apache Spark 3.5, and TimescaleDB 2.14. The database was collected over 182 days on 2,850 hectares in the Republic of Tatarstan (1,240 sensor nodes, 28 edge gateways); the volume of raw data is 4.2 TB, 12.8 million records. Six models for yield forecasting, anomaly detection, and crop diagnostics were compared. The best result was achieved by CatBoost with five-fold cross-validation: R² = 0.89, RMSE = 2.4 c/ha, MAE = 1.7 c/ha for spring wheat; in the diagnostic task of 14 parameters, Accuracy = 0.898 and AUC-ROC = 0.943 were achieved at a latency of 75 s. Scaling the Spark cluster from 1 to 8 nodes reduced the processing time from 47.3 to 7.1 min (speedup 6.67; efficiency 83.4%). The author’s integral index of the IDC takes into account the accuracy, completeness, and timeliness of the response; its final value was 0.82, which is 0.04–0.17 higher than the values of the review papers.
The authors declare that there are no conflicts of interest present.