Эффективные методы адаптации LLM к доменной специфике аграрного бизнеса

В статье рассматриваются актуальные проблемы применения больших языковых моделей (LLM) в сфере аграрного бизнеса и предлагаются современные подходы к их решению. Несмотря на высокую эффективность LLM в обработке естественного языка, их адаптация к задачам аграрной отрасли связана с рядом сложностей. Ключевые проблемы включают формирование специализированных обучающих корпусов, баланс между качеством ответов и вычислительными затратами, объективную оценку качества моделей и их интеграцию в существующие аграрные информационные системы. Рассматриваются практические подходы к решению этих проблем, включая дообучение моделей на специализированных данных, методы оптимизации вычислений и применение гибридных архитектур (в частности, RAG). Анализируются основные направления применения LLM: генерация текстовых данных, улучшение поисковых систем, анализ пользовательских отзывов и автоматизация клиентской поддержки. Исследование направлено на повышение точности, релевантности и персонализации ответов моделей в задачах прогноза, анализа и автоматизации процессов в сельском хозяйстве. Предложенные решения способствуют эффективному внедрению LLM в инфраструктуру аграрного сектора, улучшая качество принятия решений, прогнозирование и автоматизацию бизнес-процессов.

1. Pan S., Luo L., Wang Y., Chen C., Wang J., Wu X. Unifying Large Language Models and Knowledge Graphs: A Roadmap. IEEE Transactions on Knowledge and Data Engineering. 2024; 36(7): 3580–3599. https://doi.org/10.1109/TKDE.2024.3352100

2. Hu E.J. et al. LoRA: Low-Rank Adaptation of Large Language Models. arXiv. 2106.09685. https://doi.org/10.48550/arXiv.2106.09685

3. Feldman P., Dant A., Foulds J.R., Pan S. Polling Latent Opinions: A Method for Computational Sociolinguistics Using Transformer Language Models. arXiv. 2204.07483. https://doi.org/10.48550/arXiv.2204.07483

4. Rusnachenko N., Golubev A., Loukachevitch N. Large Language Models in Targeted Sentiment Analysis for Russian. Lobachevskii Journal of Mathematics. 2024; 45(7): 3148–3158. https://doi.org/10.1134/S1995080224603758

5. Krishnan A. Exploring the Power of Topic Modeling Techniques in Analyzing Customer Reviews: A Comparative Analysis. arXiv. 2308.11520. https://doi.org/10.48550/arXiv.2308.11520

6. Lewis P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv. 2005.11401. https://doi.org/10.48550/arXiv.2005.11401

7. Chamieh I., Zesch T., Giebermann K. LLMs in Short Answer Scoring: Limitations and Promise of Zero-Shot and Few-Shot Approaches. Proceedings of the 19th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2024). Association for Computational Linguistics. 2024; 309–315.

8. Chen X. et al. Universal Self-Consistency for Large Language Model Generation. arXiv. 2311.17311. https://doi.org/10.48550/arXiv.2311.17311

9. Lin C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries. Text Summarization Branches Out. Association for Computational Linguistics. 2004; 74–81.

10. Zhang T., Kishore V., Wu F., Weinberger K.Q., Artzi Y. BERTScore: Evaluating Text Generation with BERT. arXiv. 1904.09675. https://doi.org/10.48550/arXiv.1904.09675

11. Banerjee S., Lavie A. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and (or) Summarization. Association for Computational Linguistics. 2005; 65–72.