Разработка системы экологического мониторинга на базе технологий пространственной разметки и машинного зрения

Введение. Использование доступных спутниковых снимков и аэрофотосъемки беспилотными летательными аппаратами (БПЛА) в задачах экологического мониторинга наталкивается на несовершенство существующих инструментов. Геоинформационные системы не обладают достаточной гибкостью для автоматической работы с гетерогенными источниками, а новейшие модели искусственного интеллекта в экологии требуют предварительной подготовки данных. В статье представлены результаты проектирования программной системы экологического мониторинга по данным сенсоров машинного зрения, которая обеспечивает унификацию данных и одновременно является гибкой как с точки зрения источников данных, так и способов их анализа.

Цель работы. Создание открытой программной системы для согласованной пространственной разметки гетерогенных данных машинного зрения для задач экологического мониторинга.

Материалы и методы. Методы программной инженерии, методы теории баз данных, методы пространственной разметки, методы обработки изображений.

Результаты. На основе анализа особенностей существующих открытых данных дистанционного зондирования Земли, а также аэрофотосъемки БПЛА и подходов к проведению экологического мониторинга составлен обобщенный метод унификации данных. Для реализации метода была составлена гибкая архитектура программной системы, а также разработана модель данных для документоориентированной системы управления базами данных, позволяющие хранить данные и масштабировать процедуру анализа данных.

Заключение. В статье проведен анализ существующих источников данных и инструментов проведения экологического мониторинга. Создан обобщенный метод унификации данных машинного зрения, архитектура и модель данных. Метод, архитектура и модель успешно реализованы в виде программной системы с веб-интерфейсом

1. Corwin D. L. Climate Change Impacts on Soil Salinity in Agricultural Areas // European J. of Soil Science. 2021. Vol. 72, iss. 2. P. 842–862. doi: 10.1111/ejss.13010

2. Impacts of climate change on energy systems in global and regional scenarios / S. G. Yalew, M. T. H. van Vliet, D. E. H. J. Gernaat, F. Ludwig, A. Miara, C. Park, E. Byers, E. De Cian, F. Piontek, G. Iyer, I. Mouratiadou, J. Glynn, M. Hejazi, O. Dessens, P. Rochedo, R. Pietzcker, R. Schaeffer, S. Fujimori, S. Dasgupta, S. Mima, S. R. Santos da Silva, V. Chaturvedi, R. Vautard, D. P. van Vuuren // Nature Energy. 2020. Vol. 5, № 10. P. 794–802. doi: 10.1038/s41560-020-0664-z

3. Assessment of climate change impacts on buildings, structures and infrastructure in the Russian regions on permafrost / D. A. Streletskiy, L. J. Suter, N. I. Shiklomanov, B. N. Porfiriev, D. O. Eliseev // Environmental Research Letters. 2019. Vol. 14, № 2. P. 025003. doi: 10.1088/1748-9326/aaf5e6

4. Recent advances in Unmanned Aerial Vehicles forest remote sensing – A systematic review. Pt. II: Research applications / R. Dainelli, P. Toscano, S. F. Di Gennaro, A. Matese // Forests. 2021. Vol. 12, iss. 4. P. 397. doi: 10.3390/f12040397

5. Ahmad A., Gilani H., Ahmad S. R. Forest aboveground biomass estimation and mapping through highresolution optical satellite imagery – A literature review // Forests. 2021. Vol. 12, iss. 7. P. 914. doi: 10.3390/f12070914

6. Artificial intelligence meets citizen science to supercharge ecological monitoring / E. C. McClure, M. Sievers, C. J. Brown, C. A. Buelow, E. M. Ditria, M. A. Hayes, R. M. Pearson, V. J. D. Tulloch, R. K. F. Unsworth, R. M. Connolly // Patterns. 2020. Vol. 1, iss. 7. P. 100109. doi: 10.1016/j.patter.2020.100109

7. A systematic review on the integration of remote sensing and gis to forest and grassland ecosystem health attributes, indicators, and measures / I. Soubry, T. Doan, T. Chu, X. Guo // Remote Sensing. 2021. Vol. 13, iss. 16. P. 3262. doi: 10.3390/rs13163262

8. Toth C., Jóźków G. Remote sensing platforms and sensors: A survey // ISPRS J. of Photogrammetry and Remote Sensing. 2016. Vol. 115. P. 22–36. doi: 10.1016/J.ISPRSJPRS.2015.10.004

9. КА "Канопус-В" № 1 – первый российский малый космический аппарат высокодетального дистанционного зондирования Земли нового поколения / Л. А. Макриденко, С. Н. Волков, А. В. Горбунов, Р. С. Салихов, В. П. Ходненко // Вопр. электромеханики. Тр. ВНИИЭМ. 2017. Т. 156, № 1. С. 10–20.

10. Космическая система дистанционного зондирования Земли "Ресурс-П" / А. Н. Кирилин, Р. Н. Ахметов, Г. П. Аншаков, А. Д. Сторож, Н. Р. Стратилатов, В. А. Типухов // XL Академические чтения по космонавтике, Москва, 26–29 янв. 2016 г. М., 2016. С. 350.

11. Григорьев А. А., Баранов М. Е. Эксплуатация программной модели космического аппарата связи "Экспресс-АМ" // Актуальные проблемы авиации и космонавтики. 2018. Т. 2, № 14. С. 507–509.

12. Локшин Б. "Экспресс-РВ"-перспективная система связи со спутниками на высокоэллиптических орбитах // Технологии и средства связи. 2019. № S1. С. 62–71.

13. Irons J. R., Dwyer J. L., Barsi J. A. The next Landsat satellite: The Landsat data continuity mission // Remote sensing of environment. 2012. Vol. 122. P. 11– 21. doi: 10.1016/j.rse.2011.08.026

14. Sentinel-2: ESA's optical high-resolution mission for GMES operational services / M. Drusch, U. Del Bello, S. Carlier, O. Colin, V. Fernandez, F. Gascon, B. Hoersch, C. Isola, P. Laberinti, P. Martimort, A. Meygret, F. Spoto, O. Sy, F. Marchese, P. Bargellini // Remote sensing of Environment. 2012. Vol. 120. P. 25–36. doi: 10.1016/j.rse.2011.11.026

15. Fusing Landsat and MODIS data for vegetation monitoring / F. Gao, T. Hilker, X. Zhu, M. Anderson, J. Masek, P. Wang, Y. Yang // IEEE Geoscience and Remote Sensing Magazine. 2015. Vol. 3, iss. 3. P. 47– 60. doi: 10.1109/MGRS.2015.2434351

16. Landsat-8: Science and product vision for terrestrial global change research / D. P. Roy, M. A. Wulder, T. R. Loveland et al. // Remote sensing of Environment. 2014. Vol. 145. P. 154–172. doi: 10.1016/j.rse.2014.02.001

17. The global monitoring for environment and security (GMES) sentinel-3 mission / C. Donlon, B. Berruti, A. Buongiorno, M.-H. Ferreira, P. Féménias, J. Frerick, P. Goryl, U. Klein, H. Laur, C. Mavrocordatos, J. Nieke, H. Rebhan, B. Seitz, J. Stroede, R. Sciarra // Remote sensing of Environment. 2012. Vol. 120. P. 37– 57. doi: 10.1016/j.rse.2011.07.024

18. Suomi NPP VIIRS sensor data record verification, validation, and long‐term performance monitoring / C. Cao, J. Xiong, S. Blonski, Q. Liu, S. Uprety, X. Shao, Y. Bai, F. Weng // J. of Geophysical Research: Atmospheres. 2013. Vol. 118, iss. 20. P. 11664–11678. doi: 10.1002/2013jd020418

19. Morgan J. L., Gergel S. E., Coops N. C. Aerial photography: a rapidly evolving tool for ecological management // BioScience. 2010. Vol. 60, № 1. P. 47– 59. doi: 10.1525/bio.2010.60.1.9

20. Zhang Y. J. Camera calibration // 3-D Computer Vision: Principles, Algorithms and Applications. Singapore: Springer Nature Singapore, 2023. P. 37–65. doi: 10.1007/978-981-19-7580-6_2

21. Hein G. W. Status, perspectives and trends of satellite navigation // Satellite Navigation. 2020. Vol. 1, № 1. P. 22. doi: 10.1186/s43020-020-00023-x

22. Petritoli E., Leccese F., Leccisi M. Inertial navigation systems for UAV: Uncertainty and error measurements // 2019 IEEE 5th Intern. Workshop on Metrology for AeroSpace (MetroAeroSpace). Turin, Italy 19–21 June 2019. IEEE, 2019. P. 1–5. doi: 10.1109/MetroAeroSpace.2019.8869618

23. A practical guide to selecting models for exploration, inference, and prediction in ecology / A. T. Tredennick, G. Hooker, S. P. Ellner, P. B. Adler // Ecology. 2021. Vol. 102, iss. 6. P. e03336. doi: 10.1002/ecy.3336

24. Machine learning in landscape ecological analysis: a review of recent approaches / M.-S. Stupariu, S. A. Cushman, A.-I. Pleşoianu, I. Pătru-Stupariu, C. Fürst // Landscape Ecology. 2022. Vol. 37, iss. 5. P. 1227–1250. doi: 10.1007/s10980-021-01366-9

25. A systematic review on the integration of remote sensing and gis to forest and grassland ecosystem health attributes, indicators, and measures / I. Soubry, T. Doan, T. Chu, X. Guo // Remote Sensing. 2021. Vol. 13, iss. 16. P. 3262. doi: 10.3390/rs13163262

26. Paramasivam C. R. Merits and demerits of GIS and geostatistical techniques // GIS and Geostatistical Techniques for Groundwater Science. 2019. P. 17–21. doi: 10.1016/B978-0-12-815413-7.00002-X

27. Merging GIS and Machine Learning Techniques: A Paper Review / C. V. Ekeanyanwu, I. F. Obisakin, P. Aduwenye, N. Dede-Bamfo // J. of Geoscience and Environment Protection. 2022. Vol. 10, № 9. P. 61– 83. doi: 10.4236/gep.2022.109004

28. Wong R. F., Rollins C. M., Minter C. F. Recent updates to the WGS 84 reference frame // Proc. of the 25th Intern. Technical Meeting of The Satellite Division of the Institute of Navigation (ION GNSS 2012). Nashville, TN. 17–21 Sept. 2012. P. 1164–1172.

29. Verma R., Ali J. A comparative study of various types of image noise and efficient noise removal techniques // Intern. J. of Advanced Research in Computer Science and Software Engineering. 2013. Vol. 3, iss. 10. P. 617–622.

30. Ochotorena C. N., Yamashita Y. Anisotropic guided filtering // IEEE Transactions on Image Processing. 2019. Vol. 29. P. 1397–1412. doi: 10.1109/TIP.2019.2941326

31. A rapid monitoring of NDVI across the wheat growth cycle for grain yield prediction using a multispectral UAV platform / M. A. Hassan, M. Yang, A. Rasheed, G. Yang, M. Reynolds, X. Xia, Y. Xiao, Z. He // Plant science. 2019. Vol. 282. P. 95–103. doi: 10.1016/j.plantsci.2018.10.022

32. Copernicus Open Access Hub. URL: https://scihub.copernicus.eu (дата обращения: 10.07.2023).

33. Earthdata. URL: https://www.earthdata.nasa.gov (дата обращения: 10.07.2023).

34. Jaramillo D., Nguyen D. V., Smart R. Leveraging microservices architecture by using Docker technology. SoutheastCon 2016. IEEE, 2016. P. 1–5. doi: 10.1109/SECON.2016.7506647

35. Requests: HTTP for Humans™. URL: https://requests.readthedocs.io/ (дата обращения: 10.07.2023).

36. Qin C. Z., Zhan L. J., Zhu A. X. How to apply the geospatial data abstraction library (GDAL) properly to parallel geospatial raster I/O? // Transactions in GIS. 2014. Vol. 18, iss. 6. P. 950–957. doi: 10.1111/tgis.12068

37. pallets/flask: The Python micro framework for building web applications // GitHub. URL: https://github.com/pallets/flask (дата обращения: 10.07.2023).

38. Jose B., Abraham S. Exploring the merits of nosql: A study based on mongodb // 2017 Intern. Conf. on Networks & Advances in Computational Technologies (NetACT). Thiruvananthapuram, India. 20–22 July 2017. IEEE, 2017. P. 266–271. doi: 10.1109/NETACT.2017.8076778