Автоматический захват и сопровождение объектов интереса в видеоданных с глобальным движением

Введение. Автоматический захват и сопровождение движущихся объектов в видеоданных, получаемых видеокамерой, установленной на подвижном носителе, является сегодня одной из самых востребованных задач. К факторам, затрудняющим ее успешное решение, относятся сложная фоновая обстановка, наличие ситуаций перекрытия объектов фоном и друг другом, существенное и быстрое изменение размеров объекта интереса, существенно нелинейная траектория с резкими изменениями направления движения подвижного носителя, на котором установлен сенсор.

Цель работы. Разработать метод автоматического захвата и сопровождения движущихся объектов в видеоданных, полученных в сложных условиях наблюдения. Дополнительным требованием к методу на этапе сопровождения является ограничение на вычислительные ресурсы.

Материалы и методы. Автоматический захват основан на сверточной нейронной сети с архитектурой YOLOv8. Сопровождение объектов реализовано без нейросетевых решений. Для обеспечения устойчивого сопровождения использованы одновременно несколько детекторов с последующим анализом получаемых ими данных. Применен детектор на основе гистограмм ориентированных градиентов (HOG), дополненный детектором на основе корреляционной фильтрации и предсказанием траектории движения на основе фильтра Калмана.

Результаты. На этапе автоматического захвата значение оценки вероятности правильного обнаружения TPR равно 0.81, оценка вероятности ложной тревоги параметра FPR соответствует 0.10. На этапе сопровождения интенсивность отказов (срывов сопровождения) 6·10 ^–5.

Заключение. Предложенный метод позволяет обнаруживать и успешно сопровождать объекты на расстоянии 1500 м при размере проекции объекта на плоскость кадра 5 × 5 пикселов в условиях глобального движения, сложного фона и существенной динамики свойств объекта интереса.

1. Yu Zhang, Xiangzhi Bai, Tao Wang. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure // Information Fusion. 2017. Vol. 35. P. 81–101. doi: 10.1016/j.inffus.2016.09.006

2. Hossain M. D., Chen D. Segmentation for Object-Based Image Analysis (OBIA): A review of algorithms and challenges from remote sensing perspective // ISPRS J. of Photogrammetry and Remote Sensing. 2019. Vol. 150. P. 115–134. doi: 10.1016/j.isprsjprs.2019.02.009

3. Segmentation of Natural Images by Texture and Boundary Compression / H. Mobahi, S. Rao, A. Yang, S. Sastry, Y. Ma // Intern. J. of Computer Vision. 2011. Vol. 95. P. 86–98.

4. Natural Image Segmentation with Adaptive Texture and Boundary Encoding / S. R. Rao, H. Mobahi, A. Y. Yang, S. S. Sastry, Y. Ma; Ed. by H. Zha, R.-i. Taniguchi, S. Maybank // Computer Vision – ACCV 2009. Lecture Notes in Computer Science. Berlin: Springer, 2010. Vol. 5994. P. 135–146. doi: 10.1007/978-3-642-12307-8_13

5. Texture image segmentation using fused features and active contour / M. Gao, H. Chen, Sh. Zheng, B. Fang, L. Zhang // 23rd Intern. Conf. on Pattern Recognition, Cancun, Mexico, 04–08 Dec. 2016. IEEE, 2016. P. 520–526. doi: 10.1109/ICPR.2016.7899935

6. Bouaynaya N., Charif-Chefchaouni M., Schonfeld D. Spatially Variant Morphological Restoration and Skeleton Representation // IEEE Transactions on Image Processing. 2006. Vol. 15, iss. 11. P. 3579–3591. doi: 10.1109/TIP.2006.877475

7. Reconfigurable architecture for computing histograms in real-time tailored to FPGA-based smart camera / L. Maggiani, C. Salvadori, M. Petracca, P. Pagano, R. Saletti // IEEE 23 Intern. Symp. on Industrial Electronics (ISIE), Istanbul, Turkey, 01–04 June 2014. IEEE, 2014. P. 1042–1046. doi: 10.1109/ISIE.2014.6864756

8. Dalal N., Triggs B. Histograms of oriented gradients for human detection // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR'05), San Diego, USA, 20–25 June 2005. IEEE, 2005. Vol. 1. P. 886–893. doi: 10.1109/CVPR.2005.177

9. Kumar S., Yadav J. S. Video Object Extraction and its Tracking using Background Subtraction in Complex Environments // Perspectives in Science. 2016. Vol. 8. P. 317–322. doi: 10.1016/j.pisc.2016.04.064

10. Shaikh S. H, Saeed K., Chaki N. Chapter-2, Moving Object Detection Approaches, Challenges and Object Tracking // In: Moving Object Detection using Background Subtraction. SpringerBriefs in Computer Science. Cham: Springer, 2014. P. 5–11. doi: 10.1007/978-3-319-07386-6_2

11. Barnich O., Droogenbroeck M. V. ViBe: A Universal Background Subtraction Algorithm for Video Sequences // IEEE Transactions on Image Processing. 2011. Vol. 20, iss. 6. P. 1709–1724. doi: 10.1109/TIP.2010.2101613

12. Обухова Н. А. Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах // Инфокоммуникационные технологии. 2007. № 1. C. 77–85.

13. Aslani S., Mahdavi-Nasab H. Optical Flow Based Moving Object Detection and Tracking for Traffic Surveillance // Intern. J. of Electrical, Computer, Energetic, Electronic and Communication Engineering. 2013. Vol. 7, № 9. P. 1252–1256.

14. Kale K., Pawar S., Dhulekar P. Moving Object Tracking Using Optical Flow And Motion Vector Estimation // 4th Intern. Conf. on Reliability, Infocom Technologies and Optimization (ICRITO) (Trends and Future Directions), Noida, India, 02–04 Sept. 2015. IEEE, 2015. P. 1–6. doi: 10.1109/ICRITO.2015.7359323

15. Обухова Н. А. Априорная оценка достоверности векторов оптического потока (векторов движения) // Изв. вузов России. Радиоэлектроника. 2006. № 3. С. 30–36.

16. Обухова Н. А. Векторы оптического потока в задачах сегментации и сопровождения подвижных объектов // Изв. вузов России. Радиоэлектроника. 2006. № 2. С. 42–51.

17. Object detection with deep learning: a review / Z.-Q. Zhao, P. Zheng, S.-T. Xu, X.Wu // IEEE transaction on neural networks and learning systems. 2019. Vol. 30, iss. 11. P. 3212–3232. doi: 10.1109/TNNLS.2018.2876865

18. Terven J., Córdova-Esparza D.-M., Romero-González J.-A. A. Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS // Machine Learning and Knowledge Extraction. 2023. № 5. P. 1680–1716. doi: 10.3390/make5040083

19. On model evaluation under non-constant class imbalance / J. Brabec, T. Komarek, V. Franc, L. Machlica // Intern. Conf. on Computational Science. Lecture Notes in Computer Science. Cham: Springer, 2020. P. 74–87. doi: 10.1007/978-3-030-50423-6_6

20. Verma R. A Review of Object Detection and Tracking Methods // Intern. J. of Advance Engineering and Research Development. 2017. Vol. 4, iss. 10. P. 569–578.

21. Discriminative correlation filter tracker with channel and spatial reliability / A. Lukezic, T. Voj'ir, L. Cehovin Zajc, J. Matas, M. Kristan // Intern. J. of Computer Vision. 2018. Vol. 126, iss. 8. P. 671–688. doi: 10.1007/s11263-017-1061-3

22. Learning color names for real-world applications / J. van de Weijer, C. Schmid, J. Verbeek, D. Larlus // IEEE Trans. Image Proc. 2009. Vol. 18, iss. 7. P. 1512–1523. doi: 10.1109/TIP.2009.2019809

23. High-Speed Tracking with Kernelized Correlation Filters / J. F. Henriques, R. Caseirio, P. Martins, J. Batista // IEEE Trans on PAMI. 2015. Vol. 37, iss. 3. P. 583–596. doi: 10.1109/TPAMI.2014.2345390

24. Segment Anything / A. Kirillov, E. Mintun, N. Ravi, H. Mao, Ch. Rolland, L. Gustafson // IEEE/CVF Intern. Conf. on Computer Vision (ICCV), Paris, France, 01–06 Oct. 2023. IEEE, 2023. P. 3992– 4003. doi: 10.1109/ICCV51070.2023.00371

25. Метрики оценки алгоритмов автоматического сопровождения / А. Е. Щелкунов, В. В. Ковалев, К. И. Морев, И. В. Сидько // Изв. ЮФУ. Технические науки. 2020. № 1. С. 233–245. doi: 10.18522/2311-3103-2020-1-233-245