radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2024-27-5-24-40radioelectronics-930Research ArticleТЕЛЕВИДЕНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙTELEVISION AND IMAGE PROCESSINGАвтоматический захват и сопровождение объектов интереса в видеоданных с глобальным движениемAutomatic Detection and Tracking of Objects of Interest in Video Data with Global Motionhttps://orcid.org/0000-0003-1953-2085ОбуховаН. А.ObukhovaN. A.

Обухова Наталия Александровна – доктор технических наук (2009), декан факультета радиотехники и телекоммуникаций, зав. кафедрой телевидения и видеотехники.

Ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Natalia A. Obukhova – Dr Sci. in Engineering (2009), Dean of the Faculty of Radio Engineering and Telecommunications, Head of the Department of Television and Video Engineering of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

natalia172419@yandex.ruhttps://orcid.org/0000-0003-4241-4298МотыкоА. А.MotykoA. A.

Мотыко Александр Александрович – кандидат технических наук (2012), доцент кафедры телевидения и видеотехники.

Ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Alexander A. Motyko – Cand. Sci. (Eng.) (2012), Associate Professor of Television and Video Engineering of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

motyko.alexandr@yandex.ruhttps://orcid.org/0009-0001-7550-2887ЧиркуноваА. А.ChirkunovaA. A.

Чиркунова Анастасия Анатольевна – кандидат технических наук (2017), доцент кафедры телевидения и видеотехники.

Ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Anastasia A. Chirkunova – Cand. Sci. (Eng.) (2017), Associate Professor of Television and Video Engineering of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

aachirkunova@etu.ruhttps://orcid.org/0000-0003-0003-4051ПоздеевА. А.PozdeevA. A.

Поздеев Александр Анатольевич – кандидат технических наук (2023), доцент кафедры телевидения и видеотехники.

Ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Alexander. A. Pozdeev – Cand. Sci. (Eng.) (2023), Associate Professor of Television and Video Engineering of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

puches4@gmail.comhttps://orcid.org/0009-0001-1387-989XЛитвиновЕ. А.LitvinovE. A.

Литвинов Елисей Александрович – магистр по направлению "Радиотехника" (2024), аспирант (2024) кафедры телевидения и видеотехники.

Ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Elisey A. Litvinov - Master's degree in Radio Engineering, postgraduate student of Television and Video Engineering of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

lelisej@mail.ruСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical UniversityRussian Federation2024211120242752440Copyright © Обухова Н.А., Мотыко А.А., Чиркунова А.А., Поздеев А.А., Литвинов Е.А., 20242024Обухова Н.А., Мотыко А.А., Чиркунова А.А., Поздеев А.А., Литвинов Е.А.Obukhova N.A., Motyko A.A., Chirkunova A.A., Pozdeev A.A., Litvinov E.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/930Введение

Введение. Автоматический захват и сопровождение движущихся объектов в видеоданных, получаемых видеокамерой, установленной на подвижном носителе, является сегодня одной из самых востребованных задач. К факторам, затрудняющим ее успешное решение, относятся сложная фоновая обстановка, наличие ситуаций перекрытия объектов фоном и друг другом, существенное и быстрое изменение размеров объекта интереса, существенно нелинейная траектория с резкими изменениями направления движения подвижного носителя, на котором установлен сенсор.

Цель работы

Цель работы. Разработать метод автоматического захвата и сопровождения движущихся объектов в видеоданных, полученных в сложных условиях наблюдения. Дополнительным требованием к методу на этапе сопровождения является ограничение на вычислительные ресурсы.

Материалы и методы

Материалы и методы. Автоматический захват основан на сверточной нейронной сети с архитектурой YOLOv8. Сопровождение объектов реализовано без нейросетевых решений. Для обеспечения устойчивого сопровождения использованы одновременно несколько детекторов с последующим анализом получаемых ими данных. Применен детектор на основе гистограмм ориентированных градиентов (HOG), дополненный детектором на основе корреляционной фильтрации и предсказанием траектории движения на основе фильтра Калмана.

Результаты

Результаты. На этапе автоматического захвата значение оценки вероятности правильного обнаружения TPR равно 0.81, оценка вероятности ложной тревоги параметра FPR соответствует 0.10. На этапе сопровождения интенсивность отказов (срывов сопровождения) 6·10 –5.

Заключение

Заключение. Предложенный метод позволяет обнаруживать и успешно сопровождать объекты на расстоянии 1500 м при размере проекции объекта на плоскость кадра 5 × 5 пикселов в условиях глобального движения, сложного фона и существенной динамики свойств объекта интереса.

Introduction

Introduction. At present, automatic capture and tracking of moving objects in video data obtained by a video camera mounted on a mobile carrier represents a relevant research task. Its successful solution is challenged by such factors, as a non-uniform background, object overlapping between one another and the background, significant and rapid changes in the size of the object of interest, abrupt changes in the movement trajectory of the mobile carrier.

Aim

Aim. To develop an automatic method for detecting moving objects followed by their tracking in video data obtained under difficult observation conditions. An additional requirement imposed on the tracking stage consists in the restriction of computing resources.

Materials and methods

Materials and methods. The method is based on a convolutional neural network with a YOLO architecture. Due to the restriction of computing resources, object tracking is implemented without neural network solutions. In order to ensure stable tracking, several detectors are used simultaneously with the subsequent analysis of the data obtained. The tracking stage involves a detector based on histograms of oriented gradients (HOG), supplemented by a detector based on correlation filtering and motion trajectory prediction based on the Kalman filter.

Results

Results. At the automatic detection stage, the TPR, averaged over all video files participating in the experiments, was equal to 0.81, with the FPR corresponding to 0.10. At the tracking stage, the failure rate (tracking failures) was 6·10 –5.

Conclusion

Conclusion. The proposed method can be successfully used to detect and track objects at a distance of 1500 m with an object projection size on the frame of 5 × 5 pixels under the conditions of global motion, a non-uniform background, and significant changes in the properties of the object of interest.

автоматический захватсопровождение объектов интересаглобальное движениефильтр Калманагистограмма ориентированных градиентовкорреляционное сопровождениеautomatic detectionobjects of interest trackingglobal motionKalman filterhistogram of oriented gradientscorrelation trackingРабота выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации (Минобрнауки России) в рамках реализации комплексного проекта по созданию высокотехнологичного производства по теме "Мультимодальный комплекс контроля воздушного пространства аэропорта" (Соглашение о предоставлении субсидии федерального бюджета на развитие кооперации государственного научного учреждения и организации реального сектора экономики в целях реализации комплексного проекта по созданию высокотехнологичного производства № 075-11-2023-007 от 10.02.2023 г.) и в рамках Постановления Правительства РФ от 9 апреля 2010 г. № 218. Работа выполнена на базе Федерального государственного автономного образовательного учреждения высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)" (СПбГЭТУ "ЛЭТИ")The work was carried out with the financial support of the Ministry of Science and Higher Education of the Russian Federation as part of the implementation of a comprehensive project to create high-tech production on the topic "Multimodal complex for airport airspace control" (Agreement on the provision of subsidies from the federal budget for the development of cooperation between a state scientific institution and organization of the real sector of the economy in order to implement a comprehensive project for the creation of high-tech production № 075-11-2023-007 dated 02.10.2023) and within the framework of the Decree of the Government of the Russian Federation of April 9, 2010 № 218. The work was carried out on the basis of the Federal State Autonomous educational institution of higher education " Saint Petersburg Electrotechnical University (ETU)ReferencesYu Zhang, Xiangzhi Bai, Tao Wang. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure // Information Fusion. 2017. Vol. 35. P. 81–101. doi: 10.1016/j.inffus.2016.09.006Yu Zhang, Xiangzhi Bai, Tao Wang. Boundary Finding Based Multi-Focus Image Fusion through MultiScale Morphological Focus-Measure. Information Fusion. 2017, vol. 35, pp. 81–101. doi: 10.1016/j.inffus.2016.09.006Hossain M. D., Chen D. Segmentation for Object-Based Image Analysis (OBIA): A review of algorithms and challenges from remote sensing perspective // ISPRS J. of Photogrammetry and Remote Sensing. 2019. Vol. 150. P. 115–134. doi: 10.1016/j.isprsjprs.2019.02.009Hossain M. D., Chen D. Segmentation for ObjectBased Image Analysis (OBIA): A review of Algorithms and Challenges from Remote Sensing Perspective. ISPRS J. of Photogrammetry and Remote Sensing. 2019, vol. 150, pp. 115–134. doi: 10.1016/j.isprsjprs.2019.02.009Segmentation of Natural Images by Texture and Boundary Compression / H. Mobahi, S. Rao, A. Yang, S. Sastry, Y. Ma // Intern. J. of Computer Vision. 2011. Vol. 95. P. 86–98.Mobahi H., Rao S., Yang A., Sastry S., Ma Y. Segmentation of Natural Images by Texture and Boundary Compression. Intern. J. of Computer Vision. 2011, vol. 95, pp. 86–98.Natural Image Segmentation with Adaptive Texture and Boundary Encoding / S. R. Rao, H. Mobahi, A. Y. Yang, S. S. Sastry, Y. Ma; Ed. by H. Zha, R.-i. Taniguchi, S. Maybank // Computer Vision – ACCV 2009. Lecture Notes in Computer Science. Berlin: Springer, 2010. Vol. 5994. P. 135–146. doi: 10.1007/978-3-642-12307-8_13Rao S. R., Mobahi H., Yang A. Y., Sastry S. S., Ma Y. Natural Image Segmentation with Adaptive Texture and Boundary Encoding. Computer Vision – ACCV 2009. Lecture Notes in Computer Science. Ed. by H. Zha, R.-i. Taniguchi, S. Maybank. Berlin, Springer, 2010, vol. 5994, pp. 135–146. doi: 10.1007/978-3-642-12307-8_13Texture image segmentation using fused features and active contour / M. Gao, H. Chen, Sh. Zheng, B. Fang, L. Zhang // 23rd Intern. Conf. on Pattern Recognition, Cancun, Mexico, 04–08 Dec. 2016. IEEE, 2016. P. 520–526. doi: 10.1109/ICPR.2016.7899935Gao M., Chen H., Zheng Sh., Fang B., Zhang L. Texture Image Segmentation Using Fused Features and Active Contour. 23 Intern. Conf. on Pattern Recognition, Cancun, Mexico, 04–08 Dec. 2016. IEEE, 2016, pp. 520–526. doi: 10.1109/ICPR.2016.7899935Bouaynaya N., Charif-Chefchaouni M., Schonfeld D. Spatially Variant Morphological Restoration and Skeleton Representation // IEEE Transactions on Image Processing. 2006. Vol. 15, iss. 11. P. 3579–3591. doi: 10.1109/TIP.2006.877475Bouaynaya N., Charif-Chefchaouni M., Schonfeld D. Spatially Variant Morphological Restoration and Skeleton Representation. IEEE Transactions on Image Processing. 2006, vol. 15, iss. 11, pp. 3579–3591. doi: 10.1109/TIP.2006.877475Reconfigurable architecture for computing histograms in real-time tailored to FPGA-based smart camera / L. Maggiani, C. Salvadori, M. Petracca, P. Pagano, R. Saletti // IEEE 23 Intern. Symp. on Industrial Electronics (ISIE), Istanbul, Turkey, 01–04 June 2014. IEEE, 2014. P. 1042–1046. doi: 10.1109/ISIE.2014.6864756Maggiani L., Salvadori C., Petracca M., Pagano P., Saletti R. Reconfigurable Architecture for Computing Histograms in Real-Time Tailored to FPGA-Based Smart Camera. IEEE 23 Intern. Symp. on Industrial Electronics (ISIE), Istanbul, Turkey, 01–04 June 2014. IEEE, 2014, pp. 1042–1046. doi: 10.1109/ISIE.2014.6864756Dalal N., Triggs B. Histograms of oriented gradients for human detection // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR'05), San Diego, USA, 20–25 June 2005. IEEE, 2005. Vol. 1. P. 886–893. doi: 10.1109/CVPR.2005.177Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR'05), San Diego, USA, 20–25 June 2005. IEEE, 2005, vol. 1, pp. 886–893. doi: 10.1109/CVPR.2005.177Kumar S., Yadav J. S. Video Object Extraction and its Tracking using Background Subtraction in Complex Environments // Perspectives in Science. 2016. Vol. 8. P. 317–322. doi: 10.1016/j.pisc.2016.04.064Kumar S., Yadav J. S. Video Object Extraction and its Tracking using Background Subtraction in Complex Environments. Perspectives in Science. 2016, vol. 8, pp. 317–322. doi: 10.1016/j.pisc.2016.04.064Shaikh S. H, Saeed K., Chaki N. Chapter-2, Moving Object Detection Approaches, Challenges and Object Tracking // In: Moving Object Detection using Background Subtraction. SpringerBriefs in Computer Science. Cham: Springer, 2014. P. 5–11. doi: 10.1007/978-3-319-07386-6_2Shaikh S. H, Saeed K., Chaki N. Chapter-2, Moving Object Detection Approaches, Challenges and Object Tracking. In: Moving Object Detection using Background Subtraction. SpringerBriefs in Computer Science. Cham, Springer, 2014, pp. 5–11. doi: 10.1007/978-3-319-07386-6_2Barnich O., Droogenbroeck M. V. ViBe: A Universal Background Subtraction Algorithm for Video Sequences // IEEE Transactions on Image Processing. 2011. Vol. 20, iss. 6. P. 1709–1724. doi: 10.1109/TIP.2010.2101613Barnich O., Droogenbroeck M. V. ViBe: A Universal Background Subtraction Algorithm for Video Sequences. IEEE Transactions on Image Processing. 2011, vol. 20, iss. 6, pp. 1709–1724. doi: 10.1109/TIP.2010.2101613Обухова Н. А. Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах // Инфокоммуникационные технологии. 2007. № 1. C. 77–85.Obuhova N. A. Segmentation of Objects of Interest Based on Motion Feature in Video Computer Systems. Infocommunication Technologies. 2007, no. 1, pp. 77–85. (In Russ.)Aslani S., Mahdavi-Nasab H. Optical Flow Based Moving Object Detection and Tracking for Traffic Surveillance // Intern. J. of Electrical, Computer, Energetic, Electronic and Communication Engineering. 2013. Vol. 7, № 9. P. 1252–1256.Aslani S., Mahdavi-Nasab H. Optical Flow Based Moving Object Detection and Tracking for Traffic Surveillance. Intern. J. of Electrical, Computer, Energetic, Electronic and Communication Engineering. 2013, vol. 7, no. 9, pp. 1252–1256.Kale K., Pawar S., Dhulekar P. Moving Object Tracking Using Optical Flow And Motion Vector Estimation // 4th Intern. Conf. on Reliability, Infocom Technologies and Optimization (ICRITO) (Trends and Future Directions), Noida, India, 02–04 Sept. 2015. IEEE, 2015. P. 1–6. doi: 10.1109/ICRITO.2015.7359323Kale K., Pawar S., Dhulekar P. Moving Object Tracking Using Optical Flow And Motion Vector Estimation. 4th Intern. Conf. on Reliability, Infocom Technologies and Optimization (ICRITO) (Trends and Future Directions), Noida, India, 02–04 Sept. 2015. IEEE, 2015, pp. 1–6. doi: 10.1109/ICRITO.2015.7359323Обухова Н. А. Априорная оценка достоверности векторов оптического потока (векторов движения) // Изв. вузов России. Радиоэлектроника. 2006. № 3. С. 30–36.Obukhova N. A. Apriority Priori Estimation of Optical Flow Vectors (Motion Vectors) Reliability. J. of the Russian Universities. Radioelectronics. 2006, no. 3, pp. 30–36. (In Russ.)Обухова Н. А. Векторы оптического потока в задачах сегментации и сопровождения подвижных объектов // Изв. вузов России. Радиоэлектроника. 2006. № 2. С. 42–51.Obukhova N. A. Optical Flow Vectors in Tasks of Moving Objects Segmentation and Tracking. J. of the Russian Universities. Radioelectronics. 2006, no. 2, pp. 42–51. (In Russ.)Object detection with deep learning: a review / Z.-Q. Zhao, P. Zheng, S.-T. Xu, X.Wu // IEEE transaction on neural networks and learning systems. 2019. Vol. 30, iss. 11. P. 3212–3232. doi: 10.1109/TNNLS.2018.2876865Zhao Z.-Q., Zheng P., Xu S.-T., Wu X.Object Detection with Deep Learning: a Review. IEEE Transaction on Neural Networks and Learning Systems. 2019, vol. 30, iss. 11, pp. 3212–3232. doi: 10.1109/TNNLS.2018.2876865Terven J., Córdova-Esparza D.-M., Romero-González J.-A. A. Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS // Machine Learning and Knowledge Extraction. 2023. № 5. P. 1680–1716. doi: 10.3390/make5040083Terven J., Córdova-Esparza D.-M., RomeroGonzález J.-A. A. Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS. Machine Learning and Knowledge Extraction. 2023, no. 5, pp. 1680–1716. doi: 10.3390/make5040083On model evaluation under non-constant class imbalance / J. Brabec, T. Komarek, V. Franc, L. Machlica // Intern. Conf. on Computational Science. Lecture Notes in Computer Science. Cham: Springer, 2020. P. 74–87. doi: 10.1007/978-3-030-50423-6_6Brabec J., Komarek T., Franc V., Machlica L. On Model Evaluation under Non-Constant Class Imbalance. Intern. Conf. on Computational Science. Lecture Notes in Computer Science. Cham, Springer, 2020, pp. 74–87. doi: 10.1007/978-3-030-50423-6_6Verma R. A Review of Object Detection and Tracking Methods // Intern. J. of Advance Engineering and Research Development. 2017. Vol. 4, iss. 10. P. 569–578.Verma R. A Review of Object Detection and Tracking Methods. Intern. J. of Advance Engineering and Research Development. 2017, vol. 4, iss. 10, pp. 569–578.Discriminative correlation filter tracker with channel and spatial reliability / A. Lukezic, T. Voj'ir, L. Cehovin Zajc, J. Matas, M. Kristan // Intern. J. of Computer Vision. 2018. Vol. 126, iss. 8. P. 671–688. doi: 10.1007/s11263-017-1061-3Lukezic A., Voj'ir T., Cehovin Zajc L., Matas J., Kristan M. Discriminative Correlation Filter Tracker with Channel and Spatial Reliability. Intern. J. of Computer Vision. 2018, vol. 126, iss. 8, pp. 671–688. doi: 10.1007/s11263-017-1061-3Learning color names for real-world applications / J. van de Weijer, C. Schmid, J. Verbeek, D. Larlus // IEEE Trans. Image Proc. 2009. Vol. 18, iss. 7. P. 1512–1523. doi: 10.1109/TIP.2009.2019809Van de Weijer J., Schmid C., Verbeek J., Larlus D. Learning Color Names for Real-World Applications. IEEE Trans. Image Proc. 2009, vol. 18, iss. 7, pp. 1512–1523. doi: 10.1109/TIP.2009.2019809High-Speed Tracking with Kernelized Correlation Filters / J. F. Henriques, R. Caseirio, P. Martins, J. Batista // IEEE Trans on PAMI. 2015. Vol. 37, iss. 3. P. 583–596. doi: 10.1109/TPAMI.2014.2345390Henriques J. F., Caseirio R., Martins P., Batista J. High-Speed Tracking with Kernelized Correlation Filters. IEEE Trans on PAMI. 2015, vol. 37, iss. 3, pp. 583–596. doi: 10.1109/TPAMI.2014.2345390Segment Anything / A. Kirillov, E. Mintun, N. Ravi, H. Mao, Ch. Rolland, L. Gustafson // IEEE/CVF Intern. Conf. on Computer Vision (ICCV), Paris, France, 01–06 Oct. 2023. IEEE, 2023. P. 3992– 4003. doi: 10.1109/ICCV51070.2023.00371Kirillov A., Mintun E., Ravi N., Mao H., Rolland Ch., Gustafson L. Segment Anything. IEEE/CVF Intern. Conf. on Computer Vision (ICCV), Paris, France, 01–06 Oct. 2023. IEEE, 2023, pp. 3992–4003. doi: 10.1109/ICCV51070.2023.00371Метрики оценки алгоритмов автоматического сопровождения / А. Е. Щелкунов, В. В. Ковалев, К. И. Морев, И. В. Сидько // Изв. ЮФУ. Технические науки. 2020. № 1. С. 233–245. doi: 10.18522/2311-3103-2020-1-233-245Shchelkunov A. E., Kovalev V. V., Morev K. I., Sidko I. V. The Metrics for Tracking Algorithms Evaluation. Izvestiya SFEDU. Engineering Sciences. 2020, no. 1, pp. 233–245. doi: 10.18522/2311-3103-2020-1233-245 (In Russ.)

The authors declare that there are no conflicts of interest present.