radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2021-24-3-49-59radioelectronics-521Research ArticleТЕЛЕВИДЕНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙTELEVISION AND IMAGE PROCESSINGМетод автоматического определения трехмерной траектории транспортных средств на изображенииMethod for Automatic Determination of a 3D Trajectory of Vehicles in a Video Imagehttps://orcid.org/0000-0003-0407-5651ЗубовИ. Г.ZubovI. G.

Зубов Илья Геннадьевич – магистр техники и технологий (2016), программист-алгоритмист. Автор 11 научных работ. Сфера научных интересов – цифровая обработка изображений; машинное обучение; видеоаналитика и прикладные телевизионные системы.

Пресненская наб., д. 12, этаж 35, пом. № 3, Москва, 123317

Ilya G. Zubov, Master of Engineering and Technology (2016), algorithm programmer. The author of 11 scientific publications. Area of expertise: digital image processing; applied television systems.

12, Presnenskaya Nab., floor 35, room № 3, Moscow 123317

ZubovIG@gmail.comОбуховаН. А.ObukhovaN. A.

Обухова Наталия Александровна – доктор технических наук (2009), профессор (2004), заведующая кафедрой телевидения и видеотехники. Автор более 130 научных работ. Сфера научных интересов – цифровая обработка изображений; машинное обучение; видеоаналитика и прикладные телевизионные системы.

ул. Профессора Попова, д. 5, Санкт-Петербург, 197376

Natalia A. Obukhova, Dr. of Sci. (Engineering) (2009), Professor (2004), the Chief of the Department of Television and Video Equipment. The author of more than 130 scientific publications. Area of expertise: digital image processing; applied television systems.

5 Professor Popov St., St Petersburg 197376

natalia172419@yandex.ruООО "НЕКСТ"РоссияLtd "Next"Russian FederationСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical UniversityRussian Federation2021230620212434959Copyright © Зубов И.Г., Обухова Н.А., 20212021Зубов И.Г., Обухова Н.А.Zubov I.G., Obukhova N.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/521

Введение. Важной составной частью системы управления беспилотным транспортным средством (ТС) является модуль анализа окружающего пространства. Традиционно его реализуют на основе датчиков разного типа, включая видеокамеры, лидары и радары. Развитие вычислительной и телевизионной техники позволяет реализовать модуль анализа окружающего пространства используя в качестве датчиков только видеокамеры, что снижает себестоимость модуля в целом. Основной задачей при обработке видеоданных является анализ окружающего пространства как трехмерной сцены. Трехмерная траектория объекта, в которой наряду с его локализацией на изображении учтены также габаритные размеры, ракурс (угол поворота) и вектор движения, предоставляет исчерпывающую информацию для анализа реального взаимодействия объектов. Основой построения трехмерной траектории является оценка ракурса ТС. Цель работы. Разработка метода автоматической оценки ракурса ТС на основе анализа видеоданных от одной видеокамеры.Методы и материалы. Предложен автоматический метод оценки ракурса ТС на изображении на основе каскадного подхода. Метод включает локализацию ТС, определение его ключевых точек, сегментацию ТС и оценку ракурса. Локализация ТС и определение его ключевых точек решены на основе сверточной нейронной сети. Сегментацию ТС и формирование маски объекта выполняют с переходом в полярную систему координат и поиском внешнего контура с помощью алгоритмов теории графов. Целевой ракурс ТС определяют сопоставлением Фурье-образа сигнатур маски ТС и шаблонов, полученных на основе трехмерных моделей.Результаты. Эксперименты подтвердили корректность определения ракурса ТС на основе предложенного метода. Точность определения ракурса ТС на открытом наборе изображений Carvana составила 89 %. Заключение. Предложен новый подход к задаче оценки ракурса ТС, предполагающий переход от сквозного обучения нейронных сетей для решения сразу нескольких задач, таких, как локализация, классификация, сегментация и определение ракурса, к каскадному анализу информации. Обеспечение высокой точности оценки ракурса при сквозном обучении требует больших репрезентативных наборов данных, что затрудняет масштабируемость решений для условий российских дорог. Предложенный метод позволяет определять ракурс ТС с высокой точностью без больших затрат на ручную аннотацию данных и обучение.

Introduction. An important part of an automotive unmanned vehicle (UV) control system is the environment analysis module. This module is based on various types of sensors, e.g. video cameras, lidars and radars. The development of computer and video technologies makes it possible to implement an environment analysis module using a single video camera as a sensor. This approach is expected to reduce the cost of the entire module. The main task in video image processing is to analyse the environment as a 3D scene. The 3D trajectory of an object, which takes into account its dimensions, angle of view and movement vector, as well as the vehicle pose in a video image, provides sufficient information for assessing the real interaction of objects. A basis for constructing a 3D trajectory is vehicle pose estimation.Aim. To develop an automatic method for estimating vehicle pose based on video data analysis from a single video camera.Materials and methods. An automatic method for vehicle pose estimation from a video image was proposed based on a cascade approach. The method includes vehicle detection, key points determination, segmentation and vehicle pose estimation. Vehicle detection and determination of its key points were resolved via a neural network. The segmentation of a vehicle video image and its mask preparation were implemented by transforming it into a polar coordinate system and searching for the outer contour using graph theory.Results. The estimation of vehicle pose was implemented by matching the Fourier image of vehicle mask signatures and the templates obtained based on 3D models. The correctness of the obtained vehicle pose and angle of view estimation was confirmed by experiments based on the proposed method. The vehicle pose estimation had an accuracy of 89 % on an open Carvana image dataset.Conclusion. A new approach for vehicle pose estimation was proposed, involving the transition from end-to-end learning of neural networks to resolve several problems at once, e.g., localization, classification, segmentation, and angle of view, towards cascade analysis of information. The accuracy level of end-to-end learning requires large sets of representative data, which complicates the scalability of solutions for road environments in Russia. The proposed method makes it possible to estimate the vehicle pose with a high accuracy level, at the same time as involving no large costs for manual data annotation and training.

сверточные нейронные сетианализ карт активацийлокализация ключевых точексегментация изображенийсопоставление с шаблономconvolutional neural networksanalysis of activation mapsdetection of key pointsimage segmentationpattern matchingReferencesForward Collision Warning with a Single Camera / E. Dagan, O. Mano, G. P. Stein, A. Shashua // Proc. of the IEEE Intelligent Vehicles Symp., Parma, Italy, 14–17 Jun. 2004. Piscataway: IEEE, 2004. P. 37–42. doi: 10.1109/IVS.2004.1336352Forward Collision Warning with a Single Camera / E. Dagan, O. Mano, G. P. Stein, A. Shashua // Proc. of the IEEE Intelligent Vehicles Symp., Parma, Italy, 14–17 Jun. 2004. Piscataway: IEEE, 2004. P. 37–42. doi: 10.1109/IVS.2004.1336352Комплекс видеофиксации нарушений ПДД "ИСКРА-ВИДЕО-2" КР. URL: http://www.simicon.ru/rus/product/gun/archive/iv2_k.html (дата обращения 29.08.2020)Complex of video recording of traffic violations "ISKRAVIDEO-2" KR. Available at: http://www.simicon.ru/rus/product/gun/archive/iv2_k.html (accessed 29.08.2020)MMDetection: open MMLab detection Toolbox and Benchmark / K. Chen, J. Wang, J. Pang, Y. Cao, Y. Xiong, X. Li, S. Sun, W. Feng, Z. Liu, J. Xu, Z. Zhang, D. Cheng, C. Zhu, T. Cheng, Q. Zhao, B. Li, X. Lu, R. Zhu, Y. Wu, J. Dai, J. Wang, J. Shi, W. Ouyang, C. C. Loy, D. Lin. URL: https://arxiv.org/pdf/1906.07155.pdf (дата обращения 29.08.2020)MMDetection: open MMLab detection Toolbox and Benchmark / K. Chen, J. Wang, J. Pang, Y. Cao, Y. Xiong, X. Li, S. Sun, W. Feng, Z. Liu, J. Xu, Z. Zhang, D. Cheng, C. Zhu, T. Cheng, Q. Zhao, B. Li, X. Lu, R. Zhu, Y. Wu, J. Dai, J. Wang, J. Shi, W. Ouyang, C. C. Loy, D. Lin. URL: https://arxiv.org/pdf/1906.07155.pdf (дата обращения 29.08.2020)SSD: Single Shot MultiBox Detector / W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, A. C. Berg // Europ. Conf. on Computer Vision, ECCV 2016, Amsterdam, The Netherlands, 8–16 Oct. 2016. P. 21–37. doi: 10.1007/978-3-319-46448-0_2.SSD: Single Shot MultiBox Detector / W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, A. C. Berg // Europ. Conf. on Computer Vision, ECCV 2016, Amsterdam, The Netherlands, 8–16 Oct. 2016. P. 21–37. doi: 10.1007/978-3-319-46448-0_2.Focal loss for dense object detection / T.-Y. Lin, P. Goyal, R. Girshick, K. He, P. Dollar // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2018. Vol. PAMI42, iss. 2. P. 318–327.Focal loss for dense object detection / T.-Y. Lin, P. Goyal, R. Girshick, K. He, P. Dollar // IEEE Trans. on Pattern Analysis and Machine Intelligence. 2018. Vol. PAMI42, iss. 2. P. 318–327.Li B., Liu Y., Wang X. Gradient Harmonized Single-stage Detector // Thirty-Third AAAI Conf. on Artificial Intelligence, AAAI-19, Jan. 27 – Feb. 1, 2019. P. 8577–8584.Li B., Liu Y., Wang X. Gradient Harmonized Single-stage Detector // Thirty-Third AAAI Conf. on Artificial Intelligence, AAAI-19, Jan. 27 – Feb. 1, 2019. P. 8577–8584.FCOS: Fully Convolutional One-Stage Object Detection / Z. Tian, C. Shen, H. Chen, T. He. 2019. URL: https://arxiv.org/abs/1904.01355 (дата обращения 29.08.2020)FCOS: Fully Convolutional One-Stage Object Detection / Z. Tian, C. Shen, H. Chen, T. He. 2019. URL: https://arxiv.org/abs/1904.01355 (дата обращения 29.08.2020)Mask R-CNN / K. He, G. Gkioxari, P. Dollar, R. Girshick // IEEE Intern. Conf. on Computer Vision, ICCV 2017, Venice, Italy, Oct. 22–29, 2017. URL: https://arxiv.org/pdf/1703.06870.pdf (дата обращения 29.08.2020)Mask R-CNN / K. He, G. Gkioxari, P. Dollar, R. Girshick // IEEE Intern. Conf. on Computer Vision, ICCV 2017, Venice, Italy, Oct. 22–29, 2017. URL: https://arxiv.org/pdf/1703.06870.pdf (дата обращения 29.08.2020)Bochkovskiy A., Wang C.-Y., Mark Liao H.-Y. YOLOv4: Optimal Speed and Accuracy of Object Detection. URL: https://arxiv.org/pdf/2004.10934.pdf (дата обращения 21.02.2021)Bochkovskiy A., Wang C.-Y., Mark Liao H.-Y. YOLOv4: Optimal Speed and Accuracy of Object Detection. URL: https://arxiv.org/pdf/2004.10934.pdf (дата обращения 21.02.2021)Classification and Pose Estimation of Vehicles in Videos by 3D Modeling within Discrete-Continuous Optimization / M. Hoedlmoser, B. Micusik, M.-Y. Liu, M. Pollefeys, M. Kampel // 2 nd Intern. Conf. on 3D Imaging, Modeling, Processing, Visualization and Transmission (3DimPVT), Zurich, Switzerland, 13–15 Oct. 2012. Piscataway: IEEE, 2012. P. 198–205. doi: 10.1109/3DIMPVT.2012.23Classification and Pose Estimation of Vehicles in Videos by 3D Modeling within Discrete-Continuous Optimization / M. Hoedlmoser, B. Micusik, M.-Y. Liu, M. Pollefeys, M. Kampel // 2 nd Intern. Conf. on 3D Imaging, Modeling, Processing, Visualization and Transmission (3DimPVT), Zurich, Switzerland, 13–15 Oct. 2012. Piscataway: IEEE, 2012. P. 198–205. doi: 10.1109/3DIMPVT.2012.23Subcategory-aware Convolutional Neural Networks for Object Proposals and Detection / Y. Xiang, W. Choi, Y. Lin, S. Savarese, 2017. URL: https://arxiv.org/abs/1604.04693. (дата обращения 02.06.2020)Subcategory-aware Convolutional Neural Networks for Object Proposals and Detection / Y. Xiang, W. Choi, Y. Lin, S. Savarese, 2017. URL: https://arxiv.org/abs/1604.04693. (дата обращения 02.06.2020)3D Bounding Box Estimation using Deep Learning and Geometry / A. Mousavian, D. Anguelov, J. Flynn, J. Kosecka. 2017. URL: https://arxiv.org/abs/1612.00496 (дата обращения 02.06.2020)3D Bounding Box Estimation using Deep Learning and Geometry / A. Mousavian, D. Anguelov, J. Flynn, J. Kosecka. 2017. URL: https://arxiv.org/abs/1612.00496 (дата обращения 02.06.2020)Monocular 3D Object Detection for Autonomous Driving / X. Chen, K. Kundu, Z. Zhang, H. Ma, S. Fidler, R. Urtasun // IEEE Conf. on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, USA, June 27–30, 2016. Piscataway: IEEE, 2016. P. 2147–2156.Monocular 3D Object Detection for Autonomous Driving / X. Chen, K. Kundu, Z. Zhang, H. Ma, S. Fidler, R. Urtasun // IEEE Conf. on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, USA, June 27–30, 2016. Piscataway: IEEE, 2016. P. 2147–2156.6-DoF Object Pose from Semantic Keypoints / G. Pavlakos, X. Zhou, A. Chan, K. G. Derpanis, K. Daniilidis // IEEE Intern. Conf. on Robotics and Automation (ICRA), Singapore, 29 May – 3 June, 2017. Piscataway: IEEE, 2017. P. 2011–2018. doi: 10.1109/ICRA.2017.79892336-DoF Object Pose from Semantic Keypoints / G. Pavlakos, X. Zhou, A. Chan, K. G. Derpanis, K. Daniilidis // IEEE Intern. Conf. on Robotics and Automation (ICRA), Singapore, 29 May – 3 June, 2017. Piscataway: IEEE, 2017. P. 2011–2018. doi: 10.1109/ICRA.2017.7989233Zubov I. G. Vehicle Pose Estimation Based on Object Contour // IEEE Conf. of Russian Young Researchers in Electrical and Electronic Engineering, ELCONRUS 2020, St Petersburg and Moscow, 27–30 Jan. 2020. Piscataway: IEEE, 2020. P. 1452–1454. doi: 10.1109/EIConRus49466.2020.9039472Zubov I. G. Vehicle Pose Estimation Based on Object Contour // IEEE Conf. of Russian Young Researchers in Electrical and Electronic Engineering, ELCONRUS 2020, St Petersburg and Moscow, 27–30 Jan. 2020. Piscataway: IEEE, 2020. P. 1452–1454. doi: 10.1109/EIConRus49466.2020.9039472The PASCAL Visual Object Classes Challenge (VOC2007). URL: http://www.pascal-network.org/challenges/VOC/voc2007/index.html (дата обращения 01.06.2020)The PASCAL Visual Object Classes Challenge (VOC2007). URL: http://www.pascal-network.org/challenges/VOC/voc2007/index.html (дата обращения 01.06.2020)ImageNet: A Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, L. Fei-Fei // Computer Vision and Pattern Recognition. 2009, CVPR 2009, Miami, USA, Jun. 20-25, 2009. P. 248–255. doi: 10.1109/CVPR.2009.5206848ImageNet: A Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, L. Fei-Fei // Computer Vision and Pattern Recognition. 2009, CVPR 2009, Miami, USA, Jun. 20-25, 2009. P. 248–255. doi: 10.1109/CVPR.2009.5206848Microsoft COCO: Common Objects in Context / T.-Y. Lin, M. Maire, S. Belongie, L. Bourdev, R. Girshick, J. Hays, P. Perona, D. Ramanan, C. L. Zitnick, P. Dollar // Europ. Conf. on Computer Vision. ECCV 2014, Zurich, Switzerland, Sept. 6–12, 2014. P. 740–755. doi: 10.1007/978-3-319-10602-1_48Microsoft COCO: Common Objects in Context / T.-Y. Lin, M. Maire, S. Belongie, L. Bourdev, R. Girshick, J. Hays, P. Perona, D. Ramanan, C. L. Zitnick, P. Dollar // Europ. Conf. on Computer Vision. ECCV 2014, Zurich, Switzerland, Sept. 6–12, 2014. P. 740–755. doi: 10.1007/978-3-319-10602-1_48Zeiler M. D., Fergus R. Visualizing and Understanding Convolutional Networks // Proc. of the ECCV Europ. Conf. on Computer Vision, Zurich, Switzerland, 6–12 Sept. 2014. Piscataway: IEEE, 2014. P. 818–833. doi: 10.1007/978-3-319-10590-1_53Zeiler M. D., Fergus R. Visualizing and Understanding Convolutional Networks // Proc. of the ECCV Europ. Conf. on Computer Vision, Zurich, Switzerland, 6–12 Sept. 2014. Piscataway: IEEE, 2014. P. 818–833. doi: 10.1007/978-3-319-10590-1_53Зубов И. Г. Метод автоматического определения ключевых точек объекта на изображении // Изв. вузов России. Радиоэлектроника. 2020. Т. 23, № 6. С. 6–16. doi: 10.32603/1993-8985-2020-23-6-6-16Zubov I. G. An Automatic Method for Interest Point Detection. J. of the Russian Universities. Radioelectronics. 2020, vol. 23, no. 6, pp. 6-16. doi: https://doi.org/10.32603/1993-8985-2020-23-6-6-16 (In Russ.)Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun // IEEE Conf. on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, USA, Jun. 27–30, 2016. Piscataway: IEEE, 2016. P. 770–778. doi: 10.1109/CVPR.2016.90Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun // IEEE Conf. on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, USA, Jun. 27–30, 2016. Piscataway: IEEE, 2016. P. 770–778. doi: 10.1109/CVPR.2016.90Зубов И. Г. Метод автоматической сегментации транспортных средств на изображении // Изв. вузов России. Радиоэлектроника. 2019. Т. 22, № 5. С. 6–16. doi: 10.32603/1993-8985-2019-22-5-6-16Zubov I. G. Method for Automatic Segmentation of Vehicles in Digital Images. J. of the Russian Universities. Radioelectronics. 2019, vol. 22, no. 5, pp. 6-16. doi: 10.32603/1993-8985-2019-22-5-6-16 (In Russ.)Щерба Е. В. Анализ применимости методов интерполяции и экстраполяции для решения задачи восстановления изображения // Компьютерная оптика. 2009. Т. 33, № 3. С. 336–339. URL: http://www.computeroptics.smr.ru/KO/PDF/KO33-3/33313.pdf (дата обращения 20.08.2020)Shcherba E. V. Application Analysis of Interpolation and Extrapolation Methods as Used for Image Restoration. Computer Optics. 2009, vol. 33, no. 3, pp. 336–339. Available at: http://www.computeroptics.smr.ru/KO/PDF/KO33-3/33313.pdf (accessed 20.08.2020). (In Russ.)Гонсалес Р., Вудс. Р. Цифровая обработка изображений. 3-е изд. М.: Техносфера, 2012. 834 с.Gonzalez R., Woods R. Digital Image Processing. 3 d ed. Prentice Hall, 2012, 834 p. (In Russ.)Dechter R., Pearl J. Generalized Best-First Search Strategies and the Optimality of A* // J. of the ACM (JACM). 1985. Vol. 32, № 3. P. 505–536. URL: https://www.ics.uci.edu/~dechter/publications/r0.pdf (дата обращения 29.08.2020)Dechter R., Pearl J. Generalized Best-First Search Strategies and the Optimality of A* // J. of the ACM (JACM). 1985. Vol. 32, № 3. P. 505–536. URL: https://www.ics.uci.edu/~dechter/publications/r0.pdf (дата обращения 29.08.2020)Carvana Image Masking Challenge. URL: https://www. kaggle.com/c/carvana-image-masking-challenge (дата обращения 29.08.2020)Carvana Image Masking Challenge. URL: https://www. kaggle.com/c/carvana-image-masking-challenge (дата обращения 29.08.2020)Vehicle Key-Point & Orientation Estimation. URL: https://github.com/Pirazh/Vehicle_Key_Point_Orientation_Estimation (дата обращения 29.08.2020)Vehicle Key-Point & Orientation Estimation. URL: https://github.com/Pirazh/Vehicle_Key_Point_Orientation_Estimation (дата обращения 29.08.2020)Flusser J. On the Independence of Rotation Moment Invariants // Pattern Recognition. 2000. Vol. 33, iss. 9. P. 1405–1410. doi: 10.1016/S0031-3203(99)00127-2Flusser J. On the Independence of Rotation Moment Invariants // Pattern Recognition. 2000. Vol. 33, iss. 9. P. 1405–1410. doi: 10.1016/S0031-3203(99)00127-2A Dual-Path Model with Adaptive Attention for Vehicle Re-Identification / P. Khorramshahi, A. Kumar, N. Peri, S. S. Rambhatla, J.-C. Chen, R. Chellappa. P. 6132–6141. URL: https://openaccess.thecvf.com/content_ICCV_2019/papers/Khorramshahi_A_Dual-Path_Model_With_Adaptive_Attention_for_Vehicle_Re-Identification_ICCV_2019_paper.pdf (дата обращения 29.08.2020)A Dual-Path Model with Adaptive Attention for Vehicle Re-Identification / P. Khorramshahi, A. Kumar, N. Peri, S. S. Rambhatla, J.-C. Chen, R. Chellappa. P. 6132–6141. URL: https://openaccess.thecvf.com/content_ICCV_2019/papers/Khorramshahi_A_Dual-Path_Model_With_Adaptive_Attention_for_Vehicle_Re-Identification_ICCV_2019_paper.pdf (дата обращения 29.08.2020)

The authors declare that there are no conflicts of interest present.