radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2019-22-5-6-16radioelectronics-371Research ArticleТЕЛЕВИДЕНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙTELEVISION AND IMAGE PROCESSINGМетод автоматической сегментации транспортных средств на изображенииMethod for Automatic Segmentation of Vehicles in Digital Imageshttps://orcid.org/0000-0003-0407-5651ЗубовИ. Г.ZubovIlya G.

Зубов Илья Геннадьевич – магистр техники и технологий (2016), программист-алгоритмист компании ООО "НЕКСТ". Автор 4 научных публикаций. Сфера научных интересов – цифровая обработка изображений; прикладные телевизионные системы.

ул. Рочдельская, д. 15, стр. 13, Москва, 123022, Россия

Ilya G. Zubov, Master of Engineering and Technology (2016), Ltd "Next" algorithm programmer. The author of 4 scientific publications. Area of expertise: digital image processing; applied television systems.

15 Rochdelskaya st., bldg. 13, Moscow 123022, Russia

ZubovIG@gmail.comООО "НЕКСТ"РоссияLtd "Next"Russian Federation201904122019225616Copyright © Зубов И.Г., 20192019Зубов И.Г.Zubov I.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/371Введение

Введение. Современные системы активной безопасности транспортных средств призваны существенно снизить количество дорожно-транспортных происшествий. Датчики на основе монокулярных камер все чаще внедряются ведущими мировыми автопроизводителями как эффективный инструмент повышения безопасности движения. Современные методы локализации и классификации в совокупности с алгоритмами семантической сегментации позволяют разделить изображение на независимые группы пикселов, соответствующие каждому объекту. Тем не менее является актуальным разработка методов сегментации, обеспечивающих улучшение качества сегментации изображений.

Цель работы

Цель работы. Разработка автоматического метода сегментации детектированного объекта интереса на изображении.

Методы и материалы

Методы и материалы. В статье предложен автоматический метод сегментации транспортных средств на изображении. Представленный метод позволяет провести семантическую сегментацию объекта интереса на основе априорной информации о границах прямоугольника, ограничивающего объект на изображении. Информация о границах объекта используется для преобразования изображения в полярную систему координат, где пикселы изображения выступают в роли ребер взвешенного графа. С использованием алгоритма поиска кратчайшего пути и обратного преобразования в декартову систему координат вокруг объекта интереса формируется замкнутый контур.

Результаты

Результаты. Проведенные эксперименты подтвердили корректность выделения объекта интереса на основе предложенного метода. Коэффициент сходства Жаккара для открытой базы изображений Carvana составил 85 %. Предложенный метод также был успешно применен к разным классам изображений базы Pascal VOC, что доказало возможность обработки объектов различных классов.

Заключение

Заключение. Основной вклад предложенного метода: 1) позволяет сегментировать объект интереса на уровне современных методов сегментации, а в отдельных случаях превосходит их; 2) предоставляется новый взгляд на способ прослеживания контура объекта.

Introduction

Introduction. Modern systems for active vehicle safety are designed to significantly reduce the number of road accidents. Sensors based on monocular cameras are increasingly being introduced by the world's leading automakers as an effective tool for improving traffic safety. Modern methods of localisation and classification, combined with semantic segmentation algorithms, allow for image division into independent groups of pixels corresponding to each object. However, the problem of developing segmentation algorithms ensuring improved quality of image segmentation remains to be solved.

Aim

Aim. To develop an automatic method for segmenting a given object during image analysis.

Materials and methods

Materials and methods. An automatic method for segmenting vehicles in an image was proposed. The method presented herein allows semantic segmentation of the object of interest, based upon a priori information about the bounding boxes, which frame the objects in the image. Bounding box information is used to transform an image into a polar coordinate system where the pixels of the image act as the edges of a weighted graph. A closed contour is obtained around the object of interest by using the shortest path search algorithm and inverse transformation to the Cartesian coordinate system.

Results

Results. The experiments confirmed the correctness of the selected area of interest based on this algorithm. Jacquard’s similarity coefficient for the Carvana open database is 85 %. Furthermore, the proposed method was applied to different classes of images from the Pascal VOC database, thus demonstrating the ability to segment objects of other classes.

Conclusion

Conclusion. The main contribution of the proposed method was as follows: 1) segmentation of the object of interest at the level of modern methods, and in some cases in excess thereof; 2) the study presents a new look at the way of tracking object contours.

сегментация изображенийвыделение области интересапоиск кратчайшего пути в графеалгоритм Aполярная система координатImage segmentationselection of the region of interestalgorithm Apolar coordinate systemshortest path in the graphReferencesForward Collision Warning with a Single Camera / E. Dagan, O. Mano, G. P. Stein, A. Shashua // Proc. of the IEEE Intelligent Vehicles Symp. Parma, Italy, 14–17 June 2004. Piscataway: IEEE, 2004. P. 37–42. doi: 10.1109/IVS.2004.1336352Dagan E., Mano O., Stein G. P., Shashua A. Forward Collision Warning with a Single Camera. Proc. of the IEEE Intelligent Vehicles Symp. Parma, Italy. 14–17 June 2004. Piscataway, IEEE, 2004, pp. 37–42. doi: 10.1109/IVS.2004.1336352Imagenet: A Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, L. Fei-Fei // IEEE Conf. on Computer Vision and Pattern Recognition 2009. Miami, FL, USA, 20–25 June 2009. Piscataway: IEEE, 2009. P. 248–255. doi: 10.1109/CVPR.2009.5206848Deng J., Dong W., Socher R., Li L.-J., Li K., Fei-Fei L. Imagenet: A Large-Scale Hierarchical Image Database. IEEE Conf. on Computer Vision and Pattern Recognition 2009. Miami, FL, USA, 20–25 June 2009. Piscataway, IEEE, 2009, pp. 248–255. doi: 10.1109/CVPR.2009.5206848You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi. URL: https://arxiv.org/pdf/1506.02640.pdf (дата обращения 29.08.2019)Redmon J., Divvala S., Girshick R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection. 2015. Available at: https://arxiv.org/pdf/1506.02640.pdf (accessed 29.08.2019)Girshick R. Fast R-CNN // IEEE Intern. Conf. on Computer Vision (ICCV), 2015. URL: https://arxiv.org/pdf/1504.08083.pdf (дата обращения 29.08.2019)Girshick R. Fast R-CNN. IEEE Intern. Conf. on Computer Vision (ICCV), 2015. Available at: https://arxiv.org/pdf/1504.08083.pdf (accessed 29.08.2019)Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. URL: https://arxiv.org/pdf/1409.1556.pdf (дата обращения 02.09.2019)Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. Available at: https://arxiv.org/pdf/1409.1556.pdf (accessed 02.09.2019)Object Detection with Discriminatively Trained Part Based Models / P. Felzenszwalb, R. Girshick, D. McAllester, D. Ramanan // IEEE trans. on pattern analysis and machine intelligence (PAMI). 2010. № 9. URL: http://cs.brown.edu/people/pfelzens/papers/lsvm-pami.pdf (дата обращения 29.08.2019)Felzenszwalb P., Girshick R., McAllester D., Ramanan D. Object Detection with Discriminatively Trained Part Based Models. IEEE trans. on pattern analysis and machine intelligence (PAMI). 2010, no. 9. Available at: http://cs.brown.edu/people/pfelzens/papers/lsvm-pami.pdf (accessed 29.08.2019)Multiple Kernels for Object Detection / A. Vedaldi, V. Gulshan, M. Varma, A. Zisserman // 2009 IEEE 12th Intern. Conf. on Comp. Vision. Kyoto, Japan, 29 Sept.– 2 Oct. 2009. Piscataway: IEEE, 2009. P. 606–613. doi: 10.1109/ICCV. 2009.5459183Vedaldi A., Gulshan V., Varma M., Zisserman A. Multiple Kernels for Object Detection. 2009 IEEE 12th Intern. Conf. on Comp. Vision. Kyoto, Japan, 29 Sept.–2 Oct. 2009. Piscataway, IEEE, 2009, pp. 606–613. doi: 10.1109/ICCV.2009.5459183Viola P., Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features // CVPR, 2001. Kauai, HI, USA, 8–14 Dec. 2001. Piscataway: IEEE, 2001. URL: https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr-01.pdf (дата обращения 27.08.2019)Viola P., Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features. CVPR, 2001. Kauai, HI, USA, 8–14 Dec. 2001. Piscataway, IEEE, 2001. Available at: https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr-01.pdf (accessed 27.08.2019)Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik // In Proc. of the IEEE Conf. on Comp. vision and pattern recognition. Columbus, USA, 23–28 June 2014. Piscataway: IEEE, 2014. P. 580–587. doi: 10.1109/CVPR.2014.81Girshick R., Donahue J., Darrell T., Malik J. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. In Proc. of the IEEE Conf. on Comp. vision and pattern recognition. Columbus, USA, 23–28 June 2014. Piscataway, IEEE, 2014, pp. 580–587. doi: 10.1109/CVPR.2014.81Overfeat: Integrated Recognition, Localization and Detection Using Convolutional Networks. URL: https://arxiv.org/pdf/1312.6229v4.pdf (дата обращения 20.08.2019)Overfeat: Integrated Recognition, Localization and Detection Using Convolutional Networks. Available at: https://arxiv.org/pdf/1312.6229v4.pdf (accessed 20.08.2019)A Review of Computer Vision Segmentation Algorithms. URL https://courses.cs.washington.edu/courses/cse576/12sp/notes/remote.pdf (дата обращения 20.08.2019)A Review of Computer Vision Segmentation Algorithms. Available at: https://courses.cs.washington.edu/courses/cse576/12sp/notes/remote.pdf (accessed 20.08.2019)Yuheng S., Yan Hao. Image Segmentation Algorithms Overview // Computer Vision and Pattern Recognition. 2017. URL: https://arxiv.org/ftp/arxiv/papers/1707/1707.02051.pdf (дата обращения 20.08.2019)Yuheng S., Yan Hao. Image Segmentation Algorithms Overview. Computer Vision and Pattern Recognition. 2017. Available at: https://arxiv.org/ftp/arxiv/papers/1707/1707.02051.pdf (accessed 20.08.2019)Jyotsana M., Nirvair N. A Brief Review: SuperPixel Based Image Segmentation Methods // Imperial J. of Interdisciplinary Research. 2016. Vol. 2, iss. 9. P. 8–12. URL: https://pdfs.semanticscholar.org/4aee/70a322c01bc4dfd51c3164e480c3984b8071.pdf (дата обращения 20.08.2019)Jyotsana M., Nirvair N. A Brief Review: Super-Pixel Based Image Segmentation Methods. Imperial J. of Interdisciplinary Research. 2016, vol. 2, iss. 9, pp. 8–12. Available at: https://pdfs.semanticscholar.org/4aee/70a322c01bc4dfd51c3164e480c3984b8071.pdf (accessed 20.08.2019)Щерба Е. В. Анализ применимости методов интерполяции и экстраполяции для решения задачи восстановления изображения // Компьютерная оптика. 2009. Т. 33, № 3. С. 336–339. URL: http://www.computeroptics.smr.ru/KO/PDF/KO33-3/33313.pdf (дата обращения 20.08.2019).Shcherba E. V. Application Analysis of Interpolation and Extrapolation Methods as Used for Image Restoration. Computer Optics. 2009, vol. 33, no. 3, pp. 336–339. Available at: http://www.computeroptics.smr.ru/KO/PDF/KO33-3/33313.pdf (accessed 20.08.2019). (In Russ.)Гонсалес Р., Вудс. Р. Цифровая обработка изображений. 3-е изд. М.: Техносфера, 2012. 834 с.Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazhenii [Digital Image Processing]. Moscow, Tekhnosfera, 2012, 834 p. (In Russ.)Dechter R., Pearl J. Generalized Best-First Search Strategies and the Optimality of A* // J. of the ACM (JACM). 1985. Vol. 32, № 3. P. 505–536. URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.89.3090&rep=rep1&type=pdf (дата обращения 20.08.2019)Dechter R., Pearl J. Generalized Best-First Search Strategies and the Optimality of A*. Journal of the ACM (JACM). 1985, vol. 32, no. 3, pp. 505–536. Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.89.3090&rep=rep1&type=pdf (accessed 20.08.2019)Bandyopadhyay S., Maulik U. An Evolutionary Technique Based on K-Means Algorithm for Optimal Clustering in RN // Information Sciences. 2002. Vol. 146, iss. 1–4. P. 221–237. doi: 10.1016/S0020-0255(02)00208-6Bandyopadhyay S., Maulik U. An Evolutionary Technique Based on K-Means Algorithm for Optimal Clustering in RN. Information Sciences. 2002, vol. 146, iss. 1–4, pp. 221–237. doi: 10.1016/S0020-0255(02)00208-6Rother C., Kolmogorov V., Blake A. “GrabCut” – Interactive Foreground Extraction Using Iterated Graph Cuts // ACM Trans. on Graphics. 2004. Vol. 23. P. 309–314.Rother C., Kolmogorov V., Blake A. “GrabCut” - Interactive Foreground Extraction Using Iterated Graph Cuts. ACM Trans. on Graphics. 2004, vol. 23, pp. 309–314.Mask R-CNN / K. He, G. Gkioxari, P. Dollar, R. Girshick // Computer Vision and Pattern Recognition. URL: https://arxiv.org/pdf/1703.06870.pdf (дата обращения 20.08.2019)He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN. Computer Vision and Pattern Recognition. Available at: https://arxiv.org/pdf/1703.06870.pdf (accessed 20.08.2019)Graph cut based image segmentation with connectivity priors. URL: https://pub.ist.ac.at/~vnk/papers/connectedGC-CVPR08.pdf (дата обращения 28.10.2019).Graph cut based image segmentation with connectivity priors. Available at: https://pub.ist.ac.at/~vnk/papers/connectedGC-CVPR08.pdf (accessed 28.10.2019)Deep Residual Learning for Image Recognition. URL: https://arxiv.org/pdf/1512.03385.pdf (дата обращения 20.08.2019).Deep Residual Learning for Image Recognition. Available at: https://arxiv.org/pdf/1512.03385.pdf(accessed 20.08.2019)Carvana Image Masking Challenge. URL: https://www.kaggle.com/c/carvana-image-masking-challenge (дата обращения 20.08.2019)Carvana Image Masking Challenge. Available at: https://www.kaggle.com/c/carvana-image-masking-challenge (accessed 20.08.2019)The PASCAL Visual Object Classes Challenge (VOC2007). URL: http://www.pascal-network.org/challenges/VOC/voc2007/index.html (дата обращения 20.08.2019)The PASCAL Visual Object Classes Challenge (VOC2007). URL: http://www.pascal-network.org/challenges/VOC/voc2007/index.html (accessed 20.08.2019)

The authors declare that there are no conflicts of interest present.