Метод автоматической сегментации транспортных средств на изображении

Введение. Современные системы активной безопасности транспортных средств призваны существенно снизить количество дорожно-транспортных происшествий. Датчики на основе монокулярных камер все чаще внедряются ведущими мировыми автопроизводителями как эффективный инструмент повышения безопасности движения. Современные методы локализации и классификации в совокупности с алгоритмами семантической сегментации позволяют разделить изображение на независимые группы пикселов, соответствующие каждому объекту. Тем не менее является актуальным разработка методов сегментации, обеспечивающих улучшение качества сегментации изображений.

Цель работы. Разработка автоматического метода сегментации детектированного объекта интереса на изображении.

Методы и материалы. В статье предложен автоматический метод сегментации транспортных средств на изображении. Представленный метод позволяет провести семантическую сегментацию объекта интереса на основе априорной информации о границах прямоугольника, ограничивающего объект на изображении. Информация о границах объекта используется для преобразования изображения в полярную систему координат, где пикселы изображения выступают в роли ребер взвешенного графа. С использованием алгоритма поиска кратчайшего пути и обратного преобразования в декартову систему координат вокруг объекта интереса формируется замкнутый контур.

Результаты. Проведенные эксперименты подтвердили корректность выделения объекта интереса на основе предложенного метода. Коэффициент сходства Жаккара для открытой базы изображений Carvana составил 85 %. Предложенный метод также был успешно применен к разным классам изображений базы Pascal VOC, что доказало возможность обработки объектов различных классов.

Заключение. Основной вклад предложенного метода: 1) позволяет сегментировать объект интереса на уровне современных методов сегментации, а в отдельных случаях превосходит их; 2) предоставляется новый взгляд на способ прослеживания контура объекта.

1. Forward Collision Warning with a Single Camera / E. Dagan, O. Mano, G. P. Stein, A. Shashua // Proc. of the IEEE Intelligent Vehicles Symp. Parma, Italy, 14–17 June 2004. Piscataway: IEEE, 2004. P. 37–42. doi: 10.1109/IVS.2004.1336352

2. Imagenet: A Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, L. Fei-Fei // IEEE Conf. on Computer Vision and Pattern Recognition 2009. Miami, FL, USA, 20–25 June 2009. Piscataway: IEEE, 2009. P. 248–255. doi: 10.1109/CVPR.2009.5206848

3. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi. URL: https://arxiv.org/pdf/1506.02640.pdf (дата обращения 29.08.2019)

4. Girshick R. Fast R-CNN // IEEE Intern. Conf. on Computer Vision (ICCV), 2015. URL: https://arxiv.org/pdf/1504.08083.pdf (дата обращения 29.08.2019)

5. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. URL: https://arxiv.org/pdf/1409.1556.pdf (дата обращения 02.09.2019)

6. Object Detection with Discriminatively Trained Part Based Models / P. Felzenszwalb, R. Girshick, D. McAllester, D. Ramanan // IEEE trans. on pattern analysis and machine intelligence (PAMI). 2010. № 9. URL: http://cs.brown.edu/people/pfelzens/papers/lsvm-pami.pdf (дата обращения 29.08.2019)

7. Multiple Kernels for Object Detection / A. Vedaldi, V. Gulshan, M. Varma, A. Zisserman // 2009 IEEE 12th Intern. Conf. on Comp. Vision. Kyoto, Japan, 29 Sept.– 2 Oct. 2009. Piscataway: IEEE, 2009. P. 606–613. doi: 10.1109/ICCV. 2009.5459183

8. Viola P., Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features // CVPR, 2001. Kauai, HI, USA, 8–14 Dec. 2001. Piscataway: IEEE, 2001. URL: https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr-01.pdf (дата обращения 27.08.2019)

9. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik // In Proc. of the IEEE Conf. on Comp. vision and pattern recognition. Columbus, USA, 23–28 June 2014. Piscataway: IEEE, 2014. P. 580–587. doi: 10.1109/CVPR.2014.81

10. Overfeat: Integrated Recognition, Localization and Detection Using Convolutional Networks. URL: https://arxiv.org/pdf/1312.6229v4.pdf (дата обращения 20.08.2019)

11. A Review of Computer Vision Segmentation Algorithms. URL https://courses.cs.washington.edu/courses/cse576/12sp/notes/remote.pdf (дата обращения 20.08.2019)

12. Yuheng S., Yan Hao. Image Segmentation Algorithms Overview // Computer Vision and Pattern Recognition. 2017. URL: https://arxiv.org/ftp/arxiv/papers/1707/1707.02051.pdf (дата обращения 20.08.2019)

13. Jyotsana M., Nirvair N. A Brief Review: SuperPixel Based Image Segmentation Methods // Imperial J. of Interdisciplinary Research. 2016. Vol. 2, iss. 9. P. 8–12. URL: https://pdfs.semanticscholar.org/4aee/70a322c01bc4dfd51c3164e480c3984b8071.pdf (дата обращения 20.08.2019)

14. Щерба Е. В. Анализ применимости методов интерполяции и экстраполяции для решения задачи восстановления изображения // Компьютерная оптика. 2009. Т. 33, № 3. С. 336–339. URL: http://www.computeroptics.smr.ru/KO/PDF/KO33-3/33313.pdf (дата обращения 20.08.2019).

15. Гонсалес Р., Вудс. Р. Цифровая обработка изображений. 3-е изд. М.: Техносфера, 2012. 834 с.

16. Dechter R., Pearl J. Generalized Best-First Search Strategies and the Optimality of A* // J. of the ACM (JACM). 1985. Vol. 32, № 3. P. 505–536. URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.89.3090&rep=rep1&type=pdf (дата обращения 20.08.2019)

17. Bandyopadhyay S., Maulik U. An Evolutionary Technique Based on K-Means Algorithm for Optimal Clustering in RN // Information Sciences. 2002. Vol. 146, iss. 1–4. P. 221–237. doi: 10.1016/S0020-0255(02)00208-6

18. Rother C., Kolmogorov V., Blake A. “GrabCut” – Interactive Foreground Extraction Using Iterated Graph Cuts // ACM Trans. on Graphics. 2004. Vol. 23. P. 309–314.

19. Mask R-CNN / K. He, G. Gkioxari, P. Dollar, R. Girshick // Computer Vision and Pattern Recognition. URL: https://arxiv.org/pdf/1703.06870.pdf (дата обращения 20.08.2019)

20. Graph cut based image segmentation with connectivity priors. URL: https://pub.ist.ac.at/~vnk/papers/connectedGC-CVPR08.pdf (дата обращения 28.10.2019).

21. Deep Residual Learning for Image Recognition. URL: https://arxiv.org/pdf/1512.03385.pdf (дата обращения 20.08.2019).

22. Carvana Image Masking Challenge. URL: https://www.kaggle.com/c/carvana-image-masking-challenge (дата обращения 20.08.2019)

23. The PASCAL Visual Object Classes Challenge (VOC2007). URL: http://www.pascal-network.org/challenges/VOC/voc2007/index.html (дата обращения 20.08.2019)