Метод автоматического определения ключевых точек объекта на изображении
https://doi.org/10.32603/1993-8985-2020-23-6-6-16
Аннотация
Введение. Внедрение систем технического зрения в повседневную жизнь становится все более популярным. Использование систем на основе монокулярной камеры позволяет решить большой спектр задач. Анализ монокулярных изображений является наиболее развивающимся направлением в области машинного зрения. Это обусловлено общедоступностью цифровых камер и больших наборов аннотированных данных, а также мощностью современной вычислительной техники. Для того чтобы система компьютерного зрения описывала объекты и предсказывала их действия в физическом пространстве сцены, необходимо интерпретировать анализируемое изображение с точки зрения базовой 3D-сцены. Этого можно достичь, анализируя жесткий объект как совокупность взаимно связанных частей, что представляет мощный контекст и структуру для рассуждений о физическом взаимодействии.
Цель работы. Разработка автоматического метода ключевых точек объекта интереса на изображении.
Методы и материалы. Предложен автоматический метод локализации ключевых точек транспортных средств на изображении, в частности номерного знака. Представленный метод позволяет зафиксировать ключевые точки объекта интереса на основе анализа сигналов внутренних слоев сверточных нейронных сетей, обученных для классификации изображений, и выделения объектов на изображении. Также метод позволяет детектировать части объекта без больших затрат на аннотацию данных и обучение.
Результаты. Эксперименты подтвердили корректность выделения ключевой точки объекта интереса на основе предложенного метода. Точность выделения ключевой точки на номерном знаке составила 97 %.
Заключение. Представлен новый метод выделения ключевых точек объекта интереса на основе анализа сигналов внутренних слоев сверточных нейронных сетей. Метод обладает точностью выделения ключевых точек объекта интереса на уровне современных методов, а в отдельных случаях превосходит их.
Об авторе
И. Г. Зубов
ООО "НЕКСТ"
Россия
Россия
Зубов Илья Геннадьевич – магистр техники и технологий (2016), программист-алгоритмист компании ООО "НЕКСТ". Автор шести научных публикаций. Сфера научных интересов – цифровая обработка изображений; прикладные телевизионные системы.
ул. Рочдельская, д. 15, стр. 13, Москва, 123022
Список литературы
1. Zeiler M. D., Fergus R. Visualizing and understanding convolutional networks // Proc. of the 13th Europ. Conf. on Computer Vision, Zurich, Switzerland, 6–12 Sept. 2014. Berlin: Springer, 2014. P. 818–833. doi: 10.1007/978-3-319-10590-1_53
2. Simonyan K., Vedaldi A., Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps // Proc. of the ICLR Intern. Conf. on Learning Representations, Banff, Canada, Apr. 2014. URL: https://arxiv.org/abs/1312.6034 (дата обращения 15.11.2020)
3. Simon M., Rodner E., Denzler J. Part Detector Discovery in Deep Convolutional Neural Networks // Proc. of the ACCV Asian Conf. on Computer Vision, Singapore, 1–5 Nov. 2014. Berlin: Springer, 2014. Pt. 2. P. 162–177. doi: 10.1007/978-3-319-16808-1_12
4. Object Detectors Emerge in Deep Scene CNNs / B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, A. Torralba // Intern. Conf. on Learning Representations, San Diego, USA, May 2015. URL: http://hdl.handle.net/1721.1/96942 (дата обращения 15.11.2020)
5. MMDetection: open MMLab Detection Toolbox and Benchmark / K. Chen, J. Wang, J. Pang, Yu. Cao, Yu Xiong, X. Li, Sh. Sun, W. Feng, Z. Liu, J. Xu, Zh. Zhang, D. Cheng, Ch. Zhu, T. Cheng, Q. Zhao, B. Li, X. Lu, R. Zhu, Y. Wu, J. Dai, J. Wang, J. Shi, W. Ouyang, Ch. Change Loy, D. Lin. 13 p. URL: https://arxiv.org/pdf/1906.07155.pdf (дата обращения 02.06.2020)
6. Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition, Las Vegas, USA, 27–30 June 2016. Piscataway: IEEE, 2016. Art. 16541111. doi: 10.1109/CVPR.2016.90
7. Simonyan K., Zisserman A. Very Deep Convolutional Networks for large-Scale Image Recognition. Apr 2015. 14 p. URL: https://arxiv.org/abs/1409.1556 (дата обращения 02.06.2020)
8. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications / A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam. URL: https://arxiv.org/abs/1704.04861 (дата обращения 02.06.2020)
9. SqueezeNet: AlexNet-Level Accuracy with 50x Fewer Parameters and <0.5MB Model Size / F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, K. Keutzer. URL: https://arxiv.org /abs/1602.07360 (дата обращения 02.06.2020)
10. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. URL: https://arxiv.org/abs/1804.02767 (дата обращения 02.06.2020)
11. Carvana Image Masking Challenge. URL: https://www.kaggle.com/c/carvana-image-masking-challenge (дата обращения 02.06.2020)
12. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features / Proc. of the IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, Kauai, USA, 8–14 Dec. 2001. Piscataway: IEEE. Art. 7176899. doi: 10.1109/CVPR.2001.990517
13. Silva S. M., Jung C. R. License Plate Detection and Recognition in unconstrained Scenarios // Computer Vision – ECCV 2018. 15th Europ. Conf., Munich, Germany. 8–14 Sept. 2018. Berlin: Springer, 2018. P. 593–609. doi: 10.1007/978-3-030-01258-8_36
14. Mask R-Cnn / K. He, G. Gkioxari, P. Dollar, R. Girshick // IEEE Intern. Conf. on Computer Vision (ICCV), Venice, Italy, 22–29 Oct. 2017. Piscataway: IEEE, 2017. Art. 17467816. doi: 10.1109 /ICCV.2017.322
15. Haar Cascad license plate detection. Weights for the model. URL: https://github.com/opencv/opencv/blob/master/data/haarcascades/haarcascade_licence_plate_rus_16stages.xml (дата обращения 15.11.2020)
16. Silva S. M., Jung C. R. License Plate Detection and Recognition in Unconstrained Scenarios. URL: http://sergiomsilva.com/pubs/alpr-unconstrained/ (дата обращения 31.05.2020)
17. Nomeroff Net. A Open Source Python License Plate Recognition Framework. URL: https://nomeroff.net.ua/ (дата обращения 31.05.2020)
18. PyTorch implementation of YOLOv3. URL: http://docs.openvinotoolkit.org/2019_R2/_intel_models_person_vehicle_bike_detection_crossroad_1016_description_person_vehicle_bike_detection_crossroad_1016.html (дата обращения 31.05.2020).
19. Towards End-to-End License Plate Detection and Recognition: A Large Dataset and Baseline / Z. Xu, W. Yang, A. Meng, N. Lu, H. Huang, C. Ying, L. Huang // Computer Vision. ECCV 2018. 15th Europ. Conf., Munich, Germany, 8–14 Sep. 2018. Berlin: Springer, 2018. P. 261–277. doi: 10.1007/978-3-030-01261-8_16
Рецензия
Для цитирования:
Зубов И.Г. Метод автоматического определения ключевых точек объекта на изображении. Известия высших учебных заведений России. Радиоэлектроника. 2020;23(6):6-16. https://doi.org/10.32603/1993-8985-2020-23-6-6-16
For citation:
Zubov I.G. An Automatic Method for Interest Point Detection. Journal of the Russian Universities. Radioelectronics. 2020;23(6):6-16. (In Russ.) https://doi.org/10.32603/1993-8985-2020-23-6-6-16
Просмотров: 351
Послать статью по эл. почте 