radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2019-22-1-17-28radioelectronics-286Research ArticleТЕЛЕВИДЕНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙTELEVISION AND IMAGE PROCESSINGПРИМЕНЕНИЕ МЕТОДОВ ОБНАРУЖЕНИЯ ОБЪЕКТОВ К ИЗОБРАЖЕНИЯМ ВЗЛЕТНО-ПОСАДОЧНОЙ ПОЛОСЫ, ПОЛУЧЕННЫМ В УСЛОВИЯХ ПЛОХОЙ ВИДИМОСТИOBJECT DETECTION METHOD APPLICATION TO RUNWAY IMAGERY IN LOW VISIBILITY CONDITIONSАндреевД. С.AndreevD. S.

магистр по направлению "Радиотехника" (2017), аспирант кафедры телевидения и видеотехники

andreev.93@gmail.comСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical University "LETI"Russian Federation201928022019011728Copyright © Андреев Д.С., 20192019Андреев Д.С.Andreev D.S.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/286

При обеспечении безопасности движения самолета особенно важна осведомленность экипажа о закабинном пространстве в условиях плохой видимости. Важнейшую роль играет информация о состоянии взлетно-посадочной полосы (ВПП) и о наличии на ней препятствий. Существуют наземные системы обнаружения препятствий, но в настоящее время такими системами оборудованы лишь крупные аэропорты. Альтернативой могут служить системы улучшенного видения, используемые на воздушном судне в условиях плохой видимости. Цель представленного в настоящей статье исследования – разработка средств обнаружения препятствий на ВПП в условиях плохой видимости, которые должны расширить возможности систем улучшенного видения. В рамках исследования рассмотрены методы обнаружения объектов только на статичных изображениях. Проведен анализ разметки, объектов ВПП и возможных типов препятствий. Определены цели для обнаружения. На комплексном авиационном тренажере выполнено моделирование снимков ВПП в условиях плохой видимости. В качестве моделируемой цели для обнаружения выбрано воздушное судно на ВПП, потерявшее способность двигаться. Сформулированы требования к дескрипторам признаков, методам распознавания и обнаружения, выбраны методы для исследования. Проведена оценка применимости методов к изображениям ВПП, полученным в условиях плохой видимости выше и ниже высоты принятия решения с учетом различных характеристик. Исследованные методы решают задачу обнаружения объектов ВПП в условиях плохой видимости для статичного изображения. Сформулированы выводы о возможности применения исследованных методов в системах улучшенного видения. В дальнейшем требуется разработка методов оптимизации для обеспечения обнаружения на видеопоследовательности в режиме реального времени. Результаты представленной работы актуальны в задачах авиаприборостроения, компьютерного видения и обработки изображений.

When ensuring aviation safety, the outboard environment awareness of the crew in low visibility conditions is especially important. The information about the runway condition and availability of any obstacles is crucial. There are ground-based obstacle detection systems, but currently only large airports are equipped with them. There are Enhanced Vision Systems designed for application on aircraft in low visibility conditions. The main goal of this research is to develop the means of runway obstacle recognition in low visibility conditions, which are to improve the capabilities of Enhanced Vision Systems. The research covers only the methods for static image object detection. The analysis of the runway markings, objects and possible obstacles is performed. Targets for acquisition are defined. The simulation of runway images is performed on full-flight simulator in low visibility conditions. The requirements for features descriptors, recognition and detection methods are defined and methods for research are defined. The paper provides evaluation of method applicability to runway pictures taken in poor visibility conditions above and below the decision height taking into account various characteristics. The covered methods solve the problem of detecting objects of the runway in low visibility conditions for static image. Conclusions about the possibility to use the studied methods in Enhanced Vision Systems are made. Further development of optimization methods is required to perform detection in video sequences in real time. The results of this work are relevant to the tasks of avionics, computer vision and image processing.

система улучшенного виденияраспознавание объектоввзлетно-посадочная полосаобнаружение объектов на изображенияханализ изображенийenhanced vision systemobject recognitionrunwayobject detection in imagesimage analysisReferencesВизильтер Ю. В., Желтов С. Ю. Проблемы технического зрения в современных авиационных системах // Тр. науч.-техн. конф.-семинара “Техническое зрение в системах управления мобильными объектами – 2010”, Таруса, 16–18 марта 2010; под ред. Р. Р. Назирова. М.: Университет Книжный Дом, 2011. Вып. 4. С. 11–44.Vizilter Yu. V., Zheltov S. Yu. Problemy tekhnicheskogo zreniya v sovremennykh aviatsionnykh sistemakh [Problems of Technical Vision in Modern Aviation Systems]. Proceedings of Scientific and Technical Conference-Seminar “Technical Vision in Mobile Object Management Systems - 2010”, Tarusa, 16–18 March 2010. Ed. by R. R. Nazirov. Moscow, University Book House, 2011, vol. 4, pp. 11–44. (In Russian)U.S. Federal Aviation Administration. Advisory circular on Airport Foreign Object Debris (FOD) Detection Equipmen. 2009. URL: https://www.faa.gov/documentLibrary /media/Advisory_Circular/150_5210_24.pdf (дата обращения 10.02.2019)U.S. Federal Aviation Administration. Advisory circular on Airport Foreign Object Debris (FOD) Detection Equipmen. 2009. Available at: https://www.faa.gov/documentLibrary/media/Advisory_Circular/150_5210_24.pdf (accessed 10.02.2019)Weller J. R. FOD detection system. Evaluation, performance assessment and regulatory guidance // Wildlife and Foreign Object Debris (FOD). Workshop, Cairo, Egypt, 24–26 March, 2014. URL: https://www.icao.int/MID /Documents/2014/Wildlife%20and%20FOD%20Workshop /Assessing%20Risk%20FAA.pdf (дата обращения 10.02.2019)Weller J. R. FOD Detection System. Evaluation, Performance Assessment and Regulatory Guidance. Wildlife and Foreign Object Debris (FOD). Workshop, Cairo, Egypt, 24–26 March, 2014. Available at: https://www.icao.int/MID/Documents/2014/Wildlife%20a nd%20FOD%20Workshop /Assessing%20Risk%20FAA.pdf (accessed 10.02.2019)Соколова М. А. Системы управления наземным движением на площади маневрирования аэродрома // Современные инновации. 2018. Т. 26, № 4. С. 26–27.Sokolova M. A. Sistemy upravleniya nazemnym dvizheniem na ploshchadi manevrirovaniya aerodroma [Ground Movement Control Systems at Aerodrome Maneuvering Area]. Sovremennye innovatsii [Modern Innovations], 2018, vol. 26, no. 4, pp. 26–27. (In Russian)Костяшкин Л. Н, Логинов А. А., Никифоров М. Б. Проблемные аспекты системы комбинированного видения летательных аппаратов // Изв. Юж. федерал. ун-та. Техн. науки. 2013. № 5. С. 61–65.Kostyashkin L. N, Loginov A. A., Nikiforov M. B. Problem Aspects of a Combined Aircraft Vision System. Izvestiya SFedU [Proceedings of the Southern Federal University. Engineering Sciences], 2013, no. 5, pp. 61–65. (In Russian)Airport Services Manual. Pt. 6. Controlling obstacles. Guide Doc 9137-AN/898/2, 1983. URL: http://files.repuloterek-civil-katonai-kozos.webnode.hu/200000025-66bfa67b8d /Doc_9137_P6_CONTROL%20OF%20OBSTACLES.pdf (дата обращения 30.01.2019)Airport Services Manual. Pt. 6. Controlling obstacles. Guide Doc 9137-AN/898/2, 1983. Available at: http://files.repuloterek-civil-katonai-kozos.webnode.hu/ 200000025-66bfa67b8d/Doc_9137_P6_CONTROL%20OF% 20OBSTACLES.pdf (accessed 30.01.2019)Aviation rules. Pt. 139. Certification of Airfields. Title 14, Code of Federal Regulations (CFR). 2004. URL: https://www.govinfo.gov/content/pkg/CFR-2014-title14-vol3 /pdf/CFR-2014-title14-vol3-part139.pdf (дата обращения 10.02.2019)Aviation rules. Pt. 139. Certification of Airfields. Title 14, Code of Federal Regulations (CFR). 2004. Available at: https://www.govinfo.gov/content/pkg/CFR-2014-title14-vol3 /pdf/CFR-2014-title14-vol3-part139.pdf (accessed 10.02.2019)Dalal N., Triggs B. Histograms of oriented gradients for human detection // 2005 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, San Diego, CA, 20–25 June 2005. Piscataway: IEEE, 2005. doi: 10.1109/CVPR.2005.177Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, CA, USA, 20–25 June 2005. Piscataway, IEEE, 2005. doi: 10.1109/CVPR.2005.177Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.Vapnik V. N. Vosstanovlenie zavisimostei po empiricheskim dannym [Dependency Recovery Based on Empirical Data]. Мoscow, Nauka, 1979, 448 p. (In Russian)Cristianini N., Shawe-Taylor J. An introduction to support vector machines and other kernel-based learning methods. NY: Cambridge University Press, 2000. 168 p. doi: 10.1017/CBO9780511801389Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and Other Kernel-based Learning Methods. NY: Cambridge University Press, 2000. 168 p. doi: 10.1017/CBO9780511801389Cover T. M., Hart P. E. Nearest neighbor pattern classification // IEEE Trans. on Information Theory. 1967. Vol. IT-13, iss. 1. P. 21–27. doi: 10.1109/TIT.1967.1053964Cover T. M., Hart P. E. Nearest Neighbor Pattern Classification // IEEE Trans. on Information Theory. 1967, vol. IT-13, iss. 1, pp. 21–27. doi: 10.1109/TIT.1967.1053964Dudani S. A. The distance-weighted k-nearestneighbor rule // IEEE Trans. on Systems, Man and Cybernetics. 1976. Vol. SMC-6, iss. 4. P. 325–327. doi: 10.1109 /TSMC.1976.5408784Dudani S. A. The Distance-Weighted k-Nearest-Neighbor Rule. IEEE Transactions on Systems, Man, and Cybernetics. 1976, vol. 6, iss. 4, pp. 325–327. doi: 10.1109/TSMC.1976.5408784Quinlan J. R. Induction of decision trees // Machine Learning. 1986. Vol. 1, iss. 1. P. 81–106.Quinlan J. R. Induction of Decision Trees. Machine Learning. 1986, vol. 1, iss. 1, pp. 81–106.Barla A., Odone F., Verri A. Histogram intersection kernel for image classification // 2003 Intern. Conf. on Image Processing, Barcelona, Spain. IEEE, 2003. doi: 10.1109 /ICIP.2003.1247294Barla A., Odone F., Verri A. Histogram Intersection Kernel for Image Classification. 2003 Intern. Conf. on Image Processing, Barcelona, Spain. IEEE, 2003. doi: 10.1109 /ICIP.2003.1247294Pyramid methods in image processing / E. H. Andelson, C. H. Anderson, J. R. Bergen, P. J. Burt, J. M. Ogden // RCA Engineer. 1984. Vol. 29, iss. 6. P. 33–41. URL: http://persci.mit.edu/pub_pdfs/RCA84.pdf (дата обращения 10.02.2019)Andelson E. H., Anderson C. H., Bergen J. R., Burt P. J., Ogden J. M. Pyramid Methods in Image Processing. RCA Engineer. 1984, vol. 29, iss. 6, pp. 33–41. Available at: http://persci.mit.edu/pub_pdfs/RCA84.pdf (accessed 10.02.2019)Glumov N. I., Kolomiyetz E. I., Sergeyev V. V. Detection of objects on the image using a sliding window mode // Optics & Laser Technology. 1995. Vol. 27, iss. 4. P. 241–249. doi: 10.1016/0030-3992(95)93752-DGlumov N. I., Kolomiyetz E. I., Sergeyev V. V. Detection of Objects on the Image Using a Sliding Window Mode. Optics & Laser Technology. 1995, vol. 27, Iss. 4, pp. 241–249. doi: 10.1016/0030-3992(95)93752-DWilkinson L., Friendly M. The history of the cluster heat map // The American Statistician. 2009. Vol. 63, № 2. P. 179–184. doi: 10.1198/tas.2009.0033Wilkinson L., Friendly M. The History of the Cluster Heat Map. The American Statistician. 2009, vol. 63, no. 2, pp. 179–184. doi: 10.1198/tas.2009.0033Powers D. M. W. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation // J. of Machine Learning Technologies. 2011. Vol. 2, № 1. P. 37–63.Powers D. M. W. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. 2011, vol. 2, no. 1, pp. 37–63.Andreev D. S., Lysenko N. V. Preprocessing methods for runway pictures taken in poor visibility conditions // 2018 IEEE Conf. of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Saint-Petersburg, Russia. IEEE, 2018. doi: 10.1109/EIConRus. 2018.8317273Andreev D. S., Lysenko N. V. Preprocessing Methods for Runway Pictures Taken in Poor Visibility Conditions. 2018 IEEE Conf. of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Saint-Petersburg, Russia. IEEE, 2018. doi: 10.1109/EIConRus. 2018.8317273Xiaobin L., Wang S. Object detection using convolutional neural networks in a coarse-to-fine manner // IEEE Geoscience and Remote Sensing Letters. 2017. Vol. 14, iss. 11. doi: 10.1109/LGRS.2017.2749478Xiaobin L., Wang S. Object Detection Using Convolutional Neural Networks in a Coarse-to-Fine Manner. IEEE Geoscience and Remote Sensing Letters. 2017, vol. 14, iss. 11. doi: 10.1109/LGRS.2017.2749478

The authors declare that there are no conflicts of interest present.