radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2018-21-6-54-65radioelectronics-276Research ArticleТЕЛЕВИДЕНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙTELEVISION AND IMAGE PROCESSINGЦИФРОВАЯ ОБРАБОТКА ЭНДОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ ДЛЯ СИСТЕМ ПОДДЕРЖКИ ВРАЧЕБНЫХ РЕШЕНИЙENDOSCOPIC IMAGES DIGITAL PROCESSING FOR CLINICAL DECISION SUPPORT SYSTEMSОбуховаН. А.ObukhovaNatalya A.

Обухова Наталья Александровна – доктор технических наук (2009), профессор (2004) кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета"ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 70 научных работ. Сфера научных интересов – цифровая обработка изображений; прикладные телевизионные системы.

ул. Профессора Попова, д. 5, Санкт-Петербург, 197376

Natalia A. Obukhova – D.Sc. in Engineering (2009), Professor (2004) of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 70 scientific publications. Area of expertise: digital image processing; applied television systems.

5, Professor Popov Str., 197376, St. Petersburg

natalia172419@yandex.ruМотыкоА. А.MotykoAlexander A.

Мотыко Александр Александрович – кандидат технических наук (2012), ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 30 научных работ. Сфера научных интересов – цифровая обработка изображений; прикладные телевизионные системы.

ул. Профессора Попова, д. 5, Санкт-Петербург, 197376

Alexander A. Motyko – Ph.D. in Engineering (2012), Associate Professor of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of more than 30 scientific publications. Area of expertise: digital image processing; applied television systems.

5, Professor Popov Str., 197376, St. Petersburg

motyko.alexandr@yandex.ruПоздеевА. А.PozdeevAlexander A.

Поздеев Александр Анатольевич – аспирант, ассистент кафедры телевидения и видеотехники СанктПетербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 10 научных работ. Сфера научных интересов – цифровая обработка изображений; прикладные телевизионные системы.

ул. Профессора Попова, д. 5, Санкт-Петербург, 197376

Alexander A. Pozdeev – Postgraduate Student, Assistant of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University "LETI". The author of 10 scientific publications. Area of expertise: digital image processing; applied television systems.

5, Professor Popov Str., 197376, St. Petersburg

puches4@gmail.comСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical University "LETI"Russian Federation201828122018065465Copyright © Обухова Н.А., Мотыко А.А., Поздеев А.А., 20182018Обухова Н.А., Мотыко А.А., Поздеев А.А.Obukhova N.A., Motyko A.A., Pozdeev A.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/276

Эндоскопическое обследование занимает ведущее место в практической медицине. Современным направлением исследований, реализующим повышение эффективности эндоскопического осмотра, является разработка систем поддержки врачебных решений. Это системы нового типа, предполагающие интеграцию результатов автоматического анализа сигналов изображений c результатами, полученными врачом, а также использование информации, имеющейся в базе данных системы. Взаимодействие врача с системой позволяет обеспечить значительное повышение чувствительности и специфичности диагностики. Цель проведенного исследования – создание новых автоматических методов цифровой обработки эндоскопических изображений, обеспечивающих их высокую эргономичность и возможность эффективного использования в системах поддержки врачебных решений. В рамках исследования предложены следующие методы: метод сегментации и удаления зеркальных бликов; метод компенсации радиальных и тангенциальных геометрических искажений, особенно выраженных при использовании широкоугольных объективов в эндоскопических камерах; метод формирования мозаичной панорамы из входного видеопотока в условиях низкой детальности исходных сюжетов; метод адаптивной коррекции яркости и контраста изображений, обеспечивающий одновременную успешную коррекцию как темных, так и светлых областей изображения (неравномерный контраст) без значительного подчеркивания шумовой составляющей, характерного для существующих методов нелинейного контрастирования; процедура цветокоррекции по критерию "комфортное восприятие", основанная на матрице линейных преобразований, учитывающая характеристики эндоскопических изображений и позволяющая настраивать цветовую палитру в соответствии с личными предпочтениями врача. Рассмотренные методы успешно прошли тестирование на реальных эндоскопических изображениях в отделе инновационных медицинских приборов Корейского электротехнологического научно-исследовательского института. Результаты тестирования показывают их эффективность и целесообразность использования в системах поддержки врачебных решений.

The purpose of this research is to create new automatic methods for endoscopic image digital processing, ensuring their high ergonomics and the possibility of effective use in clinical decision support systems. As the result of investigation, the following methods were proposed: the detection and removal of specular highlights; compensation of radial and tangential geometric distortions; the mosaic panorama creation from the input video stream with low level of detail; brightness and contrast enhancement, providing simultaneous successful correction of both dark and bright areas of the image (uneven contrast) without significant underlining of the noise component typical for the existing nonlinear contrasting methods, especially in low-detail image areas; custom color correction based on linear transformation matrix taking into account endoscopic image characteristics and making it possible to customize color palette according to the physician individual preferences. The methods considered were successfully tested on real endoscopic images at the department of innovative medical devices of the Korean Electrotechnological Research Institute. The test results demonstrate their effectiveness and applicability in clinical decision support systems.

эндоскопические изображениясистемы поддержки принятия решенийудаление бликовгеометрические искажениякоррекция яркости и контрастацветокоррекцияendoscopic imagesclinical decision support systemshighlights removalgeometric distortionbrightness and contrast enhancementcolor correctionРабота выполнена при поддержке Российского фонда фундаментальных исследований, грант № 17-07-00045.ReferencesLiedlgruber M., Uhl A. Computer-aided decision support systems for endoscopy in the gastrointestinal tract: A Review // IEEE Rev. in Biomed. Engin. 2011. Vol. 4. P. 73–88.Liedlgruber M., Uhl A. Computer-Aided Decision Support Systems for Endoscopy in the Gastrointestinal Tract: A Review. IEEE Reviews in Biomedical Engineering. 2011, vol. 4, pp. 73–88.Münzer B., Schoeffmann K., Böszörmenyi L. Content-based proc. and analysis of endoscopic images and videos: A survey // Multimedia Tools and Applications. 2018. Vol. 77(1). P. 1323–1362.Münzer B., Schoeffmann K., Böszörmenyi L. Content-Based Processing and Analysis of Endoscopic Images and Videos: A survey. Multimedia Tools and Applications. 2018, vol. 77(1), pp. 1323–1362.Obukhova N., Motyko А. Image analysis in clinical decision support system // Computer Vision in Control Systems. Springer, 2017. P. 261–299.Obukhova N., Motyko А. Image Analysis in Clinical Decision Support System. Computer Vision in Control Systems. Springer, 2017, pp. 261–299.Serra J., Salembier P. Mathematical morphology and its applications to image processing. Dordrecht, Netherlands: Kluwer Academic Publishers, 1994. 368 p.Serra J., Salembier P. Mathematical Morphology and Its Applications to Image Processing. Dordrecht, Netherlands: Kluwer Academic Publishers, 1994, 368 p.Shih T., Chang R. C. Digital inpainting – survey and multilayer image inpainting algorithms // Proc. of the Third Int’l Conf. on Information Technology and Applications (ICITA 2005), Sydney, Australia, 4–7 July 2005. Piscataway: IEEE, 2005. P. 15–24.Shih T., Chang R. C. Digital Inpainting – Survey and Multilayer Image Inpainting Algorithms. Proc of the Third Int’l Conf. on Information Technology and Applications (ICITA 2005), Sydney, Australia, 4–7 July 2005. Piscataway: IEEE, 2005, pp. 15–24.Sethian J. A fast marching level set method for monotonically advancing fronts // Proc. of the Natl. Acad. Sci., Washington, 20 Feb. 1996. P. 1591–1595.Sethian J. A Fast Marching Level Set Method for Monotonically Advancing Fronts. Proc. of the Natl. Acad. Sci., Washington, 20 Feb. 1996, pp.1591–1595.Walree P. Distortion. URL: https://web.archive.org/web/20160420093927/http://toothwalker.org:80/optics/distortion.html (дата обращения 20.12.2018).Walree P. Distortion. Available at: https://web.archive.org/web/20160420093927/http://toothwalker.org:80/optics/distortion.html (accessed 20.12.2018)Hsu C. H., Miaou S. G., Chang F. L. A distortion correction method for endoscope images based on calibration patterns and a simple mathematic model for opticallens // Biomed. Engin. Appl., Basis & Communications. 2005. Vol. 17. P. 309–318.Hsu C. H., Miaou S. G., Chang F. L. A Distortion Correction Method for Endoscope Images Based on Calibration Patterns and a Simple Mathematic Model for Optical Lens. Biomedical Engineering Applications, Basis & Communications. 2005, vol. 17, pp. 309–318.Harris C., Stephens M. A Combined corner and edge detector // Proc. of the 4th Alvey Vision Conf., Manchester, UK. 1988. P. 147–151.Harris C., Stephens M. A Combined Corner and Edge Detector. Proc. of the 4th Alvey Vision Conference, Manchester, UK, 1988, pp. 147–151.Hartley R., Zisserman A. Multiple view geometry in computer vision. cambridge university press, 2003. 561 p.Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Cambridge University Press, 2003, 561 p.Obukhova N., Motyko А., Pozdeev A. Modern methods and algorithms in digital processing of endoscopic images // Proc. of Conf. of Open Innovations Association FRUCT and ISPIT, Helsinki, Finland, 6-10 Nov. 2017. Piscataway: IEEE, 2017. P. 260–267.Obukhova N., Motyko А., Pozdeev A. Modern Methods and Algorithms in Digital Processing of Endoscopic Images. Proc. of Conference of Open Innovations Association FRUCT and ISPIT, Helsinki, Finland, 6-10 Nov. 2017. Piscataway, IEEE, 2017, pp. 260–267.Vonikakis V., Andreadis I. Multi-scale image contrast enhancement // Proc. of the 10th Intl. Conf. on Control, Automation, Robotics and Vision. Hanoi, Vietnam, 17–20 Dec. 2008. Piscataway: IEEE, 2008. P. 856–861.Vonikakis V., Andreadis I. Multi-Scale Image Contrast Enhancement. Proc. of the 10th Intl. Conf. on Control, Automation, Robotics and Vision. Hanoi, Vietnam, 17–20 Dec. 2008. Piscataway: IEEE, 2008, pp. 856–861.Tao L., Asari K. V. An adaptive and integrated neighborhood dependent approach for nonlinear enhancement of color images // SPIE J. of Electronic Imaging. 2005. Vol. 14(4). P. 1–14.Tao L., Asari K. V. An Adaptive and Integrated Neighborhood Dependent Approach for Nonlinear Enhancement of Color Images. SPIE Journal of Electronic Imaging. 2005, vol. 14(4), pp. 1–14.Arigela S., Asari V. A Locally tuned nonlinear technique for color image enhancement // WSEAS Trans. Signal Process. 2008. Vol. 4(8). P. 514–519.Arigela S., Asari V. A Locally Tuned Nonlinear Technique for Color Image Enhancement. WSEAS Trans. Signal Process. 2008, vol. 4(8), pp. 514–519.Обухова Н. А., Поздеев А. А. Метод нелинейного контрастирования медицинских изображений // Сб. докл. 19-й Междунар. конф. "Цифровая обработка сигналов и ее применение DSPA-2017", Москва, 29–31 марта 2017. М., 2017. С. 521–524.Obukhova N. A., Pozdeev A. A. Metod nelineinogo kontrastirovaniya meditsinskikh izobrazhenii [Nonlinear Contrast Method for Medical Images]. Sbornik dokl. 19-i Mezhdunarodnoi konferentsii "Tsifrovaya obrabotka signalov i ee primenenie DSPA-2017" [Proc. of 19th International Conference "Digital Signal Processing and Its Application DSPA-2017"]. 2017, pp 521–524. (In Russian)A new image calibration technique for colposcopic images. Medical imaging 2006: Image Processing / W. Li, M. S. Tompson, Y. Xiong, H. Lange; ed. by J. M. Reinhardt, J. P. W. Pluim // Proc. of SPIE. 2006. Vol. 6144, P. 227–239.Li W., Tompson M. S., Xiong Y., Lange H. A New Image Calibration Technique for Colposcopic Images. Medical Imaging 2006: Image Processing. Ed. by Joseph M. Reinhardt, Josien P. W. Pluim. Proc. of SPIE. 2006. Vol. 6144, pp. 227–239.Pat. US 8027533 B2, Method of Automated Image Color Calibration, 2008.Patent US 8027533 B2, Method of Automated Image Color Calibration, 2008.Wolf S. color correction matrix for digital still and video imaging systems. Washington: National Telecommunications and Information Administration, 2003. 20 p.Wolf S. Color Correction Matrix for Digital Still and Video Imaging Systems. Washington: National Telecommunications and Information Administration, 2003, 20 p.Trust the colors with olympus true color LED. URL: https://www.olympus-lifescience.com/en/resources/white-papers/true-color-led (дата обращения 20.12.2018).Trust the Colors with Olympus True Color LED. Available at: https://www.olympus-lifescience.com/en/resources/white-papers/true-color-led (accessed 20.12.2018).Обухова Н. А., Мотыко А. А. Процедура калибровки по цвету для мультиспектральной ТВ системы диагностики онкологических изменений шейки матки // Вопр. радиоэлектроники. Сер.: Техника телевидения. 2015. Вып. 4. C. 149–153.Obukhova N.A., Motyko A.A. Color Calibration Procedure for Multispectral TV System for Diagnosing Cervix Uterus Oncological Changes. Voprosy radioelektroniki. Seriya: Tekhnika televideniya [Questions Radio Electronics. Television Equipment]. 2015, vol. 4, pp. 149–153. (In Russian)

The authors declare that there are no conflicts of interest present.