<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">radioelectronics</journal-id><journal-title-group><journal-title xml:lang="ru">Известия высших учебных заведений России. Радиоэлектроника</journal-title><trans-title-group xml:lang="en"><trans-title>Journal of the Russian Universities. Radioelectronics</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1993-8985</issn><issn pub-type="epub">2658-4794</issn><publisher><publisher-name>Saint Petersburg Electrotechnical University</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.32603/1993-8985-2024-27-1-102-116</article-id><article-id custom-type="elpub" pub-id-type="custom">radioelectronics-844</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ПРИБОРЫ МЕДИЦИНСКОГО НАЗНАЧЕНИЯ, КОНТРОЛЯ СРЕДЫ, ВЕЩЕСТВ, МАТЕРИАЛОВ И ИЗДЕЛИЙ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>MEDICAL DEVICES, ENVIRONMENT, SUBSTANCES, MATERIAL AND PRODUCT</subject></subj-group></article-categories><title-group><article-title>Метод визуализации мультиспектральных данных в лапароскопии</article-title><trans-title-group xml:lang="en"><trans-title>Multispectral Imaging Method in Laparoscopy</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Ян</surname><given-names>Синь</given-names></name><name name-style="western" xml:lang="en"><surname>Yang</surname><given-names>Xin</given-names></name></name-alternatives><bio xml:lang="ru"><p>Ян Синь – магистр по направлению "Радиотехника" (2020), аспирантка кафедры телевидения и видеотехники; обучающаяся в China Scholarship Council (CSC) Министерства образования Китая</p><p>ул. Профессора Попова, д. 5 Ф, Санкт-Петербург, 197022</p></bio><bio xml:lang="en"><p>Xin Yang, Master in Radio Engineering (2020), Postgraduate Student of the Department of Television and Video Equipment; Postgraduate student of Education Ministry China Scholarship Council (CSC)</p><p>5 F, Professor Popov St., St Petersburg 197002</p></bio><email xlink:type="simple">877355442@qq.com</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина); China Scholarship Council (CSC)</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Saint Petersburg Electrotechnical University; China Scholarship Council (CSC)</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2024</year></pub-date><pub-date pub-type="epub"><day>01</day><month>03</month><year>2024</year></pub-date><volume>27</volume><issue>1</issue><fpage>102</fpage><lpage>116</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Ян С., 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Ян С.</copyright-holder><copyright-holder xml:lang="en">Yang X.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://re.eltech.ru/jour/article/view/844">https://re.eltech.ru/jour/article/view/844</self-uri><abstract><sec><title>Введение</title><p>Введение. В настоящее время видеоданные, полученные в узких спектральных диапазонах, активно применяют для повышения эффективности диагностики в различных областях медицины, в частности в лапароскопии. Традиционная лапароскопия использует изображения, полученные в белом свете. Изображения, полученные в видимом диапазоне, хорошо отображают цвет и текстурные особенности тканей. Одновременно с этим на изображениях видимого диапазона врачу трудно отличить область поражения от нормальной ткани вследствие их близости по цвету и текстуре. Существенное повышение эффективности определения пораженных участков обеспечивает использование флуоресцентных изображений, на которых области поражения визуально отличаются от остальных тканей. Основной проблемой при использовании мультиспектральных данных является необходимость одновременного предъявления врачу изображений, полученных в белом свете и свете флуоресценции. В работе предлагается метод синтеза изображения для предъявления врачу на основе данных, полученных в белом свете и свете флуоресценции. Отличительной особенностью метода является использование при синтезе изображения метрики CIEDE 2000, учитывающей свойства зрения человека.</p></sec><sec><title>Цель работы</title><p>Цель работы. Разработка метода визуализации мультиспектральных данных, обеспечивающего предъявление врачу изображения, включающего данные, полученные в белом свете, и выделенную цветом область пораженных тканей.</p></sec><sec><title>Материалы и методы</title><p>Материалы и методы. Предложенный метод состоит из следующих шагов: предобработка изображений, полученных в видимом диапазоне и свете флуоресценции; сегментация области поражения на флуоресцентных изображениях; формирование псевдоцветного изображения сегментированной области поражения; слияние псевдоцветного изображения и изображения, полученного в белом свете.</p></sec><sec><title>Результаты</title><p>Результаты. Предложенный метод позволяет сформировать изображение, которое включает изображение области операции, полученное в белом свете и выделенную область поражения на основе флуоресцентной информации в ближнем инфракрасном диапазоне. При синтезе изображения учтены свойства зрения человека. Экспериментальное исследование метода было проведено на реальных лапароскопических изображениях. В экспериментах участвовали врачи-эндоскописты, которые являлись экспертами при проведении субъективной оценки предъявляемых изображений. Оценка предъявляемых изображений по методу парных сравнений показала, что большинство врачей предпочли изображение, синтезированное предложенным методом, одновременной визуализации изображений в белом свете и свете флуоресценции.</p></sec><sec><title>Заключение</title><p>Заключение. Разработанный метод обеспечивает формирование изображения с повышенной диагностической ценностью.</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>Introduction</title><p>Introduction. At present, video data acquired in narrow spectral bands are widely used to improve the efficiency of diagnostics in various medical fields, laparoscopy in particular. Conventional laparoscopy uses images obtained in the white light. Images obtained in the visible range suitably depict the color and textural features of tissues. However, it is difficult for a physician to use visible images for distinguishing between lesion areas and normal tissues, largely due to their proximity in color and texture. The efficiency of lesion detection can be improved using fluorescence images, which clearly differentiate lesion areas from normal tissues. However, the use multispectral data implies the need to present the images obtained both in the white and fluorescence light to the physician. In this paper, we propose an image composition method based on visible and fluorescence images, which facilitates their analysis by physicians. A distinctive feature of the method is the use of CIEDE 2000 metric for image fusion, which takes the properties of human vision into account.</p></sec><sec><title>Aim</title><p>Aim. Development of a method for multispectral data visualization, which provides a physician with an image that combines white light data and a color-highlighted area of lesions.</p></sec><sec><title>Materials and methods</title><p>Materials and methods. The proposed method consists of the following steps: preprocessing of images obtained in visible and fluorescence light; segmentation of the lesion area in the fluorescence images; generation of a pseudo-color image of the segmented lesion area; and fusion of the pseudo-color image with the image obtained in the white light.</p></sec><sec><title>Results</title><p>Results. The proposed method forms an image that includes an image of the operation area obtained in the white light and a separated lesion area based on fluorescence information in the near infrared range. The image composite takes the properties of human vision into account. An experimental study of the method was carried out on actual laparoscopic images, involving endoscopists who were experts in subjective evaluation of video images. The method of paired comparisons was used to evaluated the presented images. The majority of experts preferred the fused image formed by the proposed method to those visualized simultaneously in the white and fluorescence light.</p></sec><sec><title>Conclusion</title><p>Conclusion. The developed method ensures generation of images with an increased diagnostic value.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>визуализация мультиспектральных изображений</kwd><kwd>коррекция контраста изображения</kwd><kwd>слияние изображения</kwd><kwd>обработка лапароскопических изображений</kwd></kwd-group><kwd-group xml:lang="en"><kwd>multispectral imaging visualization</kwd><kwd>image contrast correction</kwd><kwd>image fusion</kwd><kwd>laparoscopic image processing</kwd></kwd-group><funding-group><funding-statement xml:lang="ru">Исследование проводится при поддержке Государственного комитета по стипендиям КНР (грант № 202009010036).</funding-statement><funding-statement xml:lang="en">The study was realized with the support of the China Scholarship Council (Grant No. 202009010036).</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">. Determination of the surgical margin in laparoscopic liver resections using infrared indocyanine green fluorescence / T. Aoki, M. Murakami, T. Koizumi, K. Matsuda, A. Fujimori, T. Kusano, Y. Enami, S. Goto, M. Watanabe, K. Otsuka // Langenbeck's Archives of Surgery. 2018. Vol. 403. P. 671–680. doi: 10.1007/s00423-018-1685-y</mixed-citation><mixed-citation xml:lang="en">. Aoki T., Murakami M., Koizumi T., Matsuda K., Fujimori A., Kusano T., Enami Y., Goto S., Watanabe M., Otsuka K. Determination of the Surgical Margin in Laparoscopic Liver Resections Using Infrared Indocyanine Green Fluorescence. Langenbeck's Archives of Surgery. 2018, vol. 403, pp. 671–680. doi: 10.1007/s00423-018-1685-y</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">The clinical use of indocyanine green as a near‐ infrared fluorescent contrast agent for image‐guided oncologic surgery / B. E. Schaafsma, S. Mieog, M. Hutteman, J. R. van der Vorst, P. J. K. Kuppen, C. W. G. M. Löwik, J. V. Frangioni, C. J. H. van de Velde, A. L. Vahrmeijer // J. of Surgical Oncology. 2011. Vol. 104, iss. 3. P. 323–332. doi: 10.1002/jso.21943</mixed-citation><mixed-citation xml:lang="en">Schaafsma B. E., Mieog S., Hutteman M., van der Vorst J. R., Kuppen P. J. K., Löwik C. W. G. M., Frangioni J. V., van de Velde C. J. H., Vahrmeijer A. L. The Clinical Use of Indocyanine Green as a Near‐ Infrared Fluorescent Contrast Agent for Image‐Guided Oncologic Surgery. J. of Surgical Oncology. 2011, vol. 104, iss. 3, pp. 323–332. doi: 10.1002/jso.21943</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Clinical applications of indocyanine green (ICG) enhanced fluorescence in laparoscopic surgery / L. Boni, G. David, A. Mangano, G. Dionigi, S. Rausei, S. Spampatti, E. Cassinotti, A. Fingerhut // Surgical endoscopy. 2015. Vol. 29. P. 2046–2055. doi: 10.1007/s00464-014-3895-x</mixed-citation><mixed-citation xml:lang="en">Boni L., David G., Mangano A., Dionigi G., Rausei S., Spampatti S., Cassinotti E., Fingerhut A. Clinical Applications of Indocyanine Green (ICG) Enhanced Fluorescence in Laparoscopic Surgery. Surgical Endoscopy. 2015, vol. 29, pp. 2046–2055. doi: 10.1007/s00464-014-3895-x</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Real-time navigation for liver surgery using projection mapping with indocyanine green fluorescence: development of the novel medical imaging projection system / H. Nishino, E. Hatano, S. Seo, T. Nitta, T. Saito, M. Nakamura, K. Hattori, M. Takatani, H. Fuji, K. Taura, S. Uemoto // Annals of surgery. 2018. Vol. 267, № 6. P. 1134–1140. doi: 10.1097/SLA.0000000000002172</mixed-citation><mixed-citation xml:lang="en">Nishino H., Hatano E., Seo S., Nitta T., Saito T., Nakamura M., Hattori K., Takatani M., Fuji H., Taura K., Uemoto S. Real-Time Navigation for Liver Surgery Using Projection Mapping with Indocyanine Green Fluorescence: Development of the Novel Medical Imaging Projection System. Annals of surgery. 2018, vol. 267, no. 6, pp. 1134–1140. doi: 10.1097/SLA.0000000000002172</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">The role of indocyanine green fluoroscopy for intraoperative bile duct visualization during laparoscopic cholecystectomy: an observational cohort study in 70 patients / P. C. Ambe, J. Plambeck, V. FernandezJesberg, K. Zarras // Patient Safety in Surgery. 2019. Vol. 13. P. 1–7. doi: 10.1186/s13037-019-0182-8</mixed-citation><mixed-citation xml:lang="en">Ambe P. C., Plambeck J., Fernandez-Jesberg V., Zarras K. The Role of Indocyanine Green Fluoroscopy for Intraoperative Bile Duct Visualization during Laparoscopic Cholecystectomy: an Observational Cohort Study in 70 Patients. Patient Safety in Surgery. 2019, vol. 13, pp. 1–7. doi: 10.1186/s13037-019-0182-8</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Salem N., Malik H., Shams A. Medical image enhancement based on histogram algorithms // Procedia Computer Science. 2019. Vol. 163. P. 300–311. doi: 10.1016/j.procs.2019.12.112</mixed-citation><mixed-citation xml:lang="en">Salem N., Malik H., Shams A. Medical Image Enhancement Based on Histogram Algorithms. Procedia Computer Science. 2019, vol. 163, pp. 300–311. doi: 10.1016/j.procs.2019.12.112</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Arigela S., Asari V. K. A locally tuned nonlinear technique for color image enhancement // WSEAS Transactions on Signal Processing. 2008. Vol. 4, iss. 8. P. 514–519.</mixed-citation><mixed-citation xml:lang="en">Arigela S., Asari V. K. A Locally Tuned Nonlinear Technique for Color Image Enhancement. WSEAS Transactions on Signal Processing. 2008, vol. 4, iss. 8, pp. 514–519.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Automatic segmentation and inpainting of specular highlights for endoscopic imaging / M. Arnold, A. Ghosh, S. Ameling, G. Lacey // EURASIP J. on Image and Video Processing. 2010. Vol. 2010. P. 1–12. doi: 10.1155/2010/814319</mixed-citation><mixed-citation xml:lang="en">Arnold M., Ghosh A., Ameling S., Lacey G. Automatic segmentation and inpainting of specular highlights for endoscopic imaging. EURASIP J. on Image and Video Processing. 2010, vol. 2010, pp. 1–12. doi: 10.1155/2010/814319</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Correcting over-exposure in photographs / D. Guo, Y. Cheng, S. Zhuo, T. Sim // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. San Francisco, USA, 13–18 June 2010. IEEE, 2010. P. 515–521. doi: 10.1109/CVPR.2010.5540170</mixed-citation><mixed-citation xml:lang="en">Guo D., Cheng Y., Zhuo S., Sim T. Correcting Over-Exposure in Photographs. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. San Francisco, USA, 13–18 June 2010. IEEE, 2010, pp. 515–521. doi: 10.1109/CVPR.2010.5540170</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">A new human perception-based over-exposure detection method for color images / Y.-J. Yoon, K.-Y. Byun, D.-H. Lee, S.-W. Jung, S.-J. Ko // Sensors. 2014. Vol. 14, iss. 9. P. 17159–17173. doi: 10.3390/s140917159</mixed-citation><mixed-citation xml:lang="en">Yoon Y.-J., Byun K.-Y., Lee D.-H., Jung S.-W., Ko S.-J. A New Human Perception-Based Over-Exposure Detection Method for Color Images. Sensors. 2014, vol. 14, iss. 9, pp. 17159–17173. doi: 10.3390/s140917159</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Automatic segmentation and inpainting of specular highlights for endoscopic imaging / M. Arnold, A. Ghosh, S. Ameling, L. Gerard // EURASIP Journal on Image and Video Processing. 2010. Vol. 2010. P. 1–12. doi: 10.1155/2010/814319</mixed-citation><mixed-citation xml:lang="en">Arnold M., Ghosh A., Ameling S., Gerard L. Automatic Segmentation and Inpainting of Specular Highlights for Endoscopic Imaging. EURASIP J. on Image and Video Processing. 2010, vol. 2010, pp. 1–12. doi: 10.1155/2010/814319</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Luo M. R., Cui G., Rigg B. The development of the CIE 2000 colour‐difference formula: CIEDE2000 // Color Research &amp; Application. 2001. Vol. 26, iss. 5. P. 340–350. doi: 10.1002/col.1049</mixed-citation><mixed-citation xml:lang="en">Luo M. R., Cui G., Rigg B. The Development of the CIE 2000 Colour‐Difference Formula: CIEDE2000. Color Research &amp; Application. 2001, vol. 26, iss. 5, pp. 340–350. doi: 10.1002/col.1049</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Обухова Н. А., Синь Ян. Автоматический метод сегментации флуоресцентных изображений, полученных в ближнем инфракрасном диапазоне // Изв. вузов России. Радиоэлектроника. 2022. Т. 25, № 6. С. 40–49. doi: 10.32603/1993-8985-2022-25-6-40-49</mixed-citation><mixed-citation xml:lang="en">Obukhova N. A., Yang X. Automatic Method for Segmentation of Fluorescent Images Obtained in the Near-Infrared Region. J. of the Russian Universities. Radioelectronics. 2022, vol. 25, no. 6, pp. 40–49. doi: 10.32603/1993-8985-2022-25-6-40-49 (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Обухова Н. А., Мотыко А. А. Автоматический метод анализа мультиспектральных кольпоскопических изображений для телевизионной системы диагностики рака шейки матки // Изв. вузов России. Радиоэлектроника. 2015. № 6. P. 24–33.</mixed-citation><mixed-citation xml:lang="en">Obukhova N. A., Motyko A. A. Automatic Method of Colposcopic Multi-Spectral Images Analysis for Television Systems Diagnostics of Cervical Cancer. J. of the Russian Universities. Radioelectronics. 2015, no. 6, pp. 24–33. (In Russ.)</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Sinaga K. P., Miin-Shen Yang. Unsupervised K-means clustering algorithm // IEEE access. 2020. Vol. 8. P. 80716–80727. doi: 10.1109/ACCESS.2020.2988796</mixed-citation><mixed-citation xml:lang="en">Sinaga K. P., Miin-Shen Yang. Unsupervised K-Means Clustering Algorithm. IEEE Access. 2020, vol. 8, pp. 80716–80727. doi: 10.1109/ACCESS.2020.2988796</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Integration K-means clustering method and elbow method for identification of the best customer profile cluster / M. A. Syakur, B. K. Khotimah, E. M. Rochman, B. D. Satoto // IOP conf. series: materials science and engineering. 2018. Vol. 336. Art. 012017. doi: 10.1088/1757-899X/336/1/012017</mixed-citation><mixed-citation xml:lang="en">Syakur M. A., Khotimah B. K., Rochman E. M., Satoto B. D. Integration K-Means Clustering Method and Elbow Method for Identification of the Best Customer Profile Cluster. IOP Conf. Series: Materials Science And Engineering. 2018, vol. 336, art. 012017. doi: 10.1088/1757-899X/336/1/012017</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
