Метод визуализации мультиспектральных данных в лапароскопии

Введение. В настоящее время видеоданные, полученные в узких спектральных диапазонах, активно применяют для повышения эффективности диагностики в различных областях медицины, в частности в лапароскопии. Традиционная лапароскопия использует изображения, полученные в белом свете. Изображения, полученные в видимом диапазоне, хорошо отображают цвет и текстурные особенности тканей. Одновременно с этим на изображениях видимого диапазона врачу трудно отличить область поражения от нормальной ткани вследствие их близости по цвету и текстуре. Существенное повышение эффективности определения пораженных участков обеспечивает использование флуоресцентных изображений, на которых области поражения визуально отличаются от остальных тканей. Основной проблемой при использовании мультиспектральных данных является необходимость одновременного предъявления врачу изображений, полученных в белом свете и свете флуоресценции. В работе предлагается метод синтеза изображения для предъявления врачу на основе данных, полученных в белом свете и свете флуоресценции. Отличительной особенностью метода является использование при синтезе изображения метрики CIEDE 2000, учитывающей свойства зрения человека.

Цель работы. Разработка метода визуализации мультиспектральных данных, обеспечивающего предъявление врачу изображения, включающего данные, полученные в белом свете, и выделенную цветом область пораженных тканей.

Материалы и методы. Предложенный метод состоит из следующих шагов: предобработка изображений, полученных в видимом диапазоне и свете флуоресценции; сегментация области поражения на флуоресцентных изображениях; формирование псевдоцветного изображения сегментированной области поражения; слияние псевдоцветного изображения и изображения, полученного в белом свете.

Результаты. Предложенный метод позволяет сформировать изображение, которое включает изображение области операции, полученное в белом свете и выделенную область поражения на основе флуоресцентной информации в ближнем инфракрасном диапазоне. При синтезе изображения учтены свойства зрения человека. Экспериментальное исследование метода было проведено на реальных лапароскопических изображениях. В экспериментах участвовали врачи-эндоскописты, которые являлись экспертами при проведении субъективной оценки предъявляемых изображений. Оценка предъявляемых изображений по методу парных сравнений показала, что большинство врачей предпочли изображение, синтезированное предложенным методом, одновременной визуализации изображений в белом свете и свете флуоресценции.

Заключение. Разработанный метод обеспечивает формирование изображения с повышенной диагностической ценностью.

1. . Determination of the surgical margin in laparoscopic liver resections using infrared indocyanine green fluorescence / T. Aoki, M. Murakami, T. Koizumi, K. Matsuda, A. Fujimori, T. Kusano, Y. Enami, S. Goto, M. Watanabe, K. Otsuka // Langenbeck's Archives of Surgery. 2018. Vol. 403. P. 671–680. doi: 10.1007/s00423-018-1685-y

2. The clinical use of indocyanine green as a near‐ infrared fluorescent contrast agent for image‐guided oncologic surgery / B. E. Schaafsma, S. Mieog, M. Hutteman, J. R. van der Vorst, P. J. K. Kuppen, C. W. G. M. Löwik, J. V. Frangioni, C. J. H. van de Velde, A. L. Vahrmeijer // J. of Surgical Oncology. 2011. Vol. 104, iss. 3. P. 323–332. doi: 10.1002/jso.21943

3. Clinical applications of indocyanine green (ICG) enhanced fluorescence in laparoscopic surgery / L. Boni, G. David, A. Mangano, G. Dionigi, S. Rausei, S. Spampatti, E. Cassinotti, A. Fingerhut // Surgical endoscopy. 2015. Vol. 29. P. 2046–2055. doi: 10.1007/s00464-014-3895-x

4. Real-time navigation for liver surgery using projection mapping with indocyanine green fluorescence: development of the novel medical imaging projection system / H. Nishino, E. Hatano, S. Seo, T. Nitta, T. Saito, M. Nakamura, K. Hattori, M. Takatani, H. Fuji, K. Taura, S. Uemoto // Annals of surgery. 2018. Vol. 267, № 6. P. 1134–1140. doi: 10.1097/SLA.0000000000002172

5. The role of indocyanine green fluoroscopy for intraoperative bile duct visualization during laparoscopic cholecystectomy: an observational cohort study in 70 patients / P. C. Ambe, J. Plambeck, V. FernandezJesberg, K. Zarras // Patient Safety in Surgery. 2019. Vol. 13. P. 1–7. doi: 10.1186/s13037-019-0182-8

6. Salem N., Malik H., Shams A. Medical image enhancement based on histogram algorithms // Procedia Computer Science. 2019. Vol. 163. P. 300–311. doi: 10.1016/j.procs.2019.12.112

7. Arigela S., Asari V. K. A locally tuned nonlinear technique for color image enhancement // WSEAS Transactions on Signal Processing. 2008. Vol. 4, iss. 8. P. 514–519.

8. Automatic segmentation and inpainting of specular highlights for endoscopic imaging / M. Arnold, A. Ghosh, S. Ameling, G. Lacey // EURASIP J. on Image and Video Processing. 2010. Vol. 2010. P. 1–12. doi: 10.1155/2010/814319

9. Correcting over-exposure in photographs / D. Guo, Y. Cheng, S. Zhuo, T. Sim // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. San Francisco, USA, 13–18 June 2010. IEEE, 2010. P. 515–521. doi: 10.1109/CVPR.2010.5540170

10. A new human perception-based over-exposure detection method for color images / Y.-J. Yoon, K.-Y. Byun, D.-H. Lee, S.-W. Jung, S.-J. Ko // Sensors. 2014. Vol. 14, iss. 9. P. 17159–17173. doi: 10.3390/s140917159

11. Automatic segmentation and inpainting of specular highlights for endoscopic imaging / M. Arnold, A. Ghosh, S. Ameling, L. Gerard // EURASIP Journal on Image and Video Processing. 2010. Vol. 2010. P. 1–12. doi: 10.1155/2010/814319

12. Luo M. R., Cui G., Rigg B. The development of the CIE 2000 colour‐difference formula: CIEDE2000 // Color Research & Application. 2001. Vol. 26, iss. 5. P. 340–350. doi: 10.1002/col.1049

13. Обухова Н. А., Синь Ян. Автоматический метод сегментации флуоресцентных изображений, полученных в ближнем инфракрасном диапазоне // Изв. вузов России. Радиоэлектроника. 2022. Т. 25, № 6. С. 40–49. doi: 10.32603/1993-8985-2022-25-6-40-49

14. Обухова Н. А., Мотыко А. А. Автоматический метод анализа мультиспектральных кольпоскопических изображений для телевизионной системы диагностики рака шейки матки // Изв. вузов России. Радиоэлектроника. 2015. № 6. P. 24–33.

15. Sinaga K. P., Miin-Shen Yang. Unsupervised K-means clustering algorithm // IEEE access. 2020. Vol. 8. P. 80716–80727. doi: 10.1109/ACCESS.2020.2988796

16. Integration K-means clustering method and elbow method for identification of the best customer profile cluster / M. A. Syakur, B. K. Khotimah, E. M. Rochman, B. D. Satoto // IOP conf. series: materials science and engineering. 2018. Vol. 336. Art. 012017. doi: 10.1088/1757-899X/336/1/012017