radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2024-27-3-108-123radioelectronics-885Research ArticleПРИБОРЫ МЕДИЦИНСКОГО НАЗНАЧЕНИЯ, КОНТРОЛЯ СРЕДЫ, ВЕЩЕСТВ, МАТЕРИАЛОВ И ИЗДЕЛИЙMEDICAL DEVICES, ENVIRONMENT, SUBSTANCES, MATERIAL AND PRODUCTРобастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюденийRobust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Datahttps://orcid.org/0000-0002-0356-5651БогачевМ. И.BogachevM. I.

Богачев Михаил Игоревич - доктор технических наук (2018), доцент (2011) кафедры радиотехнических систем СПбГЭТУ "ЛЭТИ" им. В.И. Ульянова (Ленина).

ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Mikhail I. Bogachev - Dr Sci. (Eng.) (2018), Associate Professor (2011) of the Department of Radio Engineering Systems of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

rogex@yandex.comhttps://orcid.org/0000-0001-6163-9607ГригаревичюсК. Р.GrigarevichiusK. R.

Григаревичюс Константин Ричардасович - бакалавр по направлению "Управление в технических системах" (СПбГЭТУ "ЛЭТИ", 2023), студент факультета компьютерных технологий и информатики СПбГЭТУ "ЛЭТИ" им. В.И. Ульянова (Ленина).

ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Konstantin R. Grigarevichius - Bachelor in Management in Technical Systems (2023, Saint Petersburg Electrotechnical University), student of the Faculty of Computer Technologies and Informatics of Saint Petersburg Elec¬trotechnical University.

5 F, Professor Popov St., St Petersburg 197022

griga.k.r.21@gmail.comhttps://orcid.org/0000-0002-6668-9512ПыкоН. С.PykoN. S.

Пыко Никита Сергеевич - преподаватель-исследователь по направлению "Электроника, радиотехника и системы связи" (СПбГЭТУ "ЛЭТИ", 2023), ассистент кафедры радиотехнических систем, младший научный сотрудник научно-образовательного центра "Цифровые телекоммуникационные технологии" СПбГЭТУ "ЛЭТИ" им. В.И. Ульянова (Ленина).

ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Nikita S. Pyko - High-Research Teacher in Electronics, Radio Engineering and Communication Systems (2023, Saint Petersburg Electrotechnical University), Assistant of the Department of Radio Engineering Systems, Junior Researcher at the Scientific and Educational Center "Digital Telecommunication Technologies" of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

goststalker13@gmail.comhttps://orcid.org/0000-0001-6625-3770ПыкоС. A.PykoS. A.

Пыко Светлана Анатольевна - кандидат технических наук (2000), доцент (2003) кафедры радиотехнических систем СПбГЭТУ "ЛЭТИ" им. В.И. Ульянова (Ленина).

ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Svetlana A. Pyko - Cand. Sci (Eng.) (2000), Associate Professor (2003) of the Department of Radio Engineering Systems of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

svet.pyko@gmail.comhttps://orcid.org/0000-0001-5184-3698ЦыганковаМ.TsygankovaM.

Цыганкова Маргарита - бакалавр по направлению "Радиотехника" (2022), инженер научно-образовательного центра "Цифровые телекоммуникационные технологии" СПбГЭТУ "ЛЭТИ" им. В.И. Ульянова (Ленина).

ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022

Margarita Tsygankova - Bachelor in Radio Engineering (2022, Saint Petersburg Electrotechnical University), Engineer at the Scientific and Educational Center "Digital Telecommunication Technologies" of Saint Petersburg Electrotechnical University.

5 F, Professor Popov St., St Petersburg 197022

tsygan_rita@mail.ruhttps://orcid.org/0009-0001-4041-2435ПлотниковаЕ. А.PlotnikovaE. A.

Плотникова Елизавета Александровна - студент бакалавриата, лаборант-исследователь научно-исследовательской лаборатории OpenLab "Генные и клеточные технологии" КФУ.

д. 18, корп. 1, Казань, 420008, Республика Татарстан

Elizaveta A. Plotnikova - Undergraduate student, Research Assistant at the OpenLab Research Laboratory of Gene and Cell Technologies, Kazan (Volga Region) Federal University.

18, Kremlevskaya St., Bldg. 1, Kazan 420008, Republic of Tatarstan

liza.plotnikova0@gmail.comhttps://orcid.org/0000-0002-3384-1450АгееваТ. В.AgeevaT. V.

Агеева Татьяна Вячеславовна - кандидат биологических наук (2018), старший научный сотрудник научной лаборатории OpenLab "Генные и клеточные технологии" КФУ.

ул. Кремлевская, д. 18, корп. 1, Казань, 420008, Республика Татарстан

Tatyana V. Ageeva - Cand. Sci (Biol.) (2018), Senior Research Scientist at the OpenLab Research Laboratory of Gene and Cell Technologies at Kazan (Volga Region) Federal University.

18, Kremlevskaya St., Bldg. 1, Kazan 420008, Republic of Tatarstan

t.povysheva@gmail.comhttps://orcid.org/0000-0002-9435-340XМухамедшинаЯ. О.MukhamedshinaYa. O.

Мухамедшина Яна Олеговна - доктор медицинских наук (2021), доцент (2021), ведущий научный сотрудник научной лаборатории OpenLab "Генные и клеточные технологии" КФУ; доцент кафедры гистологии, цитологии и эмбриологии КГМУ.

д. 18, корп. 1, Казань, 420008, Республика Татарстан

Yana O. Mukhamedshina - Dr Sci. (Med.) (2021), Associate Professor (2021), Leading Research Scientist at the OpenLab Research Laboratory of Gene and Cell Technologies at Kazan (Volga Region) Federal University; Associate Professor of the Department of Histology, Cytology, and Embryology at Kazan State Medical University.

18, Kremlevskaya St., Bldg. 1, Kazan 420008, Republic of Tatarstan

yana.k-z-n@mail.ruСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина); Казанский (Приволжский) федеральный университетРоссияSaint Petersburg Electrotechnical University; Kazan (Volga Region) Federal UniversityRussian FederationСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical UniversityRussian FederationКазанский (Приволжский) федеральный университетРоссияKazan (Volga Region) Federal UniversityRussian FederationКазанский (Приволжский) федеральный университет; Казанский государственный медицинский университетРоссияKazan (Volga Region) Federal University; Kazan State Medical UniversityRussian Federation202401072024273108123Copyright © Богачев М.И., Григаревичюс К.Р., Пыко Н.С., Пыко С.A., Цыганкова М., Плотникова Е.А., Агеева Т.В., Мухамедшина Я.О., 20242024Богачев М.И., Григаревичюс К.Р., Пыко Н.С., Пыко С.A., Цыганкова М., Плотникова Е.А., Агеева Т.В., Мухамедшина Я.О.Bogachev M.I., Grigarevichius K.R., Pyko N.S., Pyko S.A., Tsygankova M., Plotnikova E.A., Ageeva T.V., Mukhamedshina Y.O.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/885Введение

Введение. Изучение двигательной активности (ДА) актуально в рамках биомедицинских и фармакологических исследований, а также в задачах экологического мониторинга. Траектории движения биологических объектов представляются временными рядами, обладающими многокомпонентной структурой и нестационарной динамикой, что ограничивает эффективность классических спектрально-корреляционных методов. При регистрации ДА с помощью безмаркерных технологий типично наблюдается повышенный уровень шумов, включающих как инструментальные погрешности, так и аномальные ошибки, связанные с ложными оценками местоположения точки в кадре или с пропаданием фрагментов траекторий, что обусловливает актуальность разработки робастных методов оценивания характеристик ДА.

Цель работы

Цель работы. Разработка робастных методов оценивания характеристик ДА в биотехнических системах, устойчивых в условиях типичных искажений, возникающих при восстановлении траекторий по данным безмаркерных телевизионных наблюдений.

Материалы и методы

Материалы и методы. Для оценки характеристик ДА анализировалось взаимное движение частей тела лабораторных животных с использованием мер стабильности взаимного поведения траекторий, запаздывания одной траектории по отношению к другой и доли фрагментов стабильного взаимного поведения траекторий в общей длительности записи. В качестве метрик взаимной динамики использованы максимумы взаимной корреляционной функции между двумя фрагментами траекторий и минимумы среднеквадратического отклонения разности их мгновенных фаз, а также их временные положения.

Результаты

Результаты. Установлено, что рассмотренные фазовые метрики чувствительны к изменениям ДА, однако оценка временных задержек в модели движения сопряжена с наличием череспериодной ошибки. При использовании корреляционных метрик указанное ограничение может быть в значительной степени преодолено, что обусловливает целесообразность комплексирования указанных метрик.

Заключение

Заключение. Предложенные робастные методы позволяют получить устойчивые оценки характеристик ДА по данным безмаркерной телевизионной регистрации, что позволяет повысить эффективность диагностических процедур и оценки терапевтического эффекта в реабилитации.

Introduction

Introduction. Analysis of locomotor activity is essential in a number of biomedical and pharmacological research designs, as well as environmental monitoring. The movement trajectories of biological objects can be represented by time series exhibiting a complex multicomponent structure and non-stationary dynamics, thus limiting the effectiveness of conventional correlation and spectral time series analysis methods. Recordings obtained using markerless technologies are typically characterized by enhanced noise levels, including both instrumental noise and anomalous errors associated with false estimates of the location of the points of interest, as well as gaps in the trajectories, promoting an urgent need in the development of robust methods to assess the characteristics of locomotor activity.

Aim

Aim. Development of robust methods for assessing the characteristics of locomotor activity capable of efficient processing of noisy recordings obtained by markerless video-based motion capture systems.

Materials and methods

Materials and methods. In order to assess the characteristics of locomotor activity, the relative movements of body parts of laboratory animals were analyzed using the stability metrics of the mutual dynamics of their trajectories, their relative delays, as well as the relative duration of the recording fragments when relatively stable mutual dynamics could be observed. The local maxima of the cross-correlation function of two body fragments, the minima of the standard deviation of the difference between their Hilbert phases, as well as their relative delays, were used as the metrics of mutual dynamics.

Results

Results. The considered phase metrics were shown to explicitly reflect changes in locomotor activity, while the assessment of time delays using phase metric was shown to be prone to periodic error. The above limitation could be largely overcome using the correlation metrics, assuming that phase and correlation metrics could be combined.

Conclusion

Conclusion. The proposed robust methods provide stable estimates of the characteristics of locomotor activity based on markerless video capture recordings, altogether increasing the efficiency of diagnostic procedures and assessment of the therapeutic effect during rehabilitation.

робастные методыбезмаркерные телевизионные наблюдениятраектории движениякоэффициент корреляциикоэффициент фазовой синхронизациинаправленный ациклический графнепараметрическая байесовская сетьrobust methodsmarkerless television observationsmotion trajectoriescorrelation coefficientphase synchronization coefficientdirected acyclic graphnonparametric Bayesian networkЭкспериментальные исследования выполнены на базе Института фундаментальной медицины и биологии Казанского (Приволжского) федерального университета при поддержке гранта Российского научного фонда № 23-75-10041, https://rscf.ru/project/23-75-10041/. Методологическое обеспечение анализа данных безмаркерных телевизионных наблюдений движения реализовано на базе Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" в рамках Государственного задания Минобрнауки РФ, шифр проекта FSEE-2020-0002.The experimental part of this study was performed at the Institute of Fundamental Medicine and Biology, Kazan (Volga region) Federal University, under support from the Russian Science Foundation grant No. 23-75-10041, https://rscf.ru/project/23-75-10041/. Methodological support of the markerless video motion capture data analysis has been developed and implemented at Saint Petersburg Electrotechnical University in the framework of the state assignment project No. FSEE-2020-0002.ReferencesButte N. F., Ekelund U., Westerterp K. R. Assessing physical activity using wearable monitors: measures of physical activity // Medicine and science in sports and exercise. 2012. Vol. 44, № 1, suppl. l. P. S5-S12. doi: 10.1249/MSS.0b013e3182399c0eButte N., Ekelund U., Westerterp K. Assessing Physical Activity Using Wearable Monitors: Measures of Physical Activity. Medicine and Science in Sports and Exercise. 2012, vol. 44, no. 1, suppl 1, pp. S5- S12. doi: 10.1249/MSS.0b013e3182399c0eВидеоанализ движений человека в клинической практике (обзор) / В. В. Борзиков, Н. Н. Рукина, О. В. Воробьева, А. Н. Кузнецов, А. Н. Белова // Современные технологии в медицине. 2015. Т. 7, № 4. С. 201-210. doi: 10.17691/stm2015.7.4.26Borzikov V. V., Rukina N. N., Vorob'eva O. V., Kuznetsov A. N., Belova A. N. Human Motion Video Analysis In Clinical Practice (Review). Modern Technologies Med. 2015, vol. 7, no. 4, pp. 201-210. doi: 10.17691/stm2015.7.4.26Insafutdinov E., Dosovitskiy A. Unsupervised learning of shape and pose with differentiable point clouds // Proc. of the 32nd Intern. Conf. on Neural Information Processing Systems. Montreal. 2018. P. 2807-2817. URL: https://dl.acm.org/doi/10.5555/3327144.3327204 (дата обращения 19.02.2024)Insafutdinov E., Dosovitskiy A. Unsupervised Learning of Shape and Pose with Differentiable Point Clouds. Proc. of the 32nd Intern. Conf. on Neural Information Processing Systems. 2018, pp. 2807-2817. Available at: https://dl.acm.org/doi/10.5555/3327144.3327204 (accessed 19.02.2024)DeepCut: Joint subset partition and labeling for multi person pose estimation / L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. Gehler, B. Schiele // Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2016. P. 4929-4937. doi: 10.1109/CVPR.2016.533Pishchulin L., Insafutdinov E., Tang S., Andres B., Andriluka M., Gehler P., Schiele B. Deepcut: Joint Subset Partition and Labeling for Multi Person Pose Estimation. Proc. of the IEEE Conf. on Computer Vision And Pattern Recognition. 2016, pp. 4929-4937. doi: 10.1109/CVPR.2016.533A deep learning-based toolbox for Automated Limb Motion Analysis (ALMA) in murine models of neurological disorders / A. Aljovic, S. Zhao, M. Chahin, C. de la Rosa, V. van Steenbergen, V. Kerschensteiner, F. M. Bareyre // Communications biology. 2022. Vol. 5, № 1. Art. 131. doi: 10.1038/s42003-022-03077-6Aljovic A., Zhao S., Chahin M., de la Rosa C., van Steenbergen V., Kerschensteiner V., Bareyre F. M. A Deep Learning-Based Toolbox for Automated Limb Motion Analysis (ALMA) in Murine Models of Neuro-logical Disorders. Communications Biology. 2022, vol. 5, no. 1, p. 131. doi: 10.1038/s42003-022-03077-6Video-based marker-free tracking and multi-scale analysis of mouse locomotor activity and behavioral aspects in an open field arena: a perspective approach to the quantification of complex gait disturbances associated with Alzheimer's disease / M. Bogachev, A. Sinitca, K. Grigarevichius, N. Pyko, A. Lyanova, M. Tsygankova, E. Davletshin, K. Petrov, T. Ageeva, S. Pyko, D Kaplun, A. Kayumov, Ya. Mukhamedshina // Frontiers in Neuroinformatics. 2023. Vol. 17, № 2. P. 110-112. doi: 10.3389/fninf.2023.1101112Bogachev M., Sinitca A., Grigarevichius K., Pyko N., Lyanova A., Tsygankova M., Davletshin E., Petrov K., Ageeva T., Pyko S., Kaplun D, Kayumov A., Mukhamedshina Ya. Video-Based Marker-Free Tracking and Multi-Scale Analysis of Mouse Locomotor Activity and Behavioral Aspects in an Open Field Arena: a Perspective Approach to the Quantification of Complex Gait Disturbances Associated with Alzheimer's Disease. Frontiers in Neuroinformatics. 2023, no. 17, p. 1101112. doi: 10.3389/fninf.2023.1101112Switonski A., Josinski H., Wojciechowski K. Dynamic time warping in classification and selection of motion capture data // Multidimensional Systems and Signal Processing. 2019. Vol. 30, № 6. P. 1437-1468. doi: 10.1007/s11045-018-0611-3Switonski A., Josinski H., Wojciechowski K. Dynamic Time Warping in Classification and Selection of Motion Capture Data. Multidimensional Systems and Signal Processing. 2019, vol. 30, pp. 1437-1468. doi: 10.1007/s11045-018-0611-3Network physiology: how organ systems dynamically interact / R. P. Bartsch, L. Kang, A. Bashan, P. Ch. Ivanov // PloS one. 2015. Vol. 10, № 11. Art. e0142143. doi: 10.1371/journal.pone.0142143Bartsch R. P., Kang L., Bashan A., Ivanov P. Ch. Network Physiology: How Organ Systems Dynamically Interact. PloS one. 2015, vol. 10, no. 11, p. e0142143. doi: 10.1371/journal.pone.0142143Bartsch R. P., Ivanov P. Ch. Coexisting forms of coupling and phase-transitions in physiological net-works // Communications in computer and information science. 2014. Vol. 438. P. 270-287. doi: 10.1007/978-3-319-08672-9_33Bartsch R. P., Ivanov P. Ch. Coexisting Forms of Coupling and Phase-Transitions in Physiological Networks. Communications in Computer and Information Science. 2014, vol. 438, pp. 270-287. doi: 10.1007/978-3-319-08672-9_33Conditional entropy approach for the evaluation of the coupling strength / A. Porta, G. Baselli, F. Lombardi, N. Montano, A. Malliani, S. Cerutti // Biological Cybernetics. 1999. Vol. 81, № 2. P. 119-129. doi: 10.1007/s004220050549Porta A., Baselli G., Lombardi F., Cerutti S. Conditional Entropy Approach for the Evaluation of the Coupling Strength. Biological Cybernetics. 1999, vol. 81, no. 2, pp. 119-129. doi: 10.1007/s004220050549Assessment of cooperativity in complex systems with non-periodical dynamics: comparison of five mutual information metrics / N. S. Pyko, S. A. Pyko, O. A. Markelov, A. I. Karimov, D. N. Butusov, Y. V. Zolotukhin, Y. D. Uljanitski, M. I. Bogachev // Physica A: Statistical mechanics and its applications. 2018. Vol. 503, № 6. P. 1054-1072. doi: 10.1016/j.physa.2018.08.146Pyko N. S., Pyko S. A., Markelov O. A., Karimov A. I., Butusov D. N., Zolotukhin Y. V., Uljanitski Y. D., Bogachev M. I. Assessment of Cooperativity in Complex Systems with Non-Periodical Dynamics: Comparison of Five Mutual Information Metrics. Physica A: Statistical Mechanics and its Applications. 2018, no. 503, pp. 1054-1072. doi: 10.1016/j.physa.2018.08.146Understanding the complex interplay of persistent and antipersistent regimes in animal movement trajectories as a prominent characteristic of their behavioral pattern profiles: Towards an automated and robust model based quantification of anxiety test data / M. I. Bogachev, A. I. Lyanova, A. M. Sinitca, S. A. Pyko, N. S. Pyko, A. V. Kuzmenko, S. A. Romanov, O. I. Brikova, M. Tsygankova, D. Y. Ivkin, S. V. Okovityi, V. A. Prikhodko, D. I. Kaplun, Y. I. Sysoev, A. R. Kayumov // Biomedical signal processing and control. 2023. Vol. 81, № 3. Art. 104409. doi: 10.1016/j.bspc.2022.104409Bogachev M. I., Lyanova A. I., Sinitca A. M., Pyko S. A., Pyko N. S., Kuzmenko A. V., Romanov S. A., Brikova O. I., Tsygankova M., Ivkin D. Y., Okovityi S. V. Understanding the Complex Interplay of Persistent and Antipersistent Regimes in Animal Movement Trajectories as a Prominent Characteristic of Their Behavioral Pattern Profiles: Towards an Automated and Robust Model Based Quantification of Anxiety Test Data. Biomedical Signal Processing and Control. 2023, vol. 81, p. 104409.Bunde A., Havlin S. A brief introduction to fractal geometry. Fractals in science. Berlin, Heidelberg: Springer, 1994. 26 p. doi: 10.1007/978-3-642-77953-4_1Bunde A., Havlin S. A Brief Introduction to Fractal Geometry. Fractals in Science. Berlin, Heidelberg, Springer Berlin Heidelberg, 1994, pp. 1-26. doi: 10.1007/978-3-642-77953-4_1Kasdin N. J. Discrete simulation of colored noise and stochastic processes and 1/f/sup/spl alpha//power law noise generation // Proc. of the IEEE. 1995. Vol. 83, iss. 5. P. 802-827. doi: 10.1109/5.381848Kasdin N. J. Discrete Simulation of Colored Noise and Stochastic Processes and 1/f/sup/spl alpha// Power Law Noise Generation. Proc. of the IEEE. 1995, vol. 83, no. 5, pp. 802-827. doi: 10.1109/5.381848Hanea A. M., Kurowicka D., Cooke R. M. Hybrid method for quantifying and analyzing Bayesian belief nets // Quality and Reliability Engineering International. 2006. Vol. 22, № 6. P. 709-729. doi: 10.1002/qre.808Hanea A. M., Kurowicka D., Cooke R. M. Hybrid Method for Quantifying and Analyzing Bayesian Belief Nets. Quality and Reliability Engineering International. 2006, vol. 22, no. 6, pp. 709-729. doi: 10.1002/qre.808

The authors declare that there are no conflicts of interest present.