radioelectronicsИзвестия высших учебных заведений России. РадиоэлектроникаJournal of the Russian Universities. Radioelectronics1993-89852658-4794Saint Petersburg Electrotechnical University10.32603/1993-8985-2026-29-2-64-78radioelectronics-1132Research ArticleРАДИОЛОКАЦИЯ И РАДИОНАВИГАЦИЯRADAR AND NAVIGATIONОпределение коэффициента масштабирования в системе интеграции инфракрасной системы и ORB-SLAMDetermination of the Scale Factor in an Integrated Infrared and ORB-SLAM SystemБоронахинА. А.BoronakhinA. M.

Боронахин Александр Михайлович – доктор технических наук (2013), профессор (2020), профессор кафедры лазерных измерительных и навигационных систем, декан факультета информационно-измерительных и биотехнических систем. Автор более 120 научных публикаций. Сфера научных интересов – разработка интегрированных инерциальных технологий динамического мониторинга рельсового пути для обеспечения безопасности движения железнодорожного транспорта.

ул. Профессора Попова, д. 5 Ф, Санкт-Петербург, 197022

Alexander M. Boronakhin, Dr Sci. (Eng.) (2013), Professor (2020), Professor of the Department of Laser Measuring and Navigation Systems, Dean of the Faculty of Information Measuring and Biotechnical Systems. The author of more than 120 scientific publications. Area of expertise: development of inte-grated inertial technologies for dynamic monitoring of the rail track to ensure the safety of railway traffic.

5 F, Professor Popov St., St Petersburg 197022

AMBoronahin@etu.ruНгуенК. Х.NguyenQ. K.

Нгуен Куок Хань – магистр по направлению "Приборостроение" (2020), аспирант. Автор 11 научных работ. Сфера научных интересов – инерциальные системы навигации и ориентации.

236, Хоанг Куок Вьет, Ко Нхуэ, Бак Ты Лиэм, Ханой

Nguyen Quoc Khanh, Engineer in Instrumentation Engineering (2020), Postgraduate student. The author of 11 scientific publications. Area of expertise: inertial navigation and orientation systems.

236, Hoang Quoc Viet, Co Nhue, Bac Tu Liem, Hanoi

nguyenquockhanh183@gmail.comСанкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)РоссияSaint Petersburg Electrotechnical UniversityRussian FederationВьетнамский государственный технический университет им. Ле Куй ДонаВьетнамLe Quy Don Technical UniversityViet Nam2026260420262926478Copyright © Боронахин А.А., Нгуен К., 20262026Боронахин А.А., Нгуен К.Boronakhin A.M., Nguyen Q.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://re.eltech.ru/jour/article/view/1132

Введение. Интерес к исследованиям автономных малогабаритных транспортных устройств в последние годы стремительно растет, при этом задачи навигации являются ключевыми и первоочередными для их решения. В условиях внешней среды использование глобальной спутниковой навигационной системы остается оптимальным решением благодаря широкому покрытию, автоматичности и простоте применения. Однако движение в неизвестных и GPS недоступных средах, таких как помещения, остаются открытой научной задачей. Система Valve Lighthouse была предложена для навигации транспортных устройств в ограниченных пространствах благодаря высокой степени автоматизации, низкой стоимости, простоте развертывания, а также крайне компактным сенсорам, устанавливаемым на устройство, что делает ее особенно подходящей для малогабаритных транспортных устройств. Однако, как и другие системы навигации в помещении, Lighthouse не позволяет строить карту неизвестной среды (обнаруживать препятствия), что может приводить к столкновениям и повреждению устройства. Поэтому интеграция с системой построения карты является необходимой. В настоящее время оптимальным выбором для малогабаритных устройств является ORB SLAM на основе монокулярной камеры. Единственным существенным недостатком монокулярных систем является невозможность определе-ния коэффициента масштаба карты. С этой целью в данной статье предлагается алгоритм определения коэффициента масштаба карты системы ORB SLAM при ее интеграции с инфракрасной системой.Цель работы. Определение коэффициента масштаба карты системы ORB SLAM в интегрированной системе с инфракрасной системой.Материалы и методы. Предложенный метод основан на адаптивном расширенном фильтре Калмана с окном "Sage" в сочетании с методом оценки максимального правдоподобия.Результаты. Предложенный алгоритм позволяет в реальном времени определять коэффициент масштаба карты системы ORB SLAM по каждой оси.Заключение. Предлагается алгоритм определения коэффициента масштаба карты системы ORB SLAM по каждой оси в реальном времени в составе интегрированной системы с инфракрасной системой Valve Lighthouse.

Introduction

Introduction. Recent years have seen an increased interest in research on small autonomous vehicles, in which naviga-tion are the fundamental problems that must be addressed. In outdoor environments, the use of global satellite naviga-tion systems remains the optimum solution due to their wide coverage, high level of automation, and ease of use. How-ever, operation in unknown and GPS denied environments, such as indoor spaces, is still a relevant research problem. The Valve Lighthouse (LH) system has been proposed for guiding mobile platforms in confined spaces due to its autonomous operation, low cost, ease of deployment, and miniature onboard sensors, which are particularly suitable for small scale vehicles. Nevertheless, similar to other indoor localization sensors, the LH system does not allow the reconstruction of an unknown environment (i.e., obstacle detection), which may lead to collisions and potential damage to the vehicle. Therefore, integration with a mapping system is necessary. Currently, an optimal choice for small scale platforms is ORB SLAM based on a monocular camera. The main drawback of monocular camera based systems lies in their inability to determine the scale factor of the map. In this regard, this paper proposes an algorithm to estimate the map scale factor of the ORB SLAM system through its integration with an infrared system.

Aim

Aim. Determination of the map scale factor of the ORB SLAM system in an integrated infrared system.

Materials and methods

Materials and methods. The proposed algorithm is based on an extended adaptive Kalman filter with a Sage window combined with a maximum likelihood estimation method.

Results

Results. The proposed algorithm enables the determination of the map scale factor of the ORB SLAM system along each axis in real time. Conclusion. An algorithm is proposed to determine the map scale factor of the ORB SLAM system along each axis in real time within a system integrated with the Valve Lighthouse infrared system.

коэффициент масштабаORB SLAMинфракрасная системаscale factorORB SLAMinfrared systemReferencesMellinger D., Kumar V. Minimum snap trajecto-ry generation and control for quadrotors // IEEE Intern. Conf. on Robotics and Automation, Shanghai, China, 09–13 May 2011. IEEE, 2011. P. 2520–2525. doi: 10.1109/ICRA.2011.5980409Mellinger D., Kumar V. Minimum Snap Trajectory Generation and Control for Quadrotors. IEEE Intern. Conf. on Robotics and Automation, Shanghai, China, 09–13 May 2011. IEEE, 2011, pp. 2520–2525. doi: 10.1109/ICRA.2011.5980409Lindsey Q., Mellinger D., Kumar V. Construction of cubic structures with quadrotor teams // Robot-ics: Science and Systems VII. Cambridge: MIT Press, 2012. P. 177–184. doi: 10.7551/mitpress/9481.003.0028Lindsey Q., Mellinger D., Kumar V. Construc-tion of Cubic Structures with Quadrotor Teams. Robotics: Science and Systems VII. Cambridge, MIT Press, 2012, pp. 177–184. doi: 10.7551/mitpress/9481.003.0028Cooperative quadrocopter ball throwing and catching / R. Ritz, M. Mueller, M. Hehn, R. D’Andrea // Proc. IEEE Intl. Conf. on Intelligent Robots and Systems, Vilamoura-Algarve, Portugal, 07–12 Oct. 2012. IEEE, 2012. P. 4972–4978. doi: 10.1109/IROS.2012.6385963Ritz R., Mueller M., Hehn M., D’Andrea R. Cooperative Quadrocopter Ball Throwing and Catching. Proc. IEEE Intl. Conf. on Intelligent Robots and Systems, Vilamoura-Algarve, Portugal, 07–12 Oct. 2012. IEEE, 2012, pp. 4972–4978. doi: 10.1109/IROS.2012.6385963Towards a swarm of agile micro quadrotors / P. Agarwal, S. Kumar, J. Ryde, J. Corso et al. // Robotics: Science and Systems VIII. Cambridge: MIT Press, 2013. P. 217–224. doi: 10.7551/mitpress/9816.001.0001Agarwal P., Kumar S., Ryde J., Corso J. et al. Towards a Swarm of Agile Micro Quadrotors. Robotics: Science and Systems VIII. Cambridge, MIT Press, 2013, pp. 217–224. doi: 10.7551/mitpress/9816.001.0001Kanellakis C., Nikolakopoulos G. Survey on Computer Vision for UAVs: Current Developments and Trends // J. of Intelligent & Robotic Systems. 2017. Vol. 87. P. 141–168. doi: 10.1007/s10846-017-0483-zKanellakis C., Nikolakopoulos G. Survey on Computer Vision for UAVs: Current Developments and Trends. J. of Intelligent & Robotic Systems. 2017, vol. 87, pp. 141–168. doi: 10.1007/s10846-017-0483-zChao H., Gu Y., Napolitano M. A survey of op-tical flow techniques for UAV navigation applications // Intern. Conf. on Unmanned Aircraft Systems, Atlanta, USA, 28–31 May 2013. IEEE, 2013. P. 710–716. doi: 10.1109/ICUAS.2013.6564752Chao H., Gu Y., Napolitano M. A Survey of Op-tical Flow Techniques for UAV Navigation Applications. Intern. Conf. on Unmanned Aircraft Systems, Atlanta, USA, 28–31 May 2013. IEEE, 2013, pp. 710–716. doi: 10.1109/ICUAS.2013.6564752Боронахин А. М., Нгуен К. Х., Нгуен Ч. И. Сравнительное исследование навигационных систем для автономных беспилотных летательных аппаратов в помещении // Изв. вузов России. Радиоэлектроника. 2024. Т. 27, № 4. С. 6–18. doi: 10.32603/1993-8985-2024-27-4-6-18Boronakhin A. M., Nguyen Quoc Khanh, Ngu-yen Trong Yen. Comparative Review of Navigation Systems for Indoor Autonomous Unmanned Aerial Vehicles. J. of the Russian Universities. Radioelectron-ics. 2024, vol. 27, no. 4, pp. 6–18. (In Russ.) doi: 10.32603/1993-8985-2024-27-4-6-18DronOS: Aflexible open-source prototyping framework for interactive drone routines / M. Hoppe, M. Burger, A. Schmidt, T. Kosch // Proc. of Intern. Conf. on Mobile and Ubiquitous Multimedia. 2019. Art. № 15. P. 1–7. doi: 10.1145/3365610.3365642Hoppe M., Burger M., Schmidt A., Kosch T. DronOS: Aflexible Open-Source Prototyping Frame-work for Interactive Drone Routines. Proc. of Intern. Conf. on Mobile and Ubiquitous Multimedia. 2019, art. no. 15, pp. 1–7. doi: 10.1145/3365610.3365642Greiff M., Robertsson A., Berntorp K. Perfor-mance bounds in positioning with the VIVE lighthouse system // Intern. Conf. on Information Fusion, Ottawa, Canada, 02–05 July 2019. IEEE, 2019. P. 1–8. doi: 10.23919/FUSION43075.2019.9011242Greiff M., Robertsson A., Berntorp K. Perfor-mance Bounds in Positioning with the VIVE Light-house System. Intern. Conf. on Information Fusion, Ottawa, Canada, 02–05 July 2019. IEEE, 2019, pp. 1–8. doi: 10.23919/FUSION43075.2019.9011242A Review of Multi-Sensor Fusion SLAM Systems Based on 3D LIDAR / X. Xu, L. Zhang, J. Yang, C. Cao, W. Wang, Y. Ran, Z. Tan, M. Luo // Remote Sensing. 2022. Vol. 14, № 12. Art. № 2835. doi: 10.3390/rs14122835Xu X., Zhang L., Yang J., Cao C., Wang W., Ran Y., Tan Z., Luo M. A Review of Multi-Sensor Fusion SLAM Systems Based on 3D LIDAR. Remote Sensing. 2022, vol. 14, no. 12, art. no. 2835. doi: 10.3390/rs14122835Lighthouse positioning system: Dataset, accuracy, and precision for UAV research / A. Taffanel, B. Rousselot, J. Danielsson, K. McGuire, K. Richardsson, M. Eliasson, T. Antonsson, W. Honig // ArXiv. 2021. URL: https://arxiv.org/pdf/2104.11523 (дата обращения: 23.04.2021).Taffanel A., Rousselot B., Danielsson J., McGuire K., Richardsson K., Eliasson M., Antonsson T., Honig W. Lighthouse Positioning System: Dataset, Accuracy, and Precision for UAV Research. ArXiv. 2021. Available at: https://arxiv.org/pdf/2104.11523 (accessed: 23.04.2021).Niehorster D. C., Li L., Lappe M. The accuracy and precision of position and orientation tracking in the HTC vive virtual reality system for scientific research // I-Perception. 2017. Vol. 8, № 3. Art. № 204166951770820. doi: 10.1177/2041669517708205Niehorster D. C., Li L., Lappe M. The Accuracy and Precision of Position and Orientation Tracking in the HTC Vive Virtual Reality System for Scientific Research. I-Perception. 2017, vol. 8, no. 3, art. no. 204166951770820. doi: 10.1177/2041669517708205Ikbal M. S., Ramadoss V., Zoppi M. Dynamic pose tracking performance evaluation of HTC vive virtual reality system // IEEE Access. 2020. Vol. 9. P. 3798–3815. doi: 10.1109/ACCESS.2020.3047698Ikbal M. S., Ramadoss V., Zoppi M. Dynamic Pose Tracking Performance Evaluation of HTC Vive Virtual Reality System. IEEE Access. 2020, vol. 9, pp. 3798–3815. doi: 10.1109/ACCESS.2020.3047698HTC Vive Tracker: Accuracy for Indoor Local-ization / J. Lwowski, A. Majumdar, P. Benavidez, J. Prevost, Mo Jamshidi // IEEE Systems, Man and Cybernetics Magazine. 2020. Vol. 6, № 4. P. 15–22. doi: 10.1109/MSMC.2020.2969031Lwowski J., Majumdar A., Benavidez P., Prevost J., Jamshidi Mo HTC Vive Tracker: Accuracy for Indoor Localization. IEEE Systems, Man and Cybernetics Magazine. 2020, vol. 6, no. 4, pp. 15–22. doi: 10.1109/MSMC.2020.2969031Grzonka S., Grisetti G., Burgard W. Towards a navigation system for autonomous indoor flying // IEEE Intern. Conf. on Robotics and Automation, Kobe, Japan, 12–17 May 2009. IEEE, 2009. P. 2878–2883. doi: 10.1109/ROBOT.2009.5152446Grzonka S., Grisetti G., Burgard W. Towards a Navigation System for Autonomous Indoor Flying. IEEE Intern. Conf. on Robotics and Automation, Kobe, Japan, 12–17 May 2009. IEEE, 2009, pp. 2878–2883. doi: 10.1109/ROBOT.2009.5152446Visual-inertial SLAM for a small helicopter in large outdoor environments / M. W. Achtelik, S. Lynen, S. Weiss, L. Kneip, M. Chli, R. Siegwart // IEEE In-tern. Conf. on Intelligent Robots and Systems, Vilamoura-Algarve, Portugal, 07–12 Oct. 2012. IEEE, 2012. P. 2651–2652. doi: 10.1109/IROS.2012.6386270Achtelik M. W., Lynen S., Weiss S., Kneip L., Chli M., Siegwart R. Visual-Inertial SLAM for a Small Helicopter in Large Outdoor Environments. IEEE Intern. Conf. on Intelligent Robots and Systems, Vilamoura-Algarve, Portugal, 07–12 Oct. 2012. IEEE, 2012, pp. 2651–2652. doi: 10.1109/IROS.2012.6386270Vision-based autonomous mapping and exploration using a quadrotor MAV / F. Fraundorfer, L. Heng, D. Honegger, G. Lee, L. Meier, P. Tanskanen, M. Pollefeys // IEEE Intern. Conf. on Intelligent Robots and Systems, Vilamoura-Algarve, Portugal, 07–12 Oct. 2012. IEEE, 2012. P. 4557–4564. doi: 10.1109/IROS.2012.6385934Fraundorfer F., Heng L., Honegger D., Lee G., Meier L., Tanskanen P., Pollefeys M. Vision-Based Autonomous Mapping and Exploration Using a Quadrotor MAV. IEEE Intern. Conf. on Intelligent Robots and Systems, Vilamoura-Algarve, Portugal, 07–12 Oct. 2012. IEEE, 2012, pp. 4557–4564. doi: 10.1109/IROS.2012.6385934Engel J., Sturm J., Cremers D. Scale-aware navigation of a low-cost quadrocopter with a monocu-lar camera // Robotics and Autonomous Systems. 2014. Vol 62, № 11. P. 1646–1656. doi: 10.1016/j.robot.2014.03.012Engel J., Sturm J., Cremers D. Scale-Aware Navigation of a Low-Cost Quadrocopter with a Mo-nocular Camera. Robotics and Autonomous Systems. 2014, vol 62, no. 11, pp. 1646–1656. doi: 10.1016/j.robot.2014.03.012Versatile distributed pose estimation and sensor self-calibration for an autonomous MAV / S. Weiss, M. Achtelik, M. Chli, R. Siegwart // IEEE Intern. Conf. on Robotics and Automation, Saint Paul, USA, 14–18 May 2012. IEEE, 2012. P. 31–38. doi: 10.1109/ICRA.2012.6225002Weiss S., Achtelik M., Chli M., Siegwart R. Versatile Distributed Pose Estimation and Sensor Self-Calibration for an Autonomous MAV. IEEE Intern. Conf. on Robotics and Automation, Saint Paul, USA, 14–18 May 2012. IEEE, 2012, pp. 31–38. doi: 10.1109/ICRA.2012.6225002Mur-Artal R., Tardós J. D. ORB-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras // IEEE Transactions on Robotics. IEEE, 2017. Vol. 33, № 5. P. 1255–1262. doi: 10.1109/TRO.2017.2705103Mur-Artal R., Tardós J. D. ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras. IEEE Transactions on Robotics. IEEE, 2017, vol. 33, no. 5, pp. 1255–1262. doi: 10.1109/TRO.2017.2705103Yusefı A., Durdu A., Sungur C. ORB-SLAM-based 2D Reconstruction of Environment for Indoor Autonomous Navigation of UAVs // J. Avrupa Bilim Ve Teknoloji Dergisi. 2020. P. 466–472. doi: 10.31590/ejosat.819620Yusefı A., Durdu A., Sungur C. ORB-SLAM-Based 2D Reconstruction of Environment for Indoor Autonomous Navigation of UAVs. J. Avrupa Bilim Ve Teknoloji Dergisi. 2020, pp. 466–472. doi: 10.31590/ejosat.819620

The authors declare that there are no conflicts of interest present.