По всем вопросам звоните:

+7 495 274-22-22

УДК: 616,9-089;-338.27:004 DOI:10.33920/med-01-2412-14

Обзор методов наложения 3D модели на пациента при использовании дополненной реальности в хирургии

Иванов Владимир Михайлович д-р физ.-мат. наук, профессор Высшей школы теоретической механики и математической физики Федерального государственного автономного образовательного учреждения высшего образования «Санкт-Петербургский политехнический университет Петра Великого», Россия, г. Санкт-Петербург, voliva@rambler.ru, +7 921 914 0989, ORCID ID: 0000–0001–5956–2306
Мамаев Ильдар Рафаэльевич разработчик, ООО «Меджитал», Россия, г. Санкт-Петербург, mirectape@gmail.com, +79129969599, ORCID ID: 0009-0004-0867-6889
Князев Александр Викторович руководитель направления «Лучевая диагностика», ООО «Нацстандарт-дистрибуция», Россия, г. Москва, Alexander.knyazev@mail.ru, +7 985 334 2162, ORCID ID: 0009-0000-2111-382X
Стрелков Сергей Васильевич технический директор, ООО «Меджитал», Россия, г. Санкт-Петербург, sergin3d2d@gmail.com, +79030969273, ORCID ID: 0000-0002-5901-0866
Синегуб Андрей Владимирович кандидат технических наук, специалист Высшей школы теоретической механики и математической физики Федерального государственного автономного образовательного учреждения высшего образования «Санкт-Петербургский политехнический университет Петра Великого», Россия, г. Санкт-Петербург, a.sinegub@yandex.ru, +79818476730, ORCID ID: 0000-0003-2619-3691
Смирнов Антон Юрьевич студент кафедры системного анализа и оптимизации информационных систем и технологий Федерального государственного автономного образовательного учреждения высшего образования «Санкт-Петербургский политехнический университет Петра Великого», Россия, г. Санкт-Петербург, ishunpo0@gmail.com, +7 999 008 6951, ORCID ID: 0009-0001-2440-2499
Коновалов Антон Николаевич кандидат медицинских наук, научный сотрудник, врач-нейрохирург, ФГАУ «НМИЦ нейрохирургии им. Н.Н. Бурденко», старший научный сотрудник Лаборатории носимых биосовместимых устройств и бионических протезов Первого МГМУ им. И.М. Сеченова, г. Москва, Российская Федерация, ORCID https://orcid.org/0000-0002-0932-4752, e-mail: Ankonovalov@nsi.ru, +79168619987

Современные методы визуализации в хирургии все больше ориентируются на использование дополненной и смешанной реальности, где одним из ключевых устройств является гарнитура HoloLens 2 от «Microsoft». ООО «Меджитал» разработал систему, позволяющую накладывать 3D-модели патологий на тело пациента с точностью до 1–2 мм с использованием HoloLens 2. Статья описывает инвазивные и неинвазивные методы фиксации AR-маркеров на теле пациента для калибровки голограмм. Среди них: винтовое костное крепление, термопластические маски, рамки из полиамида, магнитные системы и указки с QR-кодами. Для каждого метода описываются преимущества и недостатки, связанные с точностью, удобством использования и потребностями в стерилизации.

Литература:

1. Balakrishnan P., Guo H.J. HoloLens 2 Technical Evaluation as Mixed Reality Guide / International Conference on HumanComputer Interaction. Cham: Springer Nature Switzerland. 2024. PP. 145–165.

2. Halabi O., Balakrishnan S., Dakua S. P. et al. Virtual and augmented reality in surgery / In The disruptive fourth industrial revolution: technology, society and beyond. 2020. PP. 257–285.

3. Zari G., Condino S., Cutolo F. et al. Magic leap 1 versus microsoft hololens 2 for the visualization of 3d content obtained from radiological images // Sensors. 2023. Vol. 23. № 6. P. 3040.

4. Ivanov V., Krivtsov A., Strelkov S. et al. Surgical navigation systems based on augmented reality technologies //arXiv preprint arXiv:2106.00727. 2021.

5. Shao L., Yang S., Fu T. et al. Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation // Computers in Biology and Medicine. 2022. Vol. 148. P. 105826.

6. Cheng J.C., Chen K., Chen W. Comparison of marker-based AR and markerless AR: A case study on indoor decoration system // Lean and Computing in Construction Congress (LC3): Proceedings of the Joint Conference on Computing in Construction (JC3). 2017. PP. 483–490.

7. Verhey L.J. Immobilizing and positioning patients for radiotherapy / In Seminars in radiation oncology. WB Saunders, 1995. Vol. 5. № 2. PP. 100–114.

8. Cuccia F., Alongi F., Belka C. et al. Patient positioning and immobilization procedures for hybrid MR-Linac systems // Radiation Oncology. 2021. Vol. 16. PP. 1–14.

9. O’Connor D., Kennedy J. An evaluation of 3D printing for the manufacture of a binaural recording device // Applied Acoustics. 2021. Vol. 171. P. 107610.

10. Egmont-Petersen M., Arts T. Recognition of radiopaque markers in X-ray images using a neural network as nonlinear filter // Pattern Recognition Letters. 1999. Vol. 20. № 5. PP. 521–533.

11. Bentsen S.B., Eide G. E., Wiig S. et al. Patient positioning on the operating table and patient safety: A systematic review and meta‐analysis // Journal of Advanced Nursing. 2023. Published online.

12. George R. E., Bay C.C., Shaffrey E.C. et al. A Day in the Life of a Surgical Instrument: The Cycle of Sterilization // Annals of Surgery Open. 2024. Vol. 5. № 1. P. e381.

13. Chumchuen S., Lertpullpol W., Apivatgaroon A. Open technique for supra-acetabular pin placement in pelvic external fixation: a cadaveric study // Journal of Orthopaedics and Traumatology. 2022. Vol. 23. № 1. P. 14.

14. Bindels B.J., Weijers R.A., van Mourik M. S. et al. Assessing the accuracy of a new 3D2D registration algorithm based on a noninvasive skin marker model for navigated spine surgery // International Journal of Computer Assisted Radiology and Surgery. 2022. Vol. 17. № 10. PP. 1933–1945.

15. Mittmann B.J., Seitel A., Echner G. et al. Reattachable fiducial skin marker for automatic multimodality registration // International journal of computer assisted radiology and surgery. 2022. Vol. 17. № 11. PP. 2141–2150.

16. Мадалиев А., Иванов В.М. Методика позиционирования хирургической системы смешанной реальности / График конференции по компьютерной графике и зрению. 2023. Т. 33. С. 139–145.

17. Zhou L., Wang W., Li Z. et al. Clinical application of 3D-Slicer+ 3D printing guide combined with transcranial neuroendoscopic in minimally invasive neurosurgery // Scientific reports. 2022. Vol. 12. № 1. PP. 20421.

18. Wan X., Shen L., Fang Z. et al. A novel motionless calibration method for augmented reality surgery navigation system based on optical tracker // Heliyon. 2022. Vol. 8. № 12. PP. 1–9.

19. Cai H., Ding R., Huang W. et al. Fast calibration with OTS for AR-based surgical navigation / 2021 27th International Conference on Mechatronics and Machine Vision in Practice (M2VIP). IEEE. 2021. PP. 738–743.

Современные тенденции в развитии методов визуализации в хирургии направлены в основном в сторону применения методов дополненной и смешанной реальности. Основным техническим средством для ее осуществления является — HoloLens 2 (Microsoft Corporation Inc., США) [1]. Особенность данной гарнитуры — это линзы. Они выполнены по технологии волновых направляющих (waveguides), что обеспечивает широкое поле зрения и высокое качество визуализируемого в пространстве изображения. В отличии от VRгарнитур с функцией дополненной реальности и Apple Vision Pro (Apple Inc., США), HoloLens 2 позволяет видеть окружающий мир таким, какой он есть. Прямым аналогом и конкурентом Microsoft является гарнитура Magic Leap (Magic Leap Inc., США), которая также позволяет видеть реальную картину через линзы и нашла применение в хирургии [2, 3].

ООО «Меджитал» была разработана система планирования и визуализации — Меджитал вижн (далее — Меджитал Вижн) [4], которая позволяет осуществить визуализацию паталогических структур тела пациента непосредственно на нем во время проведения операции. В качестве источника визуализации была выбрана гарнитура HoloLens 2. Основной задачей системы является наложение 3D-модели анатомических структур на пациента с соблюдением точности наложения 1–2 мм. Данный показатель сравним с точностью нейронавигационных систем ведущих мировых производителей («BrainLab» Германия, «Medtronic» США, «Stryker» США и др.).

Калибровка позиционирования 3D-модели анатомии поверх пациента является необходимым условием использования систем дополненной реальности [5]. Калибровка достигается благодаря двум основным функциям HoloLens 2: алгоритму для фиксации трехмерного изображения в пространстве и QR-коду, который определяет точку привязки этого изображения.

Для закрепления QR-кода на различных частях тела пациента используются специализированные крепежные приспособления.

Эти приспособления подробно описаны и классифицированы ниже. Все методы фиксации, описанные в этой статье, прошли испытания в реальных условиях, выявив их преимущества и недостатки.

Для Цитирования:
Иванов Владимир Михайлович, Мамаев Ильдар Рафаэльевич, Князев Александр Викторович, Стрелков Сергей Васильевич, Синегуб Андрей Владимирович, Смирнов Антон Юрьевич, Коновалов Антон Николаевич, Обзор методов наложения 3D модели на пациента при использовании дополненной реальности в хирургии. Вестник неврологии, психиатрии и нейрохирургии. 2024;12.
Полная версия статьи доступна подписчикам журнала
Язык статьи:
Действия с выбранными: