Виртуальная (VR), дополненная (AR) и смешанная реальность (MR) применяется в различных областях медицины, включая обучение, диагностику, реабилитацию и психотерапию.
VR предоставляет студентам возможность изучать анатомию и выполнять процедуры на 3D-модели человеческого тела неинвазивно, без использования других методов диагностики и визуализации [1].
С помощью VR/AR/MR врачи могут выполнять предоперационное планирование сложных операций, улучшая понимание анатомии пациента путем анализа виртуальных моделей органов, полученных с помощью МРТ, КТ [2].
Виртуальная реальность используется для лечения различных фобий, тревожных расстройств путем симулирования ситуаций, вызывающих тревогу в безопасной среде. Например, люди с фобией высоты могут использовать VR-очки для постепенного привыкания к высоте [3].
Виртуальная реальность помогает пациентам выполнять упражнения для восстановления двигательных навыков и координации для реабилитации после травм, инсультов или других повреждений [4].
VR также используется для отвлечения внимания пациентов от боли и снижения уровня стресса во время лечения или послеоперационного периода [5].
Виртуальная реальность помогает пациентам с ПТСР постепенно преодолевать расстройство путем симуляции сценариев, вызывающих его [6].
AR/MR используются для предоставления хирургам во время операций информации о внутренних структурах тела пациента. Например, с помощью AR-очков хирург видит виртуальные указатели и инструкции прямо в поле зрения во время процедуры, что помогает улучшить точность и эффективность вмешательства [7].
С помощью AR/MR проводят визуализацию данных прямо на пациенте для оптимизации процесса постановки диагноза [8].
Вся подготовка к операции происходит за пределами операционной, что не влияет на время проведения хирургического вмешательства. Однако специалистам требуется время и специальные знания для подготовки 3D-моделей для операции при помощи сегментации.
Сегментация медицинских данных — это процесс обработки DICOM изображений путем распознавания отдельных элементов на изображении, разделение его на сегменты для упрощения его представления [9]. В зависимости от поставленной задачи выбирается количество классов, на которое надо разбить изображение, и каждой минимальной единице изображения (пиксель, воксель) присваивается тот или иной класс в рамках зоны интереса в соответствии с условием поставленной задачи (например, выделение костей, опухоли и сосудов) [10].