Новые реальности — все про VR, XR, AR и MR

XR — расширенная реальность. Из чего состоит XR? Сегодня технологический стек выглядит так:

VR — Virtual Reality — виртуальная реальность, при которой виден только цифровой мир. Смотреть на него можно через очки цифровой реальности.

AR — Augmented Reality — дополненная реальность. Есть некое устройство, сквозь которое можно смотреть на настоящий мир. Цифровой объект при этом появляется на экране устройства.

MR — Mixed Reality — смешанная реальность, при которой цифровой мир взаимодействует с реальным.

Материал и фотографии портала https://vrexpo.world Новые реальности — все про VR, XR, AR и MR

31 октября, 2020

Виртуальная реальность уже стала частью нашей жизни — мы упоминаем о ней в разных контекстах. VR-индустрия развивается настолько быстро, что уследить за ней становится трудно: люди не всегда (или — не полностью) понимают, о чём идет речь. Путаницу также создает большое количество терминов-акронимов: VR, XR, MR, CR и AR. На первый взгляд разобраться в них трудно, хотя на самом деле все не так уж и сложно. Главное — разложить всё по полочкам.

Краткая предыстория

О том, когда человечество впервые заговорило о возможности создания виртуальных реальностей ведутся дебаты. Одни говорят, что у истоков понятия стоят древние религии, другие же указывают на греческих и римских мыслителей. Ближе всего к предсказанию появления такой технологии оказались философы эпохи Ренессанса и Просвещения. Тем не менее, даже их определения далеки от современного.

Современную интерпретацию концепции придумали в 40-х годах XX века, чему поспособствовало развитие кинематографа. Уже в 50-х и 60-х годах появлялись запатентованные устройства, отдаленно напоминавшие VR-шлемы. Эти устройства были либо стереоскопами (проще говоря — технология, использующая сейчас в 3D-кинотеатрах), либо — очками с вмонтированным дисплеем.

Что такое виртуальная реальность

В современном смысле этого понятия, виртуальная реальность — это компьютерная симуляция, искусственный мир, в котором имитируется трехмерное пространство.

Главное свойство виртуальной реальности заключается в том, что человек может с помощью своих чувств воспринимать виртуальный мир. Речь идёт о зрительных, слуховых, тактильных, обонятельных образах. При этом, важна правдоподобность такой имитации, чтобы человек как можно сильнее погрузился в виртуальный мир.

Ещё одно важное свойство — интерактивность виртуального пространства. У пользователя должна быть возможность взаимодействовать с ним и влиять на него, при этом результат взаимодействия должен быть предсказуемым.

Виртуальная реальность не должна полностью копировать реальный мир и его законы. Ее задача заключается в воздействии на органы чувств человека — в остальных смыслах может подразумеваться что угодно.

О развитии технологий

Двадцать-двадцать пять лет назад виртуальным пространством мы называли интернет, да и вообще всё, что происходит внутри компьютера. Такое определение было некорректным уже тогда, а сейчас — и подавно.

Когда начали появляться трехмерные видеоигры, мы начали говорить, что внутри них — виртуальный мир. Вот это определение — вполне правильное. Речь идёт о Desktop-based реальности, то есть — виртуальном мире, создаваемым компьютером.

Называть какую-нибудь видеоигру виртуальной реальностью можно, но опять же — это в прошлом. Сейчас картинкой на мониторе никого не удивишь, да и когда говорят о VR и сопутствующих технологиях, имеют в виду совсем не экран.

Современный VR — это либо полноценное погружение в искусственную реальность с помощью очков или шлема (собственно говоря — VR), либо взаимодействие искусственной и «настоящей» реальностей (MR, XR, AR) с помощью сторонних гаджетов. Вот в таком вот контексте и используется понятие виртуальной реальности.

Почему важно разграничивать понятия

Подходов к имитации реальности много, при этом концепции могут сильно отличаться друг от друга. Нельзя называть каждую технологию VR’ом, так как степень погружения человека в искусственную реальность разнится, да и устройства для этого используются разные.

Когда мы говорим про VR, XR, AR, MR или CR мы подразумеваем разные вещи. Таким образом, большое количество определений — реальная необходимость, а не уловка маркетологов.

VR

VR (Virtual Reality) — технология, предполагающая полное погружение человека в виртуальную реальность. Виртуальный мир создается компьютером, при этом все изменения внутри мира обрабатываются в реальном времени.

У современного VR есть следующие отличительные черты:

• Сенсорная депривация пользователей от внешних раздражителей. Речь идёт об использовании наушников, VR-шлема со встроенным дисплеем, использовании специальных перчаток (или даже одежды) для имитации тактильных ощущений. Задача — максимально оградить человека от реального мира и погрузить его в виртуальную реальность;
• Тенденция к усложнению. Виртуальные миры становятся более проработанными. В новых видеоиграх или тренажерах можно крутить головой на 360 градусов, взаимодействовать с окружающими предметами. Становится сложнее управление. Более того, уже сейчас часто встречается необходимость ходить в реальном мире для того, чтобы перемещаться в виртуальном. Речь, опять же, идет о степени погружения — чтобы углубить пользователя в новую реальность, производители и разработчики пытаются избавиться от использования условных кнопок, как на клавиатуре;
• Использование сложного софта и «железа». Мы стали более требовательными к качеству графики и правдоподобности виртуального мира, от чего усложняется и задача по имитации реальности: программисты пишут много кода, а для использования технологии нужны мощные компьютеры.

Как видите, технология достаточно сильно усложнилась. Именно поэтому называть мир в старом Doom’е, Quake’е или Half-Life’е виртуальным хоть и можно, но не нужно — новая технология полностью заменила старую, и смысл понятия “VR” изменился.

Современный VR стал массовым. Полноценный VR-опыт хоть и недешевый (VR-шлем и сенсоры для управления + мощный компьютер стоят относительно дорого), но при желании он доступен каждому. По сути, обладать VR-шлемом в 2020 году — это как обладать компьютером в 90-е.

Где используется VR

Говоря вкратце, VR, чаще всего, используется либо в индустрии развлечений, либо для прикладных (образовательных, промышленных) целей.

В первом случае речь идёт о видеоиграх (чего только стоит недавний ажиотаж вокруг выхода HL:Alyx — самой популярной и проработанной игре для виртуальной реальности). Кроме того, VR также используется в интерактивном кинематографе.

Для образовательных целей VR начали использовать чуть ли не раньше, чем для развлечений. Ярчайший пример — авиатренажеры. Виртуальными самолетами управлять ничуть не легче, чем настоящими, и начинающие пилоты получают полноценный опыт и знания, не рискуя при этом своим здоровьем и дорогой техникой. Кроме того, VR уже используется для обучения врачей, солдатов, космонавтов и даже инженеров.

Искусственные симуляции используются учеными для моделирования гипотетических ситуаций, предсказания событий с точки зрения физики, химии или биологии, изучения определенных явлений. В этом случае виртуальная реальность максимально приближена к реальному миру, по крайней мере — её законы приблизительно копируют законы настоящего мира.

Есть ещё один распространенный пример прикладного использования VR. Речь идет о VR-камерах, которые позволяют снимать реальный мир и переводить его в цифровое 3D-пространство. К примеру, вы можете погулять по улицам разных городов с помощью Google Maps, или посетить музей не выходя из дома. Кроме того, VR может использоваться для снятия панорамных видео (360 градусов). Примеры таких видео можно найти на YouTube.

Как получить VR-опыт

Простейший способ — самостоятельно сделать себе очки-шлем. Можно использовать проект Google Cardboard. В самодельные очки вставляется смартфон, на котором запущено стереоскопическое видео — вот вам пускай и упрощенный, но VR-опыт.

Прочувствовать полноценный, качественный и современный VR можно купив комплект из шлема и органов управления (перчатки, джойстик и т.п). Речь идет о наборах Oculus Rift, HTC Vive или любом другом соответствующем комплекте.

Практические кейсы

Большое внимание VR’у уделяют туристические агентства. VR используется в рекламных целях: потенциальные туристы могут посетить разные города и страны прямо в кабинете агентства. Судя по статистике, которой оперируют маркетологи, благодаря использованию VR’а у турагентств неплохо растут продажи.

Виртуальная помогает позволяет врачам практиковаться перед началом работы с настоящими пациентами. В особенности полезным VR оказался для хирургов — они учатся делать операции, при этом внутри виртуальной реальности им даются полезные подсказки, которые нельзя получить в других условиях (без софта и экрана).

Siemens использует VR для тренировки своих сотрудников. У компании есть нефтяные платформы, работа на которых не только сложная, но и опасная. Благодаря виртуальной реальности сотрудники могут в безопасной среде научиться решать неполадки, которые чаще всего возникают на буровых установках. Кроме того, VR позволяет психологически подготовить сотрудника к обстановке и условиям работы на нефтяных промыслах.

Будущих инженеров-конструкторов обучают в том числе и с помощью VR. Виртуальная реальность позволяет увидеть объект в трехмерной перспективе, и изучить его со всех сторон. Кроме того, инженер может загрузить свой проект в VR, и тем самым увидеть примерные результаты ещё до того, как проект будет реализован.

VR используется на производствах для планирования работы, а также для предотвращения неполадок и несчастных случаев. Компания Gabler применяет VR-шлемы для того, чтобы исследовать разные этапы производства (конвейеры) на предмет возможных опасностей для сотрудников. VR также повышает скорость и эффективность работы за счёт модернизации технологического процесса.

Специалисты из Цюрихского университета придумали нестандартное применение для VR. С помощью искусственной реальности они изучали преступления: воссоздавали место событий и действия людей, связанных с правонарушением. Изучать обстоятельства преступления в симуляции удобнее, чем на бумаге.

AR

AR — еще одна распространенная технология, по сути — вторая по популярности и известности после VR. AR расшифровывается как «Augmented reality” или «дополненная реальность». Суть AR заключается в том, что компьютер генерирует не новую реальность, а лишь добавляет виртуальные объекты на картинку реального мира.

В простейшем случае это реализовано так: камера с устройства (VR-очков, смартфона) снимает изображение «настоящей» реальности, а компьютер «на лету» обрабатывает это изображение и накладывает на картинку виртуальные объекты.

В целом, AR проще VR, и эта технология не требует такого сложного софта и мощного железа, как полноценная виртуальная реальность. Но это — в большинстве случаев. Всё-таки бывают отдельные ситуации, когда AR даже сложнее VR. К примеру: когда используется технология машинного зрения и AR нужно с большой точностью определять, какой объект находится в поле видимости для того, чтобы автоматически определять алгоритм действий.

Примеры использования AR

Их, на самом деле, достаточно много. Несмотря на то, что технология дополненной реальности кажется более простой, чем технология полноценной реальности, способов применения у AR масса. Вот лишь отдельные примеры того, как и где AR может использоваться:

• Видеоигры. Помните о том, какой ажиотаж был вокруг Pokemon Go в 2015-2016 году? Игрок ходил по улицам своего города, находил покемона, наводил на него камеру телефона и «ловил» его. При этом, сам игровой персонаж накладывался на картинку из реального мира;
• Архитектура. Проекты зданий или других объектов можно визуализировать «на лету», и сразу получать примерный результат того, как готовое здание будет выглядеть в реальности;
• Образование. Учащиеся могут видеть трехмерное изображение объекта в реальном времени, при этом оно накладывается на картинку из реального мира. AR может заменить конспекты или компьютеры, но это — только половина потенциала. Есть дисциплины вроде медицины или инженерии, где важна наглядность — с помощью AR можно улучшить усвояемость материала;
• Военное дело. Речь идет о тренировке личного состава: AR используется для того, чтобы солдаты тренировали реакцию и рефлексы. Кроме того, AR может использоваться для тренировки пилотов или наводчиков: они учатся распознавать объекты (аэродромы, железнодорожные узлы, военные базы врага) по виртуальным макетам, которые накладываются на вполне реальную топографическую территорию.

Потенциал у этой технологии не меньший, чем у VR. Вероятнее всего, через несколько лет область применения расширится ещё сильнее, и об AR будут говорить ещё больше.

Испытываем AR на практике

Увидеть дополненную реальность очень просто. Для смартфонов уже создали большое количество как обучающих, так и развлекательных приложений. Они используют штатную камеру телефона: пользователь направляет объектив на окружающий мир, а процессор дорисовывает виртуальные объекты.

AR также является встроенной функцией для VR-шлемов, если в них вмонтирована внешняя камера. То есть, обладая VR-шлемом можно пользоваться AR-технологией.

Кейсы с использованием AR

В некоторых магазинах клиенты могут использовать AR для того, чтобы узнать больше информации о товаре. Мотокомпания Harley Davidson разработала приложение для смартфонов, скачав которое клиент сможет выбирать себе мотоцикл. В приложении все кастомизуемо: можно подбирать конкретную модель мотоцикла, выбирать цвета и комплектацию. Таким образом, клиент предварительно может увидеть именно тот товар, который ему нужен.

Уже сейчас AR-шлемы используются для работы со сложными механизмами. Речь идет о любом оборудовании, в том числе — промышленном. В продвинутых американских автомастерских AR помогает механикам обнаружить и исправить неполадку в автомобиле. Для этого может использоваться как софт в виде алгоритмов или искусственного интеллекта, так и IoT, когда шлем подключается к оборудованию автомобиля.

AR применяется в дизайне помещений. Раньше для создания макета использовался компьютерный софт и программы для моделирования, работа с которыми требовала времени и навыков. С помощью AR можно быстро представить себе то, как будет выглядеть помещение с определенными дизайнерскими решениями. Это полезно как дизайнеру, так и клиенту.

Служба доставки DHL выдает работникам на складах AR-очки. С помощью них сотрудники компании могут быстрее находить необходимые посылки, при этом сортировать предметы на складе становится легче.

Возможности по использованию технологии в образовании безграничны. Одна из первых идей — обучение студентов астрономии. С помощью AR студенты могут получить интерактивное 3D-изображение космических тел, или, к примеру, Солнечной системы. Есть приложения, с помощью которых можно ориентироваться в созвездиях. Камера наводится на ночное небо, и софт автоматически дорисовывает полноценные карты созвездий и указывает названия небесных тел.

XR

Наверное, самый запутанный акроним из тех, что используются для обозначения виртуальных реальностей. Путаница вокруг понятия XR возникла из-за того, что термин использовался в научных работах и маркетологами в разных смыслах.

Очень часто термин “XR” используют для обозначения AR, VR или MR. Таким образом, маркетологи пытаются заинтриговать покупателей тем, что в их устройстве используется новая технология. К примеру, так было с IPhone — Apple обещала XR-возможности для камеры смартфона, при этом XR оказался обычной дополненной реальностью (AR).

Ещё один способ использования обозначения XR — для объединения всех таких технологий в один термин. В этом случае XR’ом может быть и VR, и MR, AR или CR. Термин используется из-за того, что между технологиями много общего и исследователи часто занимаются проблемами каждой из них.

Кроме того, XR также может означать и что-то вроде улучшенного MR. Существует концепция, подразумевающая частичное объединение виртуального и реального миров. Некоторые разработки по XR, к примеру, позволяют пользователю брать объекты из реального мира и копировать их в виртуальный, и наоборот.

Примеры использования XR

Всё зависит от того, в каком контексте используется термин. Скорее всего, под XR будут подразумевать любую другую технологию виртуальной реальности, а значит говорить о конкретных примерах смысла нет — подойдут любые от VR, AR или MR.

С другой стороны, некоторые маркетологи выступают за уникальность термина XR. В таком случае под XR подразумевается комбинирование AR и IoT — интернета вещей. Устройства из реального мира влияют на виртуальный, и наоборот. В этом случае XR достаточно уникален: он может использоваться в образовании, в промышленности и на производствах, в научных исследованиях.

Практический пример.

Допустим, есть большая компания, у которой есть корпоративные сервера. Персонал, управляющий серверами, не успевает справляться с задачами из-за неудобного интерфейса на мониторах. Компания решает проблему тем, что подключает беспроводные передатчики (Wi-Fi, Bluetooth) к серверу, а сам передатчик подключается к AR-очкам.

Теперь сотрудник может надеть очки и смотреть на сервера (буквально). Рядом с ними будет появляться AR-окно, на котором будет указываться информация о состоянии сервера в реальном времени. IoT подключается к шлему, и пользователь получает актуальную информацию.

Как испытать XR

Строго говоря, пока что технология не стала массовой, потому что сам IoT находится ещё в зачаточном состоянии. Если кто-то рекламирует XR, то скорее всего речь идет о VR или AR, MR.

Профессионалы из IT, могут придумать собственные проекты с XR: к примеру, подключите передатчики к своим домашним компьютерам и роутеру Wi-Fi. Настройте передатчик так, чтобы он передавал информацию о состоянии компьютеров и маршрутизатора на AR-шлем. Надев шлем, вы увидите информацию о состоянии сети и компьютеров.

MR

Mixed Reality (MR) — самая сложная технология из рассматриваемых нами. «Mixed Reality» переводится как «Смешанная реальность», и уже исходя из названия понятна суть технологии.

Задача MR — объединить виртуальную и обычную реальность до такой степени, чтобы человек не мог отличить одно от другого. Для этого компьютер должен уметь «дорисовывать» 3D-объекты в реальный мир, распознавать предметы и анализировать предметы на изображении.

В AR хватит и схематичности, главное — практичный результат. Задача же MR более глубокая — виртуальная реальность должна идеально вписываться в настоящую для того, чтобы человек полностью в нее погружался. Должны имитироваться все чувства (зрение, слух и т.п) , объекты должны иметь правдоподобную схему поведения, они должны быть интерактивными.

Смешанная реальность должна быть многослойной, то есть реальный и виртуальный мир обрабатывается компьютером одновременно, при этом процессор создает еще и третий, смешанный мир. Реальные и искусственные предметы должны взаимодействовать между собой.

Примеры использования

Смешанную реальность можно использовать как угодно. С помощью MR можно делать буквально всё, причем речь идет как о развлечениях, так и о практических задачах. Уже сейчас MR используется для бизнеса (менеджмент задач) и для образования (симуляция явлений и предметов). Кроме того, есть успешные кейсы применения MR для обучения военных кадров.

Смешанная реальность используется на практике и в медицинских целях. Во время сложных хирургических операций врачу иногда приходится визуализировать биологические объекты или явления, и MR помогает в этом. Кроме того, медицинскому персоналу нужно постоянно взаимодействовать между собой, а MR ускоряет этот процесс и делает его более наглядным, в результате чего растет эффективность работы.

Ещё одно перспективное направление — удаленная работа. Сотрудники могут «идти на работу» не выходя из дома. Их взаимодействие не будет отличаться от обычного живого общения. Команды могут быть интернациональными, при этом уменьшится потребность в знании иностранных языков — речь будет переводиться в реальном времени компьютером. Смешанная реальность также поможет организовать совместное рабочее пространство для обмена идеями и результатами.

Испытываем MR

MR активно развивается, и уже сейчас есть массовые MR-шлемы. Они стоят дороже, чем обычные VR-наборы, и у них более сложное устройство. Софт для смешанной реальности пишут под конкретные нужды: либо для бизнеса, либо для образования, медицины, военного дела.

MR-шлемы вроде HoloLens от Майкрософта стоят дорого, а полезных для обычного пользователя применений у них не так много из-за того, что пока там мало софта. Нам, обычным юзерам, пока что приходится довольствоваться VR или AR.

Кейсы с MR

Аэрокосмическая корпорация BAE Systems использует MR для решения ряда задач. К примеру, с помощью MR компания разрабатывала электрический ракетный двигатель. MR позволил ускорить разработку на 50%, так как благодаря HoloLens сотрудники нашли более эффективный способ сборки двигателя.

Ford использует шлемы Microsoft HoloLens для отработки разных автомобильных концепций, в основном — связанных с дизайном. Разработки инженеров накладываются MR-шлемом на реальные макеты, после чего у специалистов есть возможность внимательнее изучить концепцию и протестировать её в определенных симуляционных условиях. Такой же подход к MR используется и автокомпаниями Renault, Volvo и Audi.

Здания и другие объекты, которые находятся на этапе строительства, часто требуют пересмотра конструкции со стороны инженеров. С помощью MR-шлемов, специалисты могут проверять разные конструкционные решения на уже строящемся объекте.

CR

В 2014 году стартап Magic Leap собрал больше 500 миллионов долларов на разработку CR — Cinematic Reality (кинореальности). Достаточно много денег в Magic Leap, в том числе, проинвестировал Google. Идея о CR, или CVR (Cinematic Virtual Reality), возникла давно, но только в Magic Leap решились активно работать над технологией.

CR — это AR на максималках. Стартаперы хотят сделать AR настолько качественным, чтобы виртуальные объекты нельзя бы было отличить от реальных — как в кино.

Представьте себе очень развитую компьютерную графику, с помощью которой отрисовали роботов или спецэффекты вроде взрывов. Представили? Вот именно такого эффекта хотят достичь в Magic Leap, только объекты будут дорисовываться в реальном времени, а не за счёт постобработки картинки.

CR чем-то похож на обычный AR или XR. Это очевидно, ведь концепции сильно пересекаются между собой.

В отличие от AR или VR, CR — всё же больше о маркетинге, так как более или менее серьезные разработки ведутся одной компанией, и только у нее есть достаточный на это бюджет (полмиллиарда долларов — это не шутка!).

Пока что готовой, серьезной и массовой разработки в Magic Leap не выпустили. Тем не менее, о CR стали часто упоминать в зарубежных технологических изданиях, иногда — наравне с другими технологиями по виртуальной реальности. Вполне вероятно, что нам стоит ждать от CR чего-то обнадеживающего и даже революционного.

Не путаем виртуальную реальность и ARG

Существует такой явление как ARG (Alternate reality game). По сути, это хорошо продуманная интерактивная игра, которая проходит в реальном мире. Иногда игроки попадают в ARG случайно, иногда — намеренно.

Цель таких игр — исследование сюжета с помощью совершения определенных действий: использования конкретных сайтов, звонка на определенный номер телефона и т.д.

Мы упоминаем про ARG по нескольким причинам:

• Само по себе название «Alternate reality» очень похоже на AR;
• Часто в ARG используются гаджеты: компьютеры, смартфоны;
• Некоторые из ARG уже сейчас используют технологии VR и AR.

Как видите, оба явления (виртуальная реальность и ARG) достаточно сильно связаны, из-за чего и может возникнуть путаница. Чтобы такого не было, мы сразу обращаем ваше внимание: ARG — это условный квест, который может быть связан с VR и AR, а может быть — и не связан. Фактически, это разные явления, и ARG к виртуальной реальности имеет лишь косвенное отношение.

Выводы

VR — одно из главных направлений развития в IT. Виртуальные реальности уже сейчас используются не только в индустрии развлечений, но и для решения прикладных задач, поэтому VR, AR и другие технологии — это часть нашего будущего.

Разобраться с этими технологиями с наскоку не получится. Для глубокого понимания вопроса нужно рассматривать всё: и историю VR, и конкретные устройства. Нужно детально изучать примеры использования технологии, понимать перспективы дальнейшего развития и знать о трудностях, с которыми сталкиваются разработчики технологий.

Эта статья — фундамент. Здесь мы разобрались с тем, что такое VR, AR, XR и MR, и узнали в чём между ними отличия. Чем сильнее вы будете углубляться в тему виртуальных реальностей, тем лучше вы будете их понимать.