Взгляд в будущее: 5 инновационных приложений смешанной реальности (mr)

отслеживание

Самое большое беспокойство, которое я испытывал к Quest, была система отслеживания наизнанку. При этом не используются ни внешние датчики или маркеры, ни лазерные излучатели. Вместо этого четыре камеры на самой гарнитуре смотрят на ваше окружение и видят, где находятся и вы, и ваши контроллеры. В сочетании с данными датчика IMU это обеспечивает точное позиционирование в трехмерном пространстве.

По сути, это то же самое, что нынешний набор подключенных к ПК гарнитур Windows Mixed Reality, и мой опыт работы с ними был… ужасным

Обзор гарнитуры Dell Visor со смешанной реальностью

Обзор гарнитуры Dell Visor со смешанной реальностью Технология отслеживания является многообещающей, но пока мы не увидим поддержку SteamVR. Прямо сейчас Oculus Rift представляет собой гораздо лучшее соотношение цены и качества.
Прочитайте больше
, Легко потерять отслеживание на контроллерах WMR, когда они находятся рядом с вашей головой, лежат сбоку или позади вас.

Разница в том, что Quest объединяет в себе данные с четырех камер (расположены как сверху, так и снизу гарнитуры), а WMR использует только две. Это дает гораздо более широкое поле обзора по бокам гарнитуры, позволяет вам приблизиться к лицу, переместить контроллеры дальше в сторону, и, как правило, просто работает без проблем.

Фактически, Oculus Quest восстановил мою веру в то, что отслеживание наизнанку является, пожалуй, самым жизнеспособным решением для продвижения вперед. На рынке всегда найдется место для эпических складских масштабов и безупречных возможностей отслеживания лазерной системы Lighthouse от Valve, но для большинства людей отслеживание Oculus наизнанку будет более чем достаточным.

Квест может работать на улице, но только после захода солнца.

У этого подхода есть определенные недостатки. Он не будет работать при слабом освещении, потому что гарнитура не может найти себя. Он также не будет работать при ярком солнечном свете, потому что инфракрасный свет от солнечного света подавляет инфракрасные светодиоды слежения на контроллерах (даже если сама ваша гарнитура будет работать нормально, у вас не будет рук!). Вы не должны использовать свою гарнитуру при ярком солнечном свете, так как даже несколько секунд, попадающих в линзы, могут сжечь экран, но вы можете использовать его в темноте для виртуального кинотеатра.

Oculus пообещал, что в будущем обновлении эта проблема будет решена, что позволит Quest перейти на отслеживание 3DOF (только ротационное) в темных средах, особенно для случаев использования, таких как просмотр фильма или использование виртуального рабочего стола. Это разумный компромисс, но для этого обновления не существует конкретной даты.

Некоторые пользователи также сообщают об успешном использовании инфракрасных ламп в темных помещениях.

Обзор Lenovo Explorer: Дисплей

Ваш головной дисплей представлен двумя 2.89-дюймовыми ЖК-дисплеями с углом обзора 110 градусов. Объективы имеют разрешение 2880 x 1440, что в сочетании с частотой обновления 90 Гц более чем достаточно для обеспечения высокого качества просмотра.

Oculus Rift, для сравнения, имеет те же углы обзора 110 градусов, с двумя OLED 1200 x 1080 пикселей и частотой обновления 90 Гц. Это доказательство того, что гарнитуры Windows Mixed Reality являются реальным предложением: HTC Vive Pro предлагает два AMOLED с разрешением 2880 x 1600, но вам придется заплатить 800 фунтов стерлингов за эту привилегию.

Единственная небольшая проблема с линзами на Проводнике — то, что они немного узки. Это означает, что вы иногда замечаете черные кольца по краям дисплея — это немного расстраивает, но это также то, к чему ваши глаза приспосабливаются довольно быстро. Кроме того, так называемое «сладкое пятно» (позиция, в которой изображение является наиболее четким) в Проводнике невелико, что означает, что вам нужно будет выполнить множество настроек, чтобы все выглядело хорошо. Впрочем, пользовательский опыт будет отличаться, и я не обнаружил, что потратил слишком много времени на перестановку очков, когда нашел лучшее место для просмотра.

Друзья не позволяют друзьям использовать мобильный VR

Не так давно, если бы вы сказали, что у мобильного VR есть будущее, я бы рассмеялся. Google Cardboard и преемник Daydream были занудой в стороне от любых реальных усилий VR. Они отравили колодец, и теперь даже Google не любит говорить о них. Если вы встретили кого-то, кто сказал, что он пробовал виртуальную реальность, и это было ужасно, возможно, даже заставило его заболеть, вы можете гарантировать, что он имел в виду, что он играл с какой-то ужасной мобильной гарнитурой VR. Есть веская причина, по которой Apple в основном оставила этот рынок в покое. Мобильная VR в одиночку подорвала репутацию VR в целом для будущих поколений.

Но Oculus Go дал нам представление о том, каким может быть мобильный VR, если все сделано правильно. В конечном счете, он все еще ограничивался тем, что сидел на одном месте и использовал для навигации указатель или геймпад, но это было большим изощрением.

Квест Окулуса является новаторским. Он предлагает полный опыт виртуальной реальности «в масштабе комнаты», с полностью отслеживаемыми контроллерами для обеих рук, в едином универсальном мобильном пакете «все в одном». Это настоящий, настоящий VR, в мобильном пакете. Играет в настоящие виртуальные игры. Это гарнитура, которая принесет VR в мир.

Дизайн и спецификация Dell Visor

Вес: 1,3 фунта (0,6 кг).
Разрешение 1440 x 1440px для каждого глаза через индивидуальный ЖК-дисплей 90 Гц с субпикселями RGB.
Линзы Френеля с максимальным полем зрения 110 градусов.
3-метровый комбинированный кабель USB и HDMI со стереоразъемом на стороне гарнитуры.
Жесткое оголовье с откидным дисплеем.
Система слежения изнутри наружу через двойные камеры на гарнитуре, не требующая внешних датчиков.

Жесткое оголовье фиксирует гарнитуру, и по ощущениям она очень похожа на PlayStation VR. Несмотря на то, что гарнитура тяжелее, чем Rift, она более удобна, так как вес располагается на голове, а не притягивает гарнитуру к лицу. Жесткий ремешок легко регулируется и затягивается с помощью регулятора на задней панели

Поскольку наушники не встроенные, вам придется приобрести свои собственные. Здесь я столкнулся с первой проблемой: жесткий головной ремень, расположенный прямо над ушами и довольно широкий, не позволял наушникам фактически касаться ушей

Экран гарнитуры может откидываться, обеспечивая быстрый доступ к реальному миру. В любом случае, теоретически – если вы носите очки, как я, вы можете обнаружить, что нижняя часть козырька цепляется за очки, не позволяя ему полностью подняться

Однако следует отметить, что IPD не регулируется в аппаратном обеспечении. У Oculus Rift и Vive есть физический диск для регулировки межзрачкового расстояния, а у Dell его нет. У него есть программное управление, но его было трудно найти, а при настройке не было дано никаких инструкций

Еще одно небольшое неудобство: в коробке нет адаптера Bluetooth, который необходим для подключения контроллеров. Для использования с ноутбуком это вряд ли будет проблемой, но большинство настольных компьютеров не имеют встроенного контроллера Bluetooth. В других гарнитурах высокого класса контроллер Bluetooth находится в самой гарнитуре. Тот факт, что в Dell Visor этого нет, заставляет контроллеры чувствовать себя немного несогласованными с гарнитурой – как будто они были разработаны кем-то другим и просто брошены в коробку в качестве дополнения

Windows Mixed Reality Home

Добро пожаловать в ваш виртуальный дом. Надеюсь, вам понравится, потому что это единственный, который у вас есть на данный момент. Это не совсем роскошно, но красиво и воздушно, с большим подземным кинозалом. Должен отметить, что в SteamVR и магазине Oculus есть гораздо лучшие приложения для просмотра фильмов в виртуальной реальности.

Вы не можете покрасить стены, но вы можете украсить свой дом различными виджетами, или, как Microsoft хотела бы, чтобы вы называли их «голограммами». Мне было очень приятно, что я мог противно поставить гигантский гамбургер в середине коридора. Некоторые включают короткую анимацию, когда вы нажимаете на них. Правда, они все немного мусор. Проще говоря, это именно то, что я ожидал от Microsoft для создания виртуальной реальности.

Дело в том, что SteamVR делает то же самое, но лучше. Вы можете получить специальные предметы из игр, которыми вы владеете, или с помощью достижений. У них есть связанное с ними значение, что-то уникальное, что вы можете похвастаться — и вы можете пригласить своих друзей повесить. То, что предлагает Microsoft, является бессмысленным хранилищем трехмерных анимированных курьезов. Если это связано с вашими достижениями в Xbox, это может иметь смысл. Но сейчас это просто глупо.

Мягко забавно на все 5 секунд.

Очевидно, вы получите гораздо больше пользы от системы Windows Mixed Reality, если будете активно инвестировать в приложения в магазине Windows. Например, фондовые трекеры — это может быть круто? Погодные виджеты. Все это аккуратные, сфокусированные на производительности идеи. О-о-о-о, огромная таблица ежеквартальных выступлений застряла на стене рядом с вашим кинотеатром. Звучит весело! Необходимость перемещать ваш виртуальный аватар по реальной домашней среде для многозадачности — это звучит гораздо эффективнее, чем alt-tabbing на плоском мониторе. Возможности … исчисляются с одной стороны.

Дело в том, что я хотел бы убедиться, что общие вычисления имеют место в среде виртуальной реальности, но если это лучшее, что мы можем придумать, я не думаю, что это так. VR — это фантастика для творчества , для образования, для игр. Я не могу понять, возвращаясь к играм на плоском мониторе; даже в 2D игры, такие как Civ, я играю в режиме SteamVR cinema. Но электронные таблицы? Edge браузер? Skype? Yeh!

Нет.

Как раз то, что вы всегда хотели: браузер Edge в VR! Это так же джанки, как и в 2D.

Но помните: это смешанная реальность . Как только мы получим возможность накладывать эти виджеты на среду реального мира с помощью некоторых гарнитур дополненной реальности, общие вычисления начинают приобретать гораздо больший смысл. Это не исключает использование клавиатуры и мыши: оно дополняет их.

Dell Visor Design and Features

Weight: 1.3 lb (0.6 kg)
1440 x 1440 pixels per eye via individual 90Hz LCD with RGB subpixels.
Fresnel lenses with a maximum field of view of 110 degrees.
3m USB / HDMI combo cable with stereo jack on the side of the headset.
Rigid headband with fold-down display.
Inside-out tracking system with two cameras on the headset that does not require external sensors.

Hard headband protects the headset and looks a lot like PlayStation VR

Although heavier than the Rift, it is more comfortable as the weight rests on the top of your head rather than pulling the headset over your face. The hard strap is easy to adjust and tighten with the dial on the back.

Since headphones are not built-in, you will need to supply your own. This is where I ran into my first problem: the hard head strap that sat just above my ears and was wide enough to prevent my headphones from actually touching my ears.

The headset screen can flip over, giving you quick access to the real world. Anyway, in theory — if you wear glasses like me, you may find the bottom of the visor snaps into place on your glasses, preventing them from fully rising.

However, it should be noted that IPD is not hardware configurable. Both the Oculus Rift and Vive have a physical scale for adjusting the interpupillary distance; Dell doesn’t. It has software control, but it was difficult to detect and no instructions were given during installation.

Another slight inconvenience: there is no Bluetooth adapter in the box, which is necessary to connect the controllers. This is hardly a problem for laptop use, but most desktops don’t have a built-in Bluetooth controller. Other high performance headsets include a Bluetooth controller in the headset itself. The fact that the Dell Visor doesn’t make the controllers feel a little detached from the headset — as if they were designed entirely by someone else and just thrown into the box as an afterthought.

Лучший бюджет: HP VR1000-127il

Предоставлено Amazon

Обладая правильным сочетанием функций и достаточно разумной запрашиваемой ценой, HP VR1000-127il, пожалуй, является одной из самых доступных гарнитур Windows Mixed Reality.

Как и большинство других гарнитур WMR, VR1000-127il имеет два 2,89-дюймовых дисплея с разрешением на глаз 1440 x 1440 пикселей и полем обзора 95 градусов. Он оснащен двумя фронтальными камерами для отслеживания движения наизнанку, в комплекте с шестью степенями свободы (DOF).

Передний шарнирный дисплей гарнитуры и оголовье с двойной обивкой делают его идеальным для длительного использования, а ручка позволяет настраивать гарнитуру для плотного прилегания. Используя встроенный 3,5-мм аудиопорт, вы можете подключить любимую пару наушников / наушников и наслаждаться отличным звуком. Для подключения к ПК с Windows 10 HP VR1000-127il использует стандартные порты HDMI и USB и поставляется с кабелем длиной 4 м для того же.

VR1000-127il идеально подходит для игр (таких как игры SteamVR), а также может использоваться со множеством других приложений смешанной реальности.

Совершенствование смешанной реальности

«Областей применения для технологии несчетное количество, – рассказывает гендиректор Avegant Джорг Тьюз (Joerg Tewes), – от дизайнеров и инженеров, манипулирующих 3D-моделями вручную, до профессоров медицины, которые смогут рассказывать студентам о различных состояниях сердца с помощью реалистичных моделей. Виртуальные полки магазинов, полные любимых товаров, каждый потребитель сможет создать прямо у себя дома. Смешанная реальность позволит людям взаимодействовать напрямую со своими идеями, а не с экранами или клавиатурами».

Между тем, чтобы достичь такого уровня, устройства смешанной реальности должны поддерживать виртуальные изображения, которые будут органично смотреться в реальном мире. По словам Грегори Уэлша (Gregory Welch), профессора информатики из Университета Центральной Флориды, большинство современных технологий пока не может этого обеспечить. «С MR в этом плане все особенно сложно, потому что здесь невозможно будет ни спрятать несовершенства виртуальной среды, ни показать все великолепие реального мира», – объяснил он Fast Company.

Технология светового поля. Фото: Avegant

Уэлш и его коллеги обнаружили, что в некоторых случаях относительно широкий угол обзора реального мира, которым может похвастаться HoloLens, может помешать чувству присутствия. В то время как у здорового человека угол обзора составляет около 210 градусов, дисплей HoloLens позволяет видеть картинку в диапазоне около 30 градусов от направления взгляда. В ходе экспериментов, проведенных Уэлшем и его командой, оказалось, что рассогласование между реальной и дополненной картинкой мешало чувству погружения и присутствия.

Далее Уэлш рассказал, что в нынешних демонстрациях HoloLens или Apple ARKit виртуальные объекты могут появляться на плоской поверхности, однако за пределами формы и других базовых внешних характеристик ПО чаще всего не может оценить многие важные физические характеристики, такие как вес, центр масс, поведение объектов или поверхность, на которой они расположены – то есть этого недостаточно, чтобы правильно имитировать большинство событий реального мира.

«Если я брошу пару игральных костей на виртуальный стол, они, скорее всего, не «упадут», когда достигнут его края, и совершенно точно их движение не будет зависеть от типа костей и материала стола», – объяснил ученый.

Apple ARKit. Фото: Apple

«В моей лаборатории мы начали с помощью HoloLens изучать взаимосвязь между использованием дополненной реальности и последствиями для психологии и поведения по отношению к физическому миру», – рассказал Бэйленсон. К примеру, его эксперименты показали, что виртуальные люди, которые проходили «сквозь» реальные объекты – вместо того, чтобы обойти, как это бы произошло в реальном мире – воспринимались «менее реальными», чем те, кто подчинялся законам физики.

Дальнейшее развитие смешанной реальности, скорее всего принесет нам более доступные и легкие гарнитуры, однако возможно, что по меньшей мере некоторые способы взаимодействия с этой технологией вообще не потребуют носимых устройств. К примеру, система «пространственной дополненной реальности» (SAR), которую Уэлш с коллегами разработали несколько лет назад, способна с помощью прожекторов менять внешний вид объектов окружающего мира – например, материал стола или цвет дивана – без потребности в очках.

Стоит ли покупать козырек Dell?

Может быть.

С точки зрения аппаратного обеспечения, отслеживание наизнанку устраняет необходимость во внешних камерах и нелепо легко установить, и, хотя оно и не идеально, это похоже на окончательное будущее виртуальной реальности. Сама гарнитура получает отличное позиционное отслеживание, но контроллеры могут чувствовать себя сбойно. Этого достаточно для базового взаимодействия с пользовательским интерфейсом и большинства игр, в которых ваши руки находятся впереди, но определенные типы игр могут создавать проблемы. Возможно, это улучшится с обновлениями программного обеспечения — контроллеры Oculus Touch, как известно, плохо запускались, и потребовалось около 3 месяцев, чтобы Oculus разобрался с этими проблемами.

Сами контроллеры чувствуют себя дешевыми и не особенно эргономичными. В какой-то момент мне даже удалось снять крышку батарейного отсека при случайной навигации по дому. Включение трекпада и джойстика подразумевает, что они пытались скопировать лучшие биты как Vive Wands, так и Oculus Touch, но с треском провалились, вместо этого производя конечный продукт хуже, чем вдохновение. Наш опыт в конкурентной многопользовательской игре подтвердил, что трекпады были довольно безразличными. Разработчики игр должны быть в состоянии обойти эти ограничения, хотя с помощью параметров конфигурации.

Отсутствие встроенных наушников вызывает разочарование, особенно когда жесткий головной убор даже мешает вам комфортно использовать свои собственные. Тот факт, что вам нужен отдельный Bluetooth-ключ только для использования контроллеров, заставляет чувствовать себя совершенно раздельно.

Лучшее, что я могу сказать о среде смешанной реальности Windows … — это то, что она обещает. Это достаточно приятно, и возможность оставлять трейлеры, работающие в кинозале или воспроизводить музыку из приложения Groove, пока вы бродите по остальной части дома, довольно забавна. Некоторые виртуальные вечеринки здесь могут быть веселыми (хотя в настоящее время отсутствует какая-либо социальная поддержка). Но большая часть этого ощущается … вынужденной? Виджеты с голограммами скучны, и ничего особенного в настройке нет

И, что более важно, у нас уже есть VR-приложения, которые выполняют все эти функции лучше

Более того, и Oculus, и SteamVR также делают виртуальную среду лучше. Вы можете изменить домашнюю среду SteamVR, добавить 3D-объекты из своих игр и пригласить друзей в гости. Единственное, что вы не можете сделать, это запустить несколько оконных приложений, хотя вы все равно можете получить доступ к своему традиционному рабочему столу.

Вскоре Oculus выпустит серьезное обновление панели инструментов, которое позволит вам запускать несколько рабочих столов в собственной среде Oculus Home, а также настраивать их с помощью объектов. У них обоих есть уникальные варианты аватаров. Конечно, у них не будет собственного доступа к универсальным приложениям Windows, но я изо всех сил пытаюсь понять, является ли это веской причиной для выбора среды смешанной реальности Windows. Вы действительно хотите, чтобы Excel навсегда был прикреплен к вашей виртуальной стене?

Однако при поддержке SteamVR среду Windows Mixed Reality можно полностью игнорировать. Если вы просто хотите играть в свои игры Steam и использовать SteamVR, вы можете.

Я бы порекомендовал Dell Visor вместо Oculus Rift или HTC Vive? Это сложно. Это жизнеспособная альтернатива сейчас, абсолютно. Для простоты установки Dell Visor выигрывает на милю. Oculus Rift довольно трудоемкий и требует внешних камер слежения, но контроллеры превосходны, и вы получаете тонну фантастических игр из коробки — и это остается лучшей ценностью. Vive является самым дорогим, но имеет превосходное отслеживание и является самой открытой системой с беспроводными обновлениями и новыми контроллерами, которые скоро появятся.

«Открыть»

Моя последняя жалоба, и она не имеет ничего общего с оборудованием: Windows 10.

Microsoft заявила, что поддержка Steam VR будет появляться на этих гарнитурах когда-нибудь после запуска, но когда они прибудут в октябре, ваш единственный вариант — захватить программное обеспечение из магазина Windows 10. Это будет очень маленькое поперечное сечение названий VR и потребует от разработчиков добавления не только поддержки Windows Mixed Reality, но и (я полагаю) переупаковки их программ в качестве универсальных приложений Windows. Он также требует, чтобы вы, как конечный пользователь, использовали не очень большой магазин Windows 10.

Упоминается в этой статье

Когда поддержка Steam VR добавляется, весь этот плот гарнитур Microsoft может выглядеть более привлекательным. Однако при запуске я не убежден. Цена Dell Visor с контроллерами составляет $ 449, что удивительно близко к текущему ценовому индексу Oculus Rift — и в этот момент почему бы просто не купить Rift? Вы получите стабильную платформу с существующей библиотекой программного обеспечения, а также встроенными наушниками, более точным отслеживанием местоположения и более эргономичными контроллерами.

Dell Visor — это даже не самая дорогая модель. Эта честь, вероятно, пойдет к Асусу. Разве не все дело в том, чтобы эти гарнитуры приносили ВР в массы? Потому что этого не происходит по этим ценам. Справедливости ради, вы сможете купить Acer’s Windows Mixed Reality сами по себе — sans контроллеры — за 300 долларов. Но контроллеры — такая неотъемлемая часть опыта VR, что вы не захотите пропустить их.

Истины рынка смешанной реальности

В течение следующего месяца появится несколько гарнитур смешанной реальности первого поколения, и все они имеют идентичные характеристики – за исключением Samsung Odyssey. Более того, у них даже одинаковые липкие контроллеры. Аппаратное обеспечение гарнитур производится сторонними производителями: Dell, Acer и т.д. Но дизайн, как и система отслеживания и контроллеры, по сути, продиктован Microsoft. Поэтому, если гарнитура не очень хороша, мы можем и должны возложить вину на Microsoft

Непонятно, почему Samsung Odyssey оказался вне конкуренции. У него значительно более высокое разрешение экрана. Вполне вероятно, что это всего лишь следующая фаза эталонного дизайна. Он был анонсирован только на более позднем этапе, и нет никаких планов по продаже этого устройства в Европе

Лучшее для комфорта: Asus HC102

Предоставлено B & H

Учитывая тот факт, что VR-гарнитуры всегда нужно носить поверх головы, крайне важно, чтобы они были достаточно удобными для использования в течение длительного периода времени. Если вы хотите уютную гарнитуру Windows Mixed Reality, не смотрите дальше, чем Asus HC102

HC102 изготовлен из высококачественных мягких материалов, выбранных специально для максимального комфорта пользователя (ей). Быстросохнущие материалы обладают приятной на ощупь тканевой отделкой и обладают антибактериальными свойствами. Для дальнейшего повышения комфорта пользователей Asus HC102 оснащен уникальным ремешком и механизмом регулировки, который облегчает настройку гарнитуры одной рукой. Его «сбалансированная коронка» создает большую часть веса на лбу и задней части черепа, снимая давление на нос и лицо пользователя.

HC102 оснащен двумя 2,89-дюймовыми дисплеями, каждый из которых имеет разрешение 1440 x 1440 пикселей. Комбинированный дисплей имеет яркость 100 нит и поле обзора 95 градусов. HC102 использует две камеры для отслеживания наизнанку, а включенные беспроводные контроллеры (x2) поставляются с поддержкой шести степеней свободы (DOF). Аудиопорт 3,5 мм позволяет подключить любимую пару наушников (или наушники) к гарнитуре.

Asus HC102 использует HDMI 2.0 (дисплей) и USB 3.0 (данные) для взаимодействия с (совместимыми) ПК с Windows 10. Его встроенные датчики включают акселерометр, гироскоп, магнитометр и P-сенсор.

Смешанное маркетинговое безумие Microsoft

Термин Mixed Reality был неправильно присвоен Microsoft для маркетинга. До сих пор он широко использовался в кругах VR для обозначения позиционного отслеживания видеокамеры, чтобы снимать VR-активность на зеленом экране. Затем продюсер может смешать записанные игровые кадры с точки зрения камеры с реальными кадрами человека. Вот пример (не слишком радуйтесь этим кадрам, но если вы купите Dell Visor, то не получите доступа к SteamVR не раньше Рождества):

Однако Microsoft называет Mixed Reality зонтичным термином для всех голографических, VR и AR продуктов, которые они (еще) собираются выпустить. Но первое поколение гарнитур Mixed Reality от Microsoft на самом деле является только VR. Они не ‘смешивают’ ничего из реального мира и не имеют возможности пропускать даже простой видеопоток, как это делает HTC Vive. Не заблуждайтесь, Dell Visor – это гарнитура VR. Смешанная реальность – это просто маркетинговый термин