Пять прорывов в области дополненной и виртуальной реальности, которые мы ждем

Репортаж: проекторы Epson на выставке Integrated Systems Russia 2018

Как я и рассказывал в предыдущем посте, 24-26 октября 2018 года на выставке Integrated Systems Russia 2018 были представлены проекторы Epson для выполнения всяко-разных задач по визуализации. Среди проекторов были и универсальные, и короткофокусные, и инсталляционные. Среди последних — Epson EB-L12000Q — первый 3LCD-проектор с физической матрицей с разрешением 4K (3840×2160).
Предлагаю всем, кто по тем или иным причинам не смог посетить стенд, краткий репортаж с самыми интересными фишками, которые были представлены. В нем чередуется рассказ об интерактивных решениях, реализованных компанией Аскрин (ребята, привет, отличная работа!), и кратко — о проекторах, которые при этом использовались (в подавляющем большинстве — лазерные).

1992 год

Показали концепцию виртуальной реальности в фильме «Газонокосильщик». Он частично основан на понятиях виртуальной реальности Джарона Ланье и его ранних исследованиях.

По сюжету молодой учёный Трэйс ставит над психически нездоровом газонокосильщике Джоубе эксперименты с использованием компьютерных технологий и погружает Джоуба в виртуальную реальность.

В фильме использовалось реальное оборудование от VPL.

В этом же году Луис Розенберг разработал одну из первых функционирующих AR-систем Virtual Fixtures в Исследовательской лаборатории военно-воздушных сил США.

Virtual Fixtures

Как выбрать

Чтобы разобраться, какие выбрать очки, нужно сначала понять, с чем они будут работать и для каких нужны целей. При выборе шлемов к компьютеру важный критерий – технические параметры самого ПК. Фактически видов очков для ПК не слишком много. Они отличаются производителями, ценой, но, что является ключевым моментом – это требования к системе. По этому параметру и придется делать выбор, потому что слабый ПК просто не сможет запустить VR приложения или игры. Если покупка совершается в первую очередь для игр и при этом нет мощного ПК, то можно рассмотреть покупку игровой приставки и фирменных очков. Это недешево, но не придется задумываться о характеристиках устройства, да и процесс настройки довольно простой.

Для тех, кто не ищет дорогое устройство, а хочет купить простой вариант для смартфона, чтобы посмотреть видео или поиграть в простенькие игры созданы VR очки. Здесь критерии выбора тоже не самые сложные:

1. Поддерживаемая диагональ – в описании всегда написано, на какие диагонали аксессуар рассчитан. Однако, не стоит слепо верить написанному и, если есть такая возможность, то стоит попробовать проверить, поместится ли туда смартфон.
2. Держатели телефона – они должны быть не только надежными, чтобы гаджет не выпал, но и иметь защитные мягкие вставки, чтобы не поцарапать корпус.
3. Регулировка линз. Простые модели не обладают возможностью отрегулировать положение линз, что может давать смазанное изображение. Особенно это актуально для людей с отклонениями зрения.
4. Поддерживаемая ОС и ее версия. Многие очки являются универсальными и подходят, как для Андроид, так и для iOS. При этом стоит убедиться, что смартфон не только имеет поддерживаемую ОС, но и ее версия попадает в допустимые.
5. Хорошие VR аксессуары должны быть сделаны из качественного материала и иметь регулировку креплений на голове. Также стоит учитывать их вес, ведь при долгом использовании с неудобным гаджетом голова может начать болеть.
6. Назначение. Очки для телефона могут делиться на несколько видов по назначению. Самые простые варианты для чайников рассчитаны на просмотр видео. В более дорогих устройствах появляется поддержка приложений и игр, а также могут быть установлены датчики позиционирования.

Подписывайте договор с разработчиками о передаче вам исключительных прав

Создатели игр должны помнить, что нужно обязательно получить исключительные права на каждый из элементов. Они должны быть прописаны в договоре с разработчиками (дизайнерами), так же, как это бывает с любым другим объектом авторских прав. В противном случае права останутся у автора и он сможет либо сам использовать их, либо передать третьим лицам. И тогда правообладатель может обратиться к вам с иском и помимо запрета на использование объекта в игре взыскать компенсацию в размере от 10 тысяч до 5 миллионов рублей.

В связи с отсутствием релевантной практики, приведем такой пример — Администрация города заказала скульптуры и оплатила работы, полагая, что будучи заказчиком, получает и исключительные права. Но так как договором вопрос исключительных прав урегулирован не был, суд сделал справедливый вывод об отсутствии у заказчика исключительных прав.

Обязательно включайте в договор с непосредственными разработчиками или дизайнерами пункт о запрете использования без вашего разрешения объектов, права на которые принадлежат третьим лицам, и ответственности за такое нарушение.

В целях защиты также можно получить патент на интерфейс и зарегистрировать его в качестве промышленного образца.

Так что же брать (рабочие связки)?

Подходим к самому интересному. Вы можете прочитать все мои обзоры, составленные на основании моего опыта и темы на 4пда, они приведут вас примерно к следующим выводам

Далее — имхо, всё, что вы покупаете — вы покупаете на свой страх и риск, я не несу ответственности, если вам что-то не понравится в итоге!

• Чем пользуюсь я сам? У меня вторая версия Homido + телефон Xiaomi Redmi Note 2 с экраном Full HD 5.5 дюйма. Меня эта связка вполне устраивает (для мобильного VR), на хомидо перешел после OYO Y4 (аналог Bobo VR Z4). Собственно, они у меня в каталоге так и расположены – снизу вверх, по удачности моделей. Краев не видно, всё красиво, пиксели тоже не слишком режут глаза. Хомидо дороговаты, но можете постучать к представителю на 4пда в личку, будет вам 40%-ная скидка.
• Если денег не так много, то оптимальная связка по соотношению «цена-качество-погружение» — это смарт на 5.5 дюймов с fhd экраном + Bobo VR Z4. Или его аналог OYO VR Y4, который даже несколько лучше. Если экран QHD, но размер такой же – то так же можно брать Бобра.
• Если у вас смарт больше – 5.7-6 дюймов – берите Фит Вр. У него окошки больше, чем у Бобра. К тому же, у него идут в комплекте насадки, которые уменьшают видимую часть экрана, чтоб его можно было использовать с меньшими диагоналями, но – в этом случае лучше брать Бобра, OYO Y4 или Homido v2.
• Если у вас смарт на пять дюймов и меньше– можете посмотреть в сторону Хомидо v1. Хотя они и дорогие, у них много положительных отзывов, а оптимальный размер телефона, заявленный разработчиком – как раз пять дюймов. Технически туда можно засунуть даже семи-дюймовый планшет, и потом с помощью QR-кода, сделанного своими руками, вписать картинку в зону видимости. Так же на 4пда можно выбить скидку у представителя.
• Если у вас смарт меньше, чем пять дюймов. 4-4.5 дюйма, например, то в любом шлеме вы будете видеть края, где-то больше, где-то меньше. Я не знаю, есть ли идеальный шлем под такой размер. Но можете попробовать взять Бобра или вообще самый дешевый кардборд –просто для теста.
• Тоже самое, если у вас на телефоне маленькое разрешение, ниже чем fhd – купите простой карборд за 60 рублей, посмотрите, понравится ли вам картинка. Если решите, что годится – смотрите советы выше.
• Всякие вр-боксы, шонеконы и прочее непонятное и им подобное — можно брать только если вы хотите смотреть кино и вам не нужно погружение в играх. И то, я не думаю, что то же кино в Бобре будет выглядеть хуже.
• Да, владельцы Самсунгов – для вас вообще есть отдельный Samsung Gear VR – вот его и покупайте, говорят, в нем лучше трекинг + там есть свой магазин уникальных приложений. И отдельная тема на 4пда.
• Владельцы айфонов – под айось очень мало вр-приложений. К тому же – у вас очень маленькое разрешение для вр. Даже в седьмой версии. Так что, купите для пробы тот же кардборд. Если понравится — читайте советы выше.
• Если нужны наушники в шлеме – пока без вариантов –Бобр и его клоны. Хотя, всякие шанеконы уже тоже делаются с ушами.

Вот вроде бы и всё. А нет, не всё, обещанная сводная табличка:

СКАЧАТЬ ФАЙЛ: Сравнение шлемов VR для смартфона (16,5 KiB)

Будущее VR видео — VR180 от Google

Хинт: этот gif запускается и останавливается по клику

S3D: No pain IS gain

В апреле этого года Google анонсировала технические детали нового формата для VR-видео — VR180. Спецификации формата были выложены в репозиторий Google на GitHub, производителям камер было предложено делать специальные камеры, формат стал поддерживаться на YouTube.
Основная идея довольно проста. В «обычном» VR-видео — 360-видео — можно вертеть головой во всех направлениях по горизонтали, при этом основное действие происходит, как правило, с какой-то одной стороны, а на устройство транслируется весь поток, что приводит к передаче и хранению избыточной информации. По факту в подавляющем большинстве случаев нет необходимости в реализации просмотра на 360 градусов — для достижения того же эффекта вполне достаточно и 180 градусов. При этом «вторая половина» кадра используется для второго ракурса, то есть получается стерео.
Таким образом, предложенный формат обеспечивает даже большее ощущение погружения, чем от 360-видео, является более дешевым в производстве, более простым в съемке и не имеет проблем со стичингом.
Как такое возможно, и что же предложили в Google?
Кому интересно VR-видео ближайшего будущего — добро пожаловать под кат!

Существующие проблемы

1. Сейчас для погружения в виртуальную реальность стимулируется всего лишь 2 чувства из 5 — это зрение и слух.
2. Еще бОльшая проблема, чем предыдущая — это наличие проводов в PC и консольных шлемах. Через шлем виртуальной реальности проходит большой объем данных, а для этого нужны провода. Для того, чтобы почувствовать себя полностью свободным в виртуальной реальности, нужно их убрать.
3. Проблема взаимодействия с виртуальным миром. Как правило, для того, чтобы полноценно с ним взаимодействовать, нужны контроллеры. Сейчас в роли контроллеров у разных производителей выступают обычные контроллеры Vive, Oculus Touch и др. Но для того, чтобы полноценно взаимодействовать с объектами, иметь возможность дотронуться до них, повернуть, взять, почувствовать его текстуру, вес, нужны перчатки виртуальной реальности. Что в них должно входить: как минимум это система захвата движения для того, чтобы можно было отслеживать положение руки в пространстве, то, как двигаются пальцы, сжимаются ли они, как рука поворачивается относительно всего тела. Должна отслеживаться мелкая моторика. При прикосновении к виртуальному объекту должна быть обратная связь. К примеру, текстуру можно сделать с помощью электростимуляции. Если это какой-то большой объект, к примеру, человек натыкается на стену руками, то, естественно это можно сымитировать вибротактильным фидбеком.
4. Из-за того, что на данном моменте на рынке присутствуют решения, которые в основном используют вибрацию либо силовой фидбек, это уменьшает качество взаимодействия в виртуальной среде, потому что они не позволяют максимально точно передать все ощущения.
5. Еще один момент: в виртуальной реальности при полном погружении нужно имитировать ходьбу. Как это можно сделать? Первый способ — это телепортация. К примеру, это реализовано в HTC Vive, там с помощью контроллера можно телепортироваться в разные места в виртуальной среде. Второй — это непосредственно физическая ходьба по помещению. Но для того, чтобы полностью погрузиться, в зависимости от объема виртуального мира, в который вы погружаетесь, нужно маленькое либо большое помещение. Но для полноценного перемещения в максимально больших открытых мирах невозможно использовать только небольшое помещение. Поскольку нужно ходить во все стороны, это не очень удобно. Третий более-менее решающий эту проблему гаджет, это Tread Meal (сейчас есть несколько предложений на рынке), который позволяет прямо в нем двигаться, он поддерживает тело человека и не дает человеку уставать.

3D Говорящие Головы. Третий проект центра разработки Intel в России

Согласно известной шутке все мемуары в книжных магазинах должны располагаться в разделе «Фантастика». Но в моём случае это и правда так! Давным-давно в далёкой-далёкой галактике в российском центре разработки Intel мне довелось участвовать в реально фантастическом проекте. Проекте настолько удивительном, что я хочу воспользоваться своим служебным положением редактора блога Intel в личных целях, и в рамках цикла «20 лет – 20 проектов» рассказать про эту работу.
3D Talking Heads (Трехмерные Говорящие Головы) – это показывающий язык и подмигивающий бронзовый бюст Макса Планка; обезьянка, в реальном времени копирующая вашу мимику; это 3D модель вполне узнаваемой головы вице-президента Intel, созданная полностью автоматически по видео с его участием, и еще много всего… Но обо всём по порядку.

Не используйте без разрешения правообладателей персонажей и названия фильмов, анимации и литературных произведений

Больше всего споров возникает вокруг персонажей игр. Часто разработчики используют героев из популярных литературных произведений или фильмов, но это можно посчитать нарушением исключительных прав.

Персонаж отдельно от других объектов получает защиту, только если он является оригинальным и представляет собой самостоятельный продукт творческого труда. Суды дают такое определение: «персонажем аудиовизуального произведения как самостоятельным результатом автора могут являться созданные и зафиксированные в аудиовизуальном ряде мультфильмов динамические рисованные (кукольные) образы главных героев, в отличие от других действующих лиц, обладающие такой совокупностью признаков, которые делают их оригинальными, узнаваемыми и отличительными от других героев в силу их внешнего вида, движений, голоса, мимики и других признаков, предназначенных для зрительного и слухового (в случае сопровождения звуком) восприятия».

Например, герои книги «Приключения Незнайки» были использованы в настольной игре, что позволило автору подать на создателей в суд и получить компенсацию, признав саму игру контрафактной.

Подписывайтесь на нашTelegram

Что такое виртуальная реальность?

Стоит отметить, что термин «виртуальная реальность» впервые появился в далёких 60-х годах в Америке. По определению, виртуальная реальность — это искусственное компьютерное воспроизведение ситуации, симуляция реальности.

То есть, используя определённые технические возможности, детально воспроизводится окружение пользователя, при этом задействуются все органы восприятия, какие как зрение, слух, осязание и так далее. При этом виртуальная реальность воспроизводит не только воздействие, но и реакцию на него.

Объекты и субъекты виртуально реальности ведут себя аналогичным образом что и их реальные прототипы. Взаимодействие с окружающим пространством происходит в полном соответствии с законами физики, привычными человеку. Но, для того чтобы поднять интерес пользователя к подобным технологиям, в них допускают использование недоступных в реальности возможностей. Например, полёты или возможность создания предметов.

Таким образом, получается, что виртуальная реальность генерирует новый мир, не существующий на самом деле. Исходя из этого можно выделить основные свойства VR.

• Первое свойство — это порожденность. То есть каждая искусственная реальность является результатом активности другой, внешней по отношению к первой. В связи с этим она является сотворённой, то есть не имеет реального представления.
• Ещё одним свойством является актуальность. В условиях виртуальной реальности не существует прошлого или будущего. Она существует только в режиме реального времени «здесь и сейчас» и актуальна только в момент наблюдения.
• Виртуальная реальность автономна. В ней реализовано собственное время, законы взаимодействия и пространство. Как правило, она не копирует и не продолжает реальное окружающее пространство.
• Интерактивность — основное свойство виртуальной реальности, которое делает её востребованной. Она может взаимодействовать с иными реальностями при этом оставаясь независимой. При этом человек, находясь в VR, воспринимает события от первого лица, то есть он является полноценным участником событий с полным погружением в процесс.

Можно выделить несколько основных типов виртуальной реальности.

1. Полное погружение. Это наиболее сложный вариант организации виртуальной реальности. Для этого требуется специализированное оборудование, гарантирующее погружение в процессе исследования окружающего пространства. Мощный высокопроизводительный ПК, который позволяет оперативно реагировать и выдавать ответную реакцию окружения на действия пользователя. Таким образом,создаётся наиболее правдоподобная симуляция окружения и его детализация.
2. Реальность без погружения. К ней относятся симуляции использующие качественное изображение и звук. В качестве яркого примера можно привести 3D-проекты, транслируемые на широкоформатный экран, или объёмные реконструкции каких-либо объектов для большей визуализации. Несмотря на то что такие вещи не соответствуют стандартам виртуальной реальности в полной мере, они все же дают возможность более глубоко оценить моделируемое пространство, в отличие от привычных средств мультимедиа.
3. Виртуальная реальность с совместной инфраструктурой. Это определённые симуляции некоего мира, которым для полноты картины не хватает только эффекта присутствия. Они не дают возможности полного погружения, но имеют хорошие возможности взаимодействия с другими участниками процесса. Стоит отметить, что последняя характеристика не всегда качественно реализована в продуктах с полным погружением. Примером такой VR может стать всем известная игра Minecraft. Создание виртуальных миров находит свою реализацию не только в играх, но и в организации рабочего процесса или учебного пространства.
4. Искусственная реальность на базе интернет-технологий. Это направление создания виртуальной реальности в сети на основе специальной технологии, подобной HTML.

История

Понятие виртуальных миров появилось значительно раньше современных компьютеров. В 1957 г. кинематографист Мортон Хейлиг изобрел Сенсораму — устройство, предназначенное для стимулирования чувств зрителей: зрения, звука, равновесия, обоняния, и даже осязания (через ветер) — и, таким образом, создающее эффект полного погружения в театральную постановку. Среди самых ранних виртуальных миров, реализованных компьютерами, были симуляторы виртуальной реальности, такие, как изобретение Айвена Сазерленда. Такие устройства состояли из громоздких гарнитур и других устройств сенсорного ввода. Современные виртуальные миры, в частности многопользовательские онлайн-среды возникали в основном под воздействием развития игровой индустрии, независимо от вышеперечисленных исследований. В то время как классическая сенсорная имитация виртуальной реальности опирается на обман системы восприятия человека для погружения в виртуальные среды, виртуальные миры обычно полагаются на умственно и эмоционально привлекательное содержание, которое порождает иммерсивный опыт.

Maze War, разработанная в 1974 году, стала первой сетевой многопользовательской игрой. В ней впервые были введены онлайн-игроки как «аватары в виде глазного яблока, преследующие друг друга в лабиринте». Игра появилась в ARPANET — агентской сети передовых исследовательских проектов, предшественнике Интернета, финансируемом Министерством обороны Соединенных Штатов для использования в университетах и исследовательских лабораториях. Первоначально в неё можно было играть только на Imlac, так как она была специально разработана для данного компьютера. Первыми виртуальными мирами, представленными в Интернете, были сообщества и чаты, называемые MUDs и MUSHes. Первая версия, известная как MUD 1, была выпущена в 1978 году. Аббревиатура первоначально обозначала многопользовательское подземелье, но позже также стала означать многопользовательское измерение и многопользовательский домен. MUD — это виртуальный мир, в котором множество игроков взаимодействуют в реальном времени. Ранние версии были текстовыми, предлагали только ограниченное графическое представление и часто использовали интерфейс командной строки. Пользователи взаимодействовали в ролевых или соревновательных играх, набирая команды, и могли читать описание игровой реальности и других игроков. Такие ранние миры положили начало наследию MUD, которое в конечном итоге привело к массовым многопользовательским онлайн-ролевым играм, более известным как MMORPG, жанру ролевых игр, в которых большое количество игроков взаимодействует в виртуальном мире.

Некоторые прототипы виртуальных миров были двухмерными чат-средами, в которых пользователи создавали свои собственные аватары; интерактивными сообществами с виртуальным миром от CompuServe; образовательными сетями и проектом компьютерной графики для детей (Cityspace); и двухмерным виртуальным миром (The Palace), управляемым сообществом. Первый виртуальный онлайн-мир появился в игре Habitat, разработанной в 1987 году компанией LucasFilm Games для компьютера Commodore 64 и работающей через провайдер Quantum Link(предшественник America Online).

В 1996 году город Хельсинки совместно с Хельсинкской телефонной компанией (начиная с Elisa Group) запустил так называемое первое виртуальное 3D-изображение в интернете, предназначенное для отображения всего города. Проект Virtual Helsinki был в конечном итоге переименован в проект Helsinki Arena 2000, и части города в современном и историческом контексте были визуализированы в 3D.

В 1999 году был запущен Whyville.net, первый виртуальный мир, предназначенный специально для детей, с базой игрового обучения и одной из самых ранних экономик, основанных на виртуальной валюте. Вскоре после этого, в 2000 году, была выпущена онлайн-игра Habbo, представляющая собой изометрический отель с возможностью создавать комнаты, которая вскоре стала одним из самых популярных виртуальных миров с миллионами пользователей по всему миру.

Заключение

Мы выяснили, что от современного качественного VR может не тошнить, дешёвые шлемы можно найти и за 500 рублей, а приличные — за 10 000 рублей. Ну а игры есть, и их становится больше. Уже сам факт, что новый Half-Life вышел именно для VR, даст большой толчок развитию этой технологии.

Может показаться, что создавать игры для VR сложно, но на самом деле для этого достаточно базовых знаний C# и Unity — на этом движке можно создавать игры для любого из перечисленных выше шлемов.

Разумеется, чтобы добавить в свою игру поддержку дорогих моделей, надо иметь эту модель в распоряжении, чтобы всё протестировать. Благо в магазине ассетов для Unity уже есть готовые шаблоны, которые можно использовать как образец.

Если вы планируете стать разработчиком игр, то рекомендую наш курс по Unity — он поможет освоить этот движок, а после курса у вас уже будет несколько проектов для портфолио. Также в курсе есть модули по VR и AR.

Ну и я в скором времени свои пять копеек вставлю. Ждите новую серию статей.