Глава VR / AR Design в Facebook Джон Лакс заявил в Твиттере, что Oculus Quest – это «конец нашей первой главы VR», и что «что будет дальше, когда вещи действительно станут интересными».
Твит Лакса понравился двум другим высокопоставленным руководителям Facebook, Эндрю Босуорту (вице-президент AR / VR) и Марии Фернандес Гуахардо (руководитель отдела предпринимательства, AR / VR).
Facebook считает, что Quest, Go, Rift и Rift S являются VR-гарнитурами первого поколения. Недавно выпущенный Quest не считается новым поколением, скорее он просто переносит опыт первого поколения в автономный форм-фактор.
Компания регулярно демонстрирует свои исследования в области виртуальной реальности следующего поколения. Многие из её списков вакансий содержат ссылки на «наши платформы потребительских продуктов следующего поколения, которые обеспечат революционный опыт пользователей в симулированной реальности».
Вот краткое изложение того, что исследования и патенты компании могут рассказать нам о том, что Лакс имеет в виду под «что дальше»:
Varifocal
Сегодня все VR-гарнитуры на рынке с фиксированным фокусным расстоянием. Каждому глазу дается отдельное изображение, но изображение сфокусировано на фиксированном расстоянии от линз. Это означает, что ваши глаза указывают (грань) на виртуальный объект, на который вы смотрите, но фокусируете (приспосабливаете) к фиксированному фокусному расстоянию дисплея. Это называется конфликтом согласованности. Это делает виртуальную реальность менее реальной, вызывает усталость глаз и головные боли. Это также может сделать объекты рядом размытым.
На ежегодной конференции F8 в Facebook в мае 2018 года компания продемонстрировала прототип гарнитуры под названием Half Dome. Half Dome – это варифокальная гарнитура с функцией слежения за глазами, которая механически перемещает панели дисплея, чтобы изменить фокусное расстояние на расстояние, равное расстоянию до виртуального объекта, на который вы смотрите. Это решает конфликт согласованности.
На Oculus Connect 5 в сентябре 2018 года главный ученый Майкл Абраш продемонстрировал повышение уровня программного обеспечения для Half Dome под названием DeepFocus. DeepFocus – это глубокая нейронная сеть, которая обеспечивает реалистичное размытие фокуса для виртуальной реальности. Так же, как в реальной жизни, когда вы смотрите на объект крупным планом, ваш обзор вокруг него будет размытым.
Почему это важно: варифокальные гарнитуры с реалистичным размытием могут позволить проводить очень длительные сеансы виртуальной реальности без напряжения зрения или визуального дискомфорта, а также сделать виртуальную реальность более реалистичной.
Eye Tracking
Почти все потребительские гарнитуры сегодня имеют угол обзора примерно 100 градусов по горизонтали с разрешением примерно 1500 × 1500 на глаз. Расширение поля зрения уменьшает эффективное угловое разрешение, потому что распространение пикселей по более широкой области означает, что в данной части области их меньше.
Для большого количества разрешений, необходимых для поддержки широкого поля зрения, потребуется фовиативный рендеринг.
Для привера человеческий глаз имеет высокое разрешение только в самом центре, как вы можете заметить, осматривая комнату. VR гарнитуры могут воспользоваться этим, производя рендеринг там, где вы смотрите прямо в высоком разрешении. Все остальное можно рендерить в значительно меньшем разрешении. Это называется фовиативный рендеринг.
Отслеживание глаз также позволяет динамически корректировать размытие в зависимости от точного положения глаза пользователя относительно линзы. Это может позволить оптическим инженерам создавать линзы, которые подвержены различным (но предсказуемым) искажениям во всей конструкции, что может обеспечить более широкое поле зрения линз.
Почему это важно: отслеживание глаз позволит использовать гарнитуры с гораздо более высоким разрешением и более широким полем обзора.
Finger Tracking
Сегодня VR использует контроллеры для всех задач. Эти устройства напоминают контроллер игровой консоли, разделенный пополам, но с триггером для захвата и более точными тактильными элементами.
Facebook и другие крупные компании в сфере виртуальной реальности исследуют возможность свободного использования рук в пространстве.
Хотя отслеживание пальцев не заменит ручные контроллеры для игр, но социальная виртуальная реальность и пассивный опыт могут стать более широким вариантом использования для тех кто не играет в игры.
Почему это важно: вам не нужно использовать контроллеры для чисто социальной или пассивной виртуальной реальности.
Face & Body Tracking
С сегодняшним потребительским социальным виртуальным окружением пользователи имеют примитивные мультяшные представления о себе или о нечеловеческих существах.
Но что, если бы вы могли иметь фотореалистичный образ ваших друзей в VR? Это то, над чем работает Facebook, используя ИК-камеры в носовой части гарнитуры VR и машинное обучение.
Сейчас компания говорит даже об отслеживании всего тела с помощью одного внешнего датчика, используя мышечную имитационную модель.
Существуют способы отслеживания тела в виртуальной реальности, но они либо низкого качества, либо связаны с привязкой к себе сотен датчиков, которые необходимо перезаряжать.
Почему это важно: вы сможете играть в виртуальную реальность со своими друзьями в качестве фотореалистичных аватаров.
Room Sensing & Meshing
Современные VR-гарнитуры позволяют вам вручную определять игровое пространство без препятствий. Это означает, что обычно вы используете самое большое открытое пространство в вашем доме.
Но часто это все еще оказывается ограничением, и пользователи виртуальной реальности все еще опасаются сталкиваться с окружением.
Будущие VR-гарнитуры смогут более реалистично перенести геометрию помещения в виртуальную реальность, стирая грани между реальным и виртуальным. Ваш стол может быть представлен в виде мешка с песком в VR, или ваш светильник в виде большого растения.
Почему это важно: вы сможете использовать больше своего физического пространства и быть в курсе событий в виртуальной реальности.
PC Wireless
Oculus Quest уже является беспроводным, но его коллега Rift S использует кабель. Facebook, как известно, исследует беспроводные технологии. В 2016 году в Oculus Connect 2 главный ученый Майкл Абраш предсказал, что к 2021 году ПК VR станет беспроводным.
Другие компании, такие как HTC, уже поставляли беспроводные адаптеры VR для ПК. Исследования Facebook, похоже, направлены на снижение стоимости.
В октябре 2018 года компания подала заявку на патент, описывающий систему, в которой позиционное отслеживание используется для отправки беспроводных данных в узком луче, а не в однонаправленной антенне. Это может значительно снизить энергопотребление и стоимость беспроводной виртуальной реальности. В прошлом месяце Facebook получил патент.
Почему это важно: вы сможете свободно вращаться и двигаться с графикой ПК.