Известный во всем мире своим вкладом в формат MPEG – технологию сжатия, используемую в аудиофайлах MP3 и видео в формате MP4, – немецкий Fraunhofer недавно переключил свое внимание на следующий рубеж в области медиа: виртуальная реальность. После представления доступного в прошлом году оборудования для микродисплея с гарнитурой VR, компания теперь демонстрирует программное обеспечение для сжатия видео следующего поколения с использованием нового стандарта MPEG-OMAF, первой спецификации VR, позволяющей передавать 360-градусное видео в сети 5G.
Основанный на «существенной» части технологий сжатия видео Fraunhofer, MPEG-OMAF разбивает оборачиваемые видео на сетки фрагментов, закодированных с различными разрешениями. В пояснительном изображении выше используются красные плитки для обозначения областей, которые передаются в потоковом режиме с низким разрешением, в отличие от нормально окрашенных областей, которые передаются в потоковом режиме при высоком разрешении.
В отличие от традиционных видео, которые транслируются с серверов с одним выбранным пользователем разрешением, эти видео виртуальной реальности динамически используют плитки высокого разрешения, которые в данный момент просматривает зритель, и плитки низкого разрешения для частей, которые находятся вне поля зрения. При изменении положения головы пользователя гарнитура или устройство отображения запрашивает другое сочетание потоковых фрагментов, оптимизированных для текущей области фокусировки пользователя.
Этот трюк позволяет продолжать передавать потоковое видео на 360 градусов, уделяя максимум внимания тому, что просматривает пользователь. Технология схожа с использованием рендеринга для максимизации 3D-графики в реальном времени для пользователей виртуальной реальности, гарантируя, что зрители, двигающие голову, всегда смогут увидеть что-то через периферийное зрение, даже если объект не такой четкий.
Международная организация стандартов сотовой связи 3GPP приняла стандарт MPEG-OMAF для потоковой передачи 5G VR, поэтому он, вероятно, будет поддерживать множество видеопотоков виртуальной реальности с 360-градусным обзором – точно так же, как MP3 и MP4, определенные в предыдущих поколениях цифрового аудио и видео. Текущие 360-градусные VR-видео, передаваемые через 4G, и даже сети Wi-Fi, как правило, страдают от низкого общего разрешения, общих артефактов сжатия и высокой задержки, которые могут устранить новые стандартные сети и сети с более высокой пропускной способностью.
Fraunhofer демонстрирует новую технологию, используя комбинацию JavaScript, веб-браузера Apple Safari, API для рендеринга WebGL и поддержки видео HEVC. Исходный код для проигрывателя JavaScript и инструкции по созданию совместимого со стандартами контента теперь доступны на GitHub.