Прототип VR Face Tracking от Facebook стал еще лучше

Ранее в этом году Facebook продемонстрировал свои исследования в области фотореалистичных аватаров и высококачественного виртуального слежения за лицом.

На этой неделе Facebook продемонстрировал улучшенное отслеживание лица для этих аватаров, более точно фиксируя выражение лица пользователя.

Исследователи используют две гарнитуры для достижения такого качества отслеживания. Обычная гарнитура имеет три камеры, обращенные к пользователю. Тренировочная гарнитура оснащена этими тремя камерами и шестью дополнительными камерами, что позволяет лучше видеть выражения лица пользователя.

Исследователи Facebook обучают нейронную сеть с помощью тренировочной гарнитуры, так что модель может быть использована для достижения высококачественных результатов с обычной гарнитурой. Дополнительные камеры на тренировочной гарнитуре дают основную картинку. Facebook утверждает, что у обученной модели «почти нет очевидного снижения качества» с 9 до 3 камер.

Конечно, Facebook – не единственная VR-компания, которая занимается отслеживанием лиц. На GDC в марте HTC анонсировала дополнение для отслеживания губ для Vive Pro Eye. Однако HTC заявила, что в настоящее время у нее нет планов по выпуску потребительской версии.

Когда в марте Facebook продемонстрировал аватары кодеков, компания четко обозначила ожидания, заявив, что технология все еще «на расстоянии» от потребительских гарнитур. Нет никаких признаков того, что это продвижение ускорит этот график. В прошлом месяце подразделение компании Oculus выпустило две новые VR-гарнитуры (Oculus Quest и Rift S), но ни одна из них не имеет камер, направленных на лицо пользователя.

Одной из основных причин приобретения Oculus в 2014 году в Facebook стала вера в силу социального VR. Вполне вероятно, что новое поколение гарнитур компании будет включать аппаратное обеспечение для отслеживания лица, даже если поставляемое программное обеспечение не имеет таких функций.