Новые аватары Codec Avatars компании Meta создаются на рабочих станциях, а вот более старые версии уже запускаются на автономных гарнитурах.
Ясер Шейх, руководитель исследования Codec Avatar компании Meta, выступил с докладом на конференции Nvidia GTC на прошлой неделе.
В сентябре прошлого года Meta продемонстрировала свою технологию Codec Avatars в подкасте Лекса Фридмана. Фридман и Марк Цукерберг в течение часа разговаривали друг с другом на расстоянии, используя фотореалистичные аватары Codec Avatars. Они оба были предварительно детально отсканированы. Во время беседы они использовали проводное устройство Meta Quest Pro, которое использует пять датчиков для отслеживания положения глаз и лица. До сих пор было неизвестно, какие еще технологии были необходимы.
В презентации Шейх рассказал, что для рендеринга аватаров с обеих сторон использовалась рабочая станция с 4 видеокартами GeForce RTX 4090. Это означает, что технология еще далека от того, чтобы работать на таком же уровне качества в автономных гарнитурах вроде Meta Quest 3, которые обладают только малой частью этой вычислительной мощности.
По словам Шейха, для подкаста использовался Codec Avatars 2.0. Однако позже в ходе сессии вопросов и ответов Шейх сказал, что лаборатория добилась того, что более ранние Codec Avatars 1.0 смогли работать на автономных гарнитурах сразу для нескольких человек. Такие аватары могут создаваться с помощью сканирования лица при помощи смартфона. На видео ниже демонстрируется Codec Avatars 1.0.
Шейх также продемонстрировал новое поколение технологии, Codec Avatars 3.0, которая использует метод гауссова распыления для еще более реалистичной визуализации людей, вплоть до отдельных волосков. Как и Codec Avatars 2.0, они запускаются только на рабочих станциях.
Компания Meta не сообщила, когда ее исследования в области Codec Avatars превратятся в продукт.
Codec Avatars появятся в 2025 году?
Meta работает над Codec Avatars уже много лет. Впервые эта разработка была представлена публике в 2019 году. Долгосрочной целью является создание фотореалистичного телеприсутствия на доступных гарнитурах.
А пока Meta пытается сделать более реалистичные аватары: Apple Vision Pro уже предлагает хорошо функционирующее решение для телеприсутствия с помощью Personas. Технология еще не преодолела «долину страха», и аватары отображаются лишь в двухмерном окне, но можно ожидать, что Apple значительно улучшит технологию уже в ближайшие месяцы или годы. Персонам также требуется сканирование лица, которое выполняется с помощью Vision Pro, как видно на видео ниже.
Если верить утечке «дорожной карты» аппаратного обеспечения, технология Codec Avatars от Meta появится в новой гарнитуре премиум-класса. Может быть, это та гарнитура, над которой Meta работает совместно с LG и которая, как сообщается, выйдет на рынок в 2025 году?
