The domain arvr.media is for sale. Send your offers to dmn@arvr.media


ИИ-система решит для Meta проблему полнотелого аватара

Meta AI демонстрирует новую модель аватара, которая позволяет добиться плавных движений всей фигуры человека в пространстве виртуальной реальности — без каких-либо дополнительных датчиков.

ИИ-система решит для Meta проблему полнотелого аватара
ИИ-система решит для Meta проблему полнотелого аватара

Мобильные гарнитуры виртуальной реальности, такие как Meta Quest 2 или Quest Pro, отслеживают движения пользователя преимущественно по голове и рукам. Так как камеры слежения встроены непосредственно в корпус гарнитуры, остальные части тела практически невидимы для отслеживания движений.

В исследовании Meta AI была представлена новая модель системы аватаров, которая на основе этих скудных данных синтезирует плавные движения всего тела и благодаря этому значительно выигрывает у предыдущих систем анимации аватаров.

ИИ генерирует плавные движения в режиме реального времени

«Avatars Grow Legs», или сокращенно «AGroL», — это диффузионная модель, специально разработанная для определения движений всего тела с помощью всего нескольких сигналов от верхней части корпуса. Она основана на архитектуре многослойного восприятия (MLP) и новой схеме обработки данных о движении.

По мнению исследователей, эта модель сможет точно и равномерно распознавать движения всего тела, что решит проблему с отслеживанием всех частей туловища в VR. При этом нижняя часть корпуса, которая с трудом поддается традиционному отслеживанию, не станет проблемой. Лишь при контакте с поверхностью пола иногда появляются некоторые артефакты.

Так как технология AGroL работает в режиме реального времени, она может применяться и в онлайн-приложениях. Это означает, что менее реалистичные мета-аватары без ног в Horizon Worlds и других социальных VR-приложениях скоро уйдут в прошлое.

AGroL: плавнее, чем AvatarPoser

Исследователи демонстрируют эффективность модели, используя набор данных захвата движения из AMASS. По сравнению с другими системами аватаров, такими как AvatarPoser, AGroL допускает значительно меньше ошибок при повороте, определении положения и скорости.

Видео файл
ИИ-система решит для Meta проблему полнотелого аватара

В результате генерируемые движения получаются более точными и плавными. Кроме того, в AGroL гораздо реже возникает известное по предыдущим аватарам дёргание виртуальных рук и ног. В приведенном выше видеоролике на YouTube вы можете увидеть сравнение AGroL и AvatarPoser, которое начинается с 1:44 минуты.

kakinaki

Комментарии

Еще нет комментариев.


Написать комментарий

Содержимое данного поля является приватным и не предназначено для показа.

Простой текст

  • HTML-теги не обрабатываются и показываются как обычный текст

Ограниченный HTML

  • Строки и абзацы переносятся автоматически.
  • Допустимые HTML-теги: <a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd> <h2 id> <h3 id> <h4 id> <h5 id> <h6 id>
  • Адреса веб-страниц и email-адреса преобразовываются в ссылки автоматически.