Meta AI демонстрирует новую модель аватара, которая позволяет добиться плавных движений всей фигуры человека в пространстве виртуальной реальности — без каких-либо дополнительных датчиков.
Мобильные гарнитуры виртуальной реальности, такие как Meta Quest 2 или Quest Pro, отслеживают движения пользователя преимущественно по голове и рукам. Так как камеры слежения встроены непосредственно в корпус гарнитуры, остальные части тела практически невидимы для отслеживания движений.
В исследовании Meta AI была представлена новая модель системы аватаров, которая на основе этих скудных данных синтезирует плавные движения всего тела и благодаря этому значительно выигрывает у предыдущих систем анимации аватаров.
ИИ генерирует плавные движения в режиме реального времени
«Avatars Grow Legs», или сокращенно «AGroL», — это диффузионная модель, специально разработанная для определения движений всего тела с помощью всего нескольких сигналов от верхней части корпуса. Она основана на архитектуре многослойного восприятия (MLP) и новой схеме обработки данных о движении.
По мнению исследователей, эта модель сможет точно и равномерно распознавать движения всего тела, что решит проблему с отслеживанием всех частей туловища в VR. При этом нижняя часть корпуса, которая с трудом поддается традиционному отслеживанию, не станет проблемой. Лишь при контакте с поверхностью пола иногда появляются некоторые артефакты.
Так как технология AGroL работает в режиме реального времени, она может применяться и в онлайн-приложениях. Это означает, что менее реалистичные мета-аватары без ног в Horizon Worlds и других социальных VR-приложениях скоро уйдут в прошлое.
AGroL: плавнее, чем AvatarPoser
Исследователи демонстрируют эффективность модели, используя набор данных захвата движения из AMASS. По сравнению с другими системами аватаров, такими как AvatarPoser, AGroL допускает значительно меньше ошибок при повороте, определении положения и скорости.
В результате генерируемые движения получаются более точными и плавными. Кроме того, в AGroL гораздо реже возникает известное по предыдущим аватарам дёргание виртуальных рук и ног. В приведенном выше видеоролике на YouTube вы можете увидеть сравнение AGroL и AvatarPoser, которое начинается с 1:44 минуты.
