Одна из основных целей Facebook для VR заключается в том, чтобы использовать ее в качестве средства для подключения далеких людей. Хотя сегодня друзья могут разговаривать и играть в различных социальных приложениях VR, включая Facebook Spaces, представление пользователей в VR по-прежнему является карикатурой в лучшем случае. На этой неделе в F8 Oculus продемонстрировал, что работа над ручным отслеживанием обеспечивает более интуитивный контроль и точные аватары в VR.
{"preview_thumbnail":"/sites/default/files/styles/video_embed_wysiwyg_preview/public/video_thumbnails/Zty1_oZZPVk.jpg?itok=yTKDYuzm","video_url":"https://youtu.be/Zty1_oZZPVk","settings":{"responsive":1,"width":"854","height":"480","autoplay":0},"settings_summary":["Embedded Video (Адаптивный)."]}
Мария Фернандес Гуахардо, руководитель отдела управления продуктами в Core Tech в Окулусе, на этой неделе поделилась проблесками своей работы, которую она описывает как превращение различных исследовательских проектов компании в практические технологии для будущих продуктов. Помимо отслеживания рук, она также показала прототип Oculus «Half Dome», гарнитуру с полем обзора 140 градусов и варифокальным дисплеем.
Гуахардо подробно описала систему отслеживания рук на основе компьютерного зрения, подготовленную с помощью самооптимизирующегося алгоритма машинного обучения, который, по ее словам, обеспечивает отслеживание, которое «намного точнее, чем любой метод раньше для отслеживания взаимодействия одной руки, двух рук и рук-объектов». «Кадры, которые, как казалось, показывали ручное отслеживание в действии, также показали обнаружение жестов привязки.»
Гуахардо объяснила, что компания использовала систему отслеживания на основе маркеров для записи ручных взаимодействий с высокой точностью, а затем сконденсировала записанные данные в 2D-изображения, что позволило им установить сверточную нейронную сеть для задачи однозначной идентификации позиций маркеров через большой набор изображений с изображением руки, эффективно позволяя системе узнать, как должна выглядеть рука, с учетом произвольного набора позиций маркера. Якобы, эта обученная система затем может быть подана без маркерного ввода камеры руками пользователя и определить их позицию.
По мерке того, что Oculus обозначил как «Tracking Success Rate» (а также описывается как «точность»), компания утверждает, что добилась довольно поразительной 100% -ной успешности при одном ручном отслеживании, по сравнению с заявленным 90,49% других отслеживаний рук методы. Компания заявляет о еще больших скачках по сравнению с другими методами взаимодействия двух рук и рук-объектов.
Ручное отслеживание может обеспечить богатый вход без контроллера, который может быть особенно подходящим для мобильных гарнитур VR, где перенос отдельных контроллеров будет препятствовать переносимости. Хотя точность, достигнутая с помощью подхода Oculus, безусловно впечатляет, неясно, какие вычислительные ограничения находятся на этом этапе.
