Meta утверждает, что ее исследователи и инженеры «разработали новый метод применения глубокого обучения для лучшего понимания положения рук, если камеры устройства не могут видеть всю руку или когда рука быстро движется», описывая результат как «поэтапное улучшение непрерывности отслеживания».
Новый режим, по всей видимости, способен обрабатывать быстрые движения рук, когда одна рука накрывает другую, и даже когда руки соприкасаются — сценарии, которые ранее приводили к кратковременному нарушению трекинга. Таким образом, отслеживание рук станет гораздо более удобным и практичным в использовании, а также даст возможность выполнять новые действия, например, хлопать в ладоши или считать на пальцах.
На данный момент Hand Tracking 2.0 является опциональным обновлением на уровне разработчиков, так что, чтобы увидеть все эти улучшения, придется подождать, пока для приложений выйдут обновления, поддерживающие это обновление. Тем не менее, ближе к концу этого года Hand Tracking 2.0 станет стандартом по умолчанию.
Новый режим пришел на смену режиму высокочастотного отслеживания рук, выпущенному в прошлом году. Этот режим также был доступен по желанию разработчиков и улучшал точность отслеживания быстрых движений рук, а также уменьшал латентность, но в качестве компромисса он имел несколько увеличенный джиттер рук и ограничение максимальной тактовой частоты CPU и GPU, доступной приложениям. Meta утверждает, что Hand Tracking 2.0 обеспечивает все преимущества технологии High Frequency и даже больше, но работает на стандартной частоте и не имеет дополнительных ограничений.
Вот что говорят разработчики, получившие ранний доступ к нему, по сообщению Meta:
«Ранее отслеживание рук в Cubism зависело от метода выравнивания данных о руке для получения стабильного метода ввода. Кроме того, игроков нужно было учить не скрещивать руки, так как это негативно сказывалось на отслеживании. Все это усовершенствовано в последней версии системы отслеживания рук, которая достаточно стабильна, чтобы я отключил возможность сглаживания рук по умолчанию». — Разработчик Cubism Томас Ван Бувель
«Это обновление отслеживания рук — большой шаг вперед для естественного и интуитивного взаимодействия с руками. Благодаря этому серьезному обновлению мы надеемся, что еще больше людей узнают, что может дать отслеживание рук для погружения в захватывающий опыт». — Лаборатория физики рук
«Несмотря на то, что нам удалось добиться очень надежного и точного геймплея с помощью предыдущей версии отслеживания рук, нам пришлось наложить некоторые ограничения на наш игровой процесс. Это было необходимо сделать для того, чтобы обеспечить плавный игровой процесс, не прерываемый никакими проблемами, которые время от времени могут возникать у такой молодой технологии. С последним обновлением отслеживание рук стало настолько точным и отзывчивым, что мы смогли включить все те преимущества, которые не могли реализовать раньше: быструю смену позиций пальцев, а также увеличенное — и более реалистичное — количество нот, что делает песни намного более аутентичными». — Unplugged: Air Guitar
«Наши тренировки требуют большого количества быстрых ударов, и очень важно, чтобы отслеживание рук не отставало от жесткого темпа. Мы очень довольны последним обновлением и рады общему направлению развития трекинга рук на платформе Quest». — Liteboxer
Обновление SDK для Unity и Unreal Engine должно стать доступным для других разработчиков в ближайшие дни.
