Новая разработка компании Meta, связанная с исследованием искусственного интеллекта, дает возможность гарнитурам и очкам понимать планировку комнаты и её меблировку.
Система под названием SceneScript, по словам Meta, использует ту же технику, что и большие языковые модели (LLM), только вместо распознавания следующего языкового фрагмента она распознает архитектурные и мебельные элементы в 3D-облаке точек, которые используют гарнитуры для автономного отслеживания положения.
В результате получается серия примитивных 3D-фигур, которые представляют собой базовые границы данной мебели или элемента.
Quest 3 в состоянии сгенерировать 3D-сетку вашей комнаты и определить положение стен, пола и потолка на основе этой 3D-сетки. Но гарнитура не умеет определять, какие элементы в этой сетке являются более определенными, например, двери, окна, столы, стулья и диваны. Гарнитуры Quest позволяют пользователям при желании вручную обозначить эти объекты как простые прямоугольные кубоиды, но, поскольку это необязательно и довольно трудоемко, разработчикам нельзя полагаться на то, что пользователи это обязательно сделают.
Если бы такая технология, как SceneScript, интегрировалась в настройку сцены смешанной реальности Quest 3, разработчики могли бы автоматически размещать виртуальный контент на определенных элементах мебели или вокруг них. Они могли бы заменить окна порталами, кресло — виртуальным сиденьем, а диван — мешком с песком. Сегодня такие вещи возможны, если попросить пользователя разметить мебель вручную, или иногда с помощью ручных алгоритмов, интерпретирующих сетку сцены, но SceneScript может сделать это бесшовным и в автоматическом режиме.
Технология, подобная SceneScript, также может иметь огромный потенциал для ИИ-помощников в следующих гарнитурах и AR-очках. Meta приводит в пример вопросы вроде «Поместится ли этот стол в моей спальне?» или «Сколько горшков краски потребуется, чтобы покрасить эту комнату?», а также команды вроде «Поместите [AR/MR-приложение] на большой стол».
Пока что Meta называет SceneScript исключительно исследованием, а не ближайшим обновлением функций продукта. Хотя эта технология может со временем появиться в Quest 3, нет никаких предпосылок, что это произойдет в ближайшее время.
