Инструментарий доступа к носимым устройствам Meta, позволяющий приложениям смартфонов получать доступ к камере умных очков, стал доступен для публичного предварительного просмотра.
Это означает, что разработчики могут скачать его и интегрировать в свои приложения для iOS и Android, тестируя на своих очках, однако пока они не могут распространять это решение среди широкой публики.
Объявленный на конференции Connect 2025, инструментарий доступа к носимым устройствам позволяет мобильным приложениям делать снимки или инициировать поток видео с очков. Приложение может затем сохранять или обрабатывать полученные кадры. Поскольку умные очки Meta функционируют как устройства аудио через Bluetooth, разработчики могут объединить эту визуальную возможность с аудио входом и выходом.
Разработчики могли бы использовать этот SDK для добавления функций прямого эфира или записи от первого лица в свои приложения. Также они могут передавать изображение камеры третьему лицу — модели мультимодального искусственного интеллекта для анализа того, на что вы смотрите, и ответа на вопросы об этом.
Максимальное разрешение видеопотока составляет 720p при максимальной частоте кадров 30 FPS, что связано с использованием Bluetooth. Когда пропускная способность Bluetooth ограничена, разрешение и частота кадров автоматически снижаются.
В настоящее время поддерживаются очки Ray-Ban Meta и Oakley Meta HSTN, а поддержка моделей Oakley Meta Vanguard и Meta Meta-Ban Display ожидается в ближайшем будущем. Важно отметить, что последняя модель будет поддерживать только получение изображений с камеры, но не отображение чего-либо на голографическом экране (HUD).
Ранние эксперименты разработчиков
Несколько месяцев назад Meta предоставила раннюю версию своего инструментария небольшому числу избранных разработчиков, включая Twitch, Microsoft, Logitech Streamlabs и Disney.
Twitch и Logitech Streamlabs используют SDK для стриминга первой персоны на их платформах, аналогично тому, как уже можно делать на Instagram, тогда как Microsoft использует его для своей платформы Seeing AI, помогающей людям с нарушениями зрения ориентироваться и взаимодействовать с окружающим миром.
Особо интересным примером использования является проект компании 18Birdies, разработавшей приложение для игры в гольф, которое экспериментирует с использованием инструмента Meta для предоставления рекомендаций по выбору клюшки и расстояний в реальном времени без необходимости доставать телефон из кармана.
Еще один интересный пример – команда Imagineering компании Disney исследовала использование данного инструментария для создания персонального виртуального помощника на базе ИИ в парках развлечений Disney.
Disney исследует использование очков Ray-Ban Meta для создания персонального виртуального помощника на базе ИИ в своих тематических парках, используя новый инструментарий доступа к носимым устройствам Meta.
