Google DeepMind 27 октября представила Genie 4 — модель, которая создаёт интерактивную сцену прямо во время её исследования. В новой версии вместе с изображением генерируется звук. Если в кадре появляется персонаж, модель может озвучить его реплику, а если меняется обстановка — подстроить звуки окружения.

В демонстрациях Google DeepMind камерой управляют с клавиатуры, а изменения задают обычным текстом. Так можно попросить модель изменить погоду или добавить в сцену нового персонажа, продолжая перемещаться по миру. Модели семейства Gemini помогают связать команды с тем, что уже происходит в сцене.

Для авторов виртуальных миров это способ быстро проверить идею. Например, можно посмотреть, как смена погоды меняет видимость и звук в одной и той же локации. У подхода есть ограничение: по мере продолжения сессии детали могут меняться, а предметы — терять постоянство. DeepMind отмечает, что это особенно заметно после нескольких сложных правок или при перемещении по сцене.

На момент анонса Genie 4 открыли ограниченной группе тестировщиков. Следующий этап — доступ в Project Genie для подписчиков Google AI Ultra и ранний доступ для партнёров через Gemini API и Google AI Studio.