Новый инструмент от Google DeepMind: Genie 2 для создания 3D-миров

Компания Google DeepMind представила новый инструмент под названием Genie 2, который способен генерировать интерактивные 3D-миры на основе текстового или визуального запроса. Эта модель разработана для обучения и тестирования ИИ, предоставляя возможность взаимодействовать с динамическими виртуальными средами с использованием клавиатуры и мыши.

Модель позволяет создавать альтернативные сценарии, начиная с одной и той же стартовой точки, что полезно для тестирования различных исходов. Genie 2 может использовать фотографии из реального мира в качестве основы для симуляции, воспроизводя такие элементы, как движение травы на ветру или воды. Она также поддерживает быстрое прототипирование, позволяя оперативно создавать полноценные игровые миры из концепт-арта или эскизов.

Основные возможности Genie 2, заявленные DeepMind:

• Управление действиями: Genie 2 реагирует на действия пользователя, такие как нажатия клавиш и движения мыши, позволяя взаимодействовать с окружающей средой. Например, при нажатии стрелок модель понимает, что необходимо передвинуть персонажа, а не случайно переместить объекты, такие как деревья или облака.

• Долговременная память: Genie 2 запоминает те части мира, которые выходят из поля зрения, и восстанавливает их при возвращении в кадр. Это делает симуляцию более реалистичной и непрерывной.

• Создание нового контента в реальном времени: Модель способна добавлять новые элементы, сохраняя целостность мира. Это обеспечивает постоянную эволюцию среды в реалистичной манере.

• Сложные взаимодействия: Genie 2 поддерживает моделирование сложных процессов, таких как физика, гравитация, освещение, анимация персонажей и поведение NPC (неигровых персонажей). Модель справляется с эффектами воды, движением персонажей и даже симуляцией дыма.

• Контрфактическое моделирование: Genie 2 может генерировать альтернативные сценарии, начиная с одной и той же стартовой точки. Это позволяет исследователям тестировать различные исходы для обучения ИИ.

• Работа с реальными изображениями: Модель способна использовать фотографии из реального мира в качестве основы для симуляции, воспроизводя такие детали, как колыхание травы на ветру или движение воды.

• Быстрое прототипирование: Исследователи могут оперативно создавать интерактивные миры с помощью Genie 2. Модель способна превращать концепт-арт или эскизы в полноценные игровые миры.