Google DeepMind lanza Genie 4, un modelo de mundo que soporta audio en tiempo real y manipulación de escenas

·por Henderson·AI
Google DeepMind lanza Genie 4, un modelo de mundo que soporta audio en tiempo real y manipulación de escenas

Google DeepMind presentó el martes, en forma de vista previa de investigación, su último modelo de mundo, Genie 4. Este modelo puede generar los mundos virtuales más realistas e interactivos hasta la fecha, permitiendo a los usuarios introducir palabras clave durante la simulación para cambiar la escena en tiempo real, mientras que el modelo también puede generar audio en tiempo real que coincide con el entorno virtual, incluyendo música, ruido ambiental y diálogos interactivos.

En comparación con la generación anterior, Genie 3, que se presentó hace más de un año, los avances de Genie 4 son evidentes: las imágenes son más realistas, se ha añadido audio y soporta edición libre, incluyendo cambios en el clima en tiempo real, ajustes en el ángulo de la cámara, o la adición de nuevos personajes y objetos a la escena. Puede mantener una escena coherente durante hasta 2 minutos, el doble del límite de su predecesor, con una representación física más precisa y movimientos de personajes más cercanos a los humanos.

Avances significativos de Genie 4 en la generación de mundos virtuales

La integración de Gemini con Genie 4 es más profunda. En todo el proceso, Gemini actúa como "director", encargado de planificar los pasos y revisar las imágenes cuadro por cuadro, mientras que Genie se encarga de generar el contenido visual. En un experimento de investigación vinculado a Gemini Robotics, el modelo Gemini 4 Argon descompuso la tarea en pasos, que fueron simulados en tiempo real por Genie 4, mostrando un camino viable: el robot completa la verificación en un entorno simulado antes de actuar en el mundo real.

Tejas Kulkarni, director de investigación de Google, comentó en una conferencia: "En el futuro, veremos cada vez más este tipo de modelos de mundo híbridos: Gemini se encarga de escribir código y texto, mientras que Genie recibe y simula la realidad en diferentes niveles de abstracción." Al igual que otros modelos de mundo, Genie 4 tiene como objetivos comerciales escenarios como juegos, aprendizaje interactivo y robótica. Los medios extranjeros mencionaron un ejemplo de aprendizaje interactivo: ingresar una pintura de una escena histórica en el sistema y luego dialogar directamente con los personajes de la pintura para entender los eventos detrás de la imagen.

Los "evaluadores de confianza" que tuvieron acceso temprano señalaron otro uso potencial: la creación de prototipos en la preproducción de cine y televisión. Diego Rivas, ingeniero de Google DeepMind, explicó: "La inmediatez es más valiosa en aquellos momentos que requieren mantener la coherencia del flujo creativo, como en la fase de concepción o en la fase de storyboard: en todos los momentos que requieren generar conceptos rápidamente." También mencionó que el modelo de generación de videos en alta definición de Google, Veo, está ganando popularidad entre los creadores de cine, y que en el futuro los usuarios podrían utilizar el modelo multimodal Gemini Omni, que combina imágenes, audio y texto para generar videos, para transformar estos prototipos en material creativo, aunque esta capacidad aún está lejos de ser una realidad.

H
Sobre el autor
Henderson