Google DeepMind hat am Dienstag in Form einer Forschungsansicht das neueste Weltmodell Genie 4 veröffentlicht. Dieses Modell kann die bisher realistischsten und interaktivsten virtuellen Welten erzeugen, in denen Nutzer während des simulierten Ablaufs Eingabeaufforderungen verwenden können, um die Szenen in Echtzeit zu verändern. Gleichzeitig kann das Modell auch Echtzeit-Audio generieren, das mit der virtuellen Umgebung übereinstimmt, einschließlich Musik, Umgebungsgeräuschen und interaktiven Dialogen.
Im Vergleich zur vorherigen Generation Genie 3, die vor über einem Jahr in einer Vorschau veröffentlicht wurde, sind die Fortschritte bei Genie 4 offensichtlich: Die Grafiken sind realistischer, es gibt neue Audiofunktionen und es wird eine freie Bearbeitung unterstützt, einschließlich der Möglichkeit, das Wetter in Echtzeit zu ändern, den Kamerawinkel anzupassen oder neue Charaktere und Objekte in die Szenen einzufügen. Es kann eine zusammenhängende Szene bis zu 2 Minuten lang aufrechterhalten, was das Doppelte der vorherigen Grenze ist, und die physikalische Darstellung ist genauer, während die Bewegungen der Charaktere näher an denen von echten Menschen sind.
Genie 4: Bedeutende Fortschritte bei der Generierung virtueller Welten
Die Integration von Gemini und Genie 4 ist deutlich vertieft. In dem gesamten Prozess fungiert Gemini als „Regisseur“, der die Schritte plant und die Bilder frameweise überprüft, während Genie für die Generierung des visuellen Inhalts verantwortlich ist. In einem Forschungsversuch, der mit Gemini Robotics verbunden ist, zerlegt das Gemini 4 Argon Modell die Aufgaben in Schritte, die von Genie 4 in Echtzeit simuliert werden, um einen gangbaren Weg aufzuzeigen: Der Roboter vollzieht die Aktionen in der realen Welt erst, nachdem er sie in einer simulierten Umgebung validiert hat.
Tejas Kulkarni, Forschungsdirektor bei Google, erklärte während einer Präsentation: „In Zukunft werden wir immer mehr solcher hybriden Weltmodelle sehen – Gemini ist für das Schreiben von Code und Text verantwortlich, während Genie in Echtzeit empfängt und die Realität auf verschiedenen Abstraktionsebenen simuliert.“ Ähnlich wie bei anderen Weltmodellen zielt Genie 4 auf kommerzielle Szenarien ab, einschließlich Spiele, interaktives Lernen und Robotik. Medien berichteten von einem Beispiel für interaktives Lernen: Ein historisches Gemälde in das System einzugeben und dann direkt mit den Figuren im Bild zu sprechen, um die Ereignisse hinter dem Bild zu verstehen.
Die ersten „vertrauenswürdigen Tester“, die die Möglichkeit hatten, das System auszuprobieren, wiesen auf eine weitere potenzielle Anwendung hin – die Prototypenerstellung in der Film- und Fernsehproduktion. Diego Rivas, Ingenieur bei Google DeepMind, erklärte: „Der Wert der Echtzeit liegt vor allem in den Phasen, in denen es wichtig ist, den kreativen Fluss aufrechtzuerhalten, wie in der Ideenfindungsphase oder der Storyboard-Phase – in all den Momenten, in denen schnell Konzepte entwickelt werden müssen.“ Er fügte hinzu, dass Googles hochauflösendes Video-Generierungsmodell Veo unter Filmemachern zunehmend populär wird. In Zukunft könnten Nutzer möglicherweise mithilfe des multimodalen Großmodells Gemini Omni, das Bilder, Audio und Text zur Erstellung von Videos kombiniert, diese Prototypen in kreatives Material umwandeln, obwohl diese Fähigkeiten noch in weiter Ferne liegen.