Google DeepMind发布Genie 4世界模型 支持即时音频及场景操控

·作者 Henderson·AI
Google DeepMind发布Genie 4世界模型 支持即时音频及场景操控

Google DeepMind于周二以研究预览形式发布最新的世界模型Genie 4。这款模型能够生成迄今最逼真、最具交互性的虚拟世界,用户可以在模拟运行过程中输入提示词即时改变场景,同时模型还能生成与虚拟环境匹配的即时音频,包括音乐、环境噪声和交互式对话。

与一年多前发布预览版的上一代Genie 3相比,Genie 4的进步显而易见:画面更逼真、新增音频,并支持自由编辑,包括即时改变天气、调整镜头角度,或往场景里添加新的人物和物体。它能将一个连贯场景维持长达2分钟,是前代上限的两倍,物理表现更准确,角色动作也更接近真人。

Genie 4在虚拟世界生成方面的重大进步

Gemini与Genie 4的整合更加深入。在整套流程中,Gemini担任“导演”,负责规划步骤、逐帧检查画面,而Genie则负责生成视觉内容。在一项与Gemini Robotics绑定的研究实验中,Gemini 4 Argon模型将任务拆解成步骤,交由Genie 4即时模拟,展示出一条可行的路径:机器人在真实世界行动之前,先在模拟环境中完成验证。

Google研究总监Tejas Kulkarni在简报会上表示:“未来会越来越多地看到这类混合世界模型——Gemini负责编写代码和文本,Genie即时接收并在不同抽象层级上模拟现实。”与世界模型同行类似,Genie 4对标的商用场景包括游戏、互动学习和机器人。外媒举了一个互动学习的设想例子:将一幅历史场景画作输入系统,然后直接与画中人物对话,以了解画面背后的事件。

而获得首批体验资格的“可信测试者”则指出了另一个潜在用途——影视前期原型制作。Google DeepMind工程师Diego Rivas解释称:“即时性最有价值的地方,在于那些需要让创作心流保持连贯的环节,例如构思阶段、故事板阶段——一切需要快速出概念的时刻。”他同时介绍,Google的高清影片生成模型Veo在影视创作者中日渐流行,未来用户或许可以借助能结合图像、音频和文本生成影片的多模态大模型Gemini Omni,将这些原型转化为创意素材,不过这类能力距离落地仍有相当距离。

H
关于作者
Henderson