Google DeepMind 發佈 Genie 4 世界模型 支援即時音頻及場景操控

·作者 Henderson·AI
Google DeepMind 發佈 Genie 4 世界模型 支援即時音頻及場景操控

Google DeepMind 於週二以研究預覽形式發布最新的世界模型 Genie 4。這款模型能生成迄今最逼真、最具交互性的虛擬世界,用戶可以在模擬運行過程中輸入提示詞即時改變場景,同時模型還能生成與虛擬環境匹配的即時音頻,包括音樂、環境噪聲和交互式對話。

與一年多前發布預覽版的上一代 Genie 3 相比,Genie 4 的進步顯而易見:畫面更逼真、新增音頻,並支持自由編輯,包括即時改變天氣、調整鏡頭角度,或往場景裡添加新的人物和物體。它能將一個連貫場景維持長達 2 分鐘,是前代上限的兩倍,物理表現更準確,角色動作也更接近真人。

Genie 4 在虛擬世界生成方面的重大進步

Gemini 與 Genie 4 的整合更加深入。在整套流程中,Gemini 擔任「導演」,負責規劃步驟、逐幀檢查畫面,而 Genie 則負責生成視覺內容。在一項與 Gemini Robotics 綁定的研究實驗中,Gemini 4 Argon 模型將任務拆解成步驟,交由 Genie 4 即時模擬,展示出一條可行的路徑:機器人在真實世界行動之前,先在模擬環境中完成驗證。

Google 研究總監 Tejas Kulkarni 在簡報會上表示:「未來會越來越多地看到這類混合世界模型——Gemini 負責編寫代碼和文本,Genie 即時接收並在不同抽象層級上模擬現實。」與世界模型同行類似,Genie 4 對標的商用場景包括遊戲、互動學習和機器人。外媒舉了一個互動學習的設想例子:將一幅歷史場景畫作輸入系統,然後直接與畫中人物對話,以瞭解畫面背後的事件。

而獲得首批體驗資格的「可信測試者」則指出了另一個潛在用途——影視前期原型製作。 Google DeepMind 工程師 Diego Rivas 解釋稱:「即時性最有價值的地方,在於那些需要讓創作心流保持連貫的環節,例如構思階段、故事板階段——一切需要快速出概念的時刻。」他同時介紹, Google 的高清影片生成模型 Veo 在影視創作者中日漸流行,未來用戶或許可以藉助能結合圖像、音頻和文本生成影片的多模態大模型 Gemini Omni,將這些原型轉化為創意素材,不過這類能力距離落地仍有相當距離。

H
關於作者
Henderson