麻省理工學院的研究人員開發出一套由人工智能驅動的系統，能夠自動創建逼真的 3D 室內環境，以生成機器人的訓練數據。這個名為 SceneSmith 的平台使用三個協作的 AI 代理來構建詳細的虛擬空間，包括廚房、酒店和客廳，通過排列物件、牆壁和房間佈局來實現。這些數碼環境使機器人能夠安全地練習日常任務，測試不同策略，並在真實世界運作之前提升其技能。根據團隊的説法，這個新模型有助於減少高昂的實體訓練需求，同時加速開發更具能力和適應性的機器人系統。
SceneSmith 系統能夠自動生成虛擬環境以支持機器人訓練
MIT 的 SceneSmith 是一個 AI 系統，創建逼真的 3D 室內環境，讓機器人在實際運作之前安全地學習和練習日常任務。機器人技術面臨的最大挑戰之一是收集足夠的訓練數據。與基於文本學習的 AI 聊天機器人不同，機器人需要在多種不同環境中與物理物件進行互動的經驗。在現實世界中教導機器人耗時且昂貴，並需要無數小時的人類監督。SceneSmith 通過自動構建詳細的虛擬環境來解決這一問題，這些環境類似於現實中的廚房、卧室、酒店、餐廳、辦公室和車庫。
根據團隊的聲明，機器人可以在這些數碼世界中訓練，測試完成任務的不同方法，而無需實體實驗的成本或風險。
該系統依賴於三個協作的 AI 代理。第一個被稱為設計師，負責創建房間佈局並放置傢俱和其他物件。第二個是評論者，檢查場景是否逼真並提出改進建議，例如移除不屬於特定房間的物件。第三個是協調者，管理整個過程，決定設計何時完成或何時需要更多修改。這些 AI 代理使用 OpenAI 的 GPT-5.2 視覺-語言模型，該模型從大量的文本和圖像中學習，這使系統能夠理解現實室內空間的佈局以及日常物件的典型擺放方式。
用户可以簡單地使用自然語言描述房間。例如，要求「一個有汽車、工作台、堆疊的輪胎和靠牆梯子的車庫」，使 SceneSmith 能夠生成該空間的詳細虛擬版本。
研究顯示 SceneSmith 提供更真實的訓練環境
與以往的系統相比，其場景包含多達六倍的互動物件，為機器人提供了更多學習機會。研究人員使用 SceneSmith 生成了超過 1,300 個虛擬環境，包括逼真的住宅、辦公室、商店和主題空間。機器人練習常見的家務任務，例如將水果放置於盤子上、在架子和桌子之間移動汽水罐、打開櫃子以及將杯子放入水槽。為了評估系統，研究人員在 100 個不同的 SceneSmith 環境中測試了機器人控制程序。
一個 AI 代理評估每個機器人是否完成其分配的任務。人類審核者與 AI 的評估達成一致的比例超過 99%。團隊還測試了一個主要基於現實世界數據訓練的機器人控制器。儘管它從未遇到過 SceneSmith 環境，但仍能完成如從碗中拿起蘋果並放置於砧板上的任務。
研究人員還遠程控制機器人在虛擬環境中，打開櫃子、存放瓶子以及在房間之間導航，顯示這些場景能夠支持現實的物理互動。在涉及超過 200 人的用户研究中，超過 90% 的參與者評價 SceneSmith 的環境比早期方法創建的更為逼真。他們還發現該系統在遵循書面指示方面表現更佳。SceneSmith 甚至可以生成新的 3D 物件，並為它們分配現實的物理屬性，例如重量、摩擦和運動。
然而，創建高度詳細的場景目前可能需要數小時，因為 AI 會仔細審查每個物件和佈局。研究人員相信，隨著計算速度的提升和更大 3D 物件庫的出現，性能將顯著改善，幫助機器人獲得用於現實世界應用的豐富訓練數據。