MIT 開發新人工智能系統助機械人修正記憶錯誤

麻省理工學院的研究人員開發了一種新型記憶系統，幫助機器人識別並修正儲存在其記憶中的不準確物體描述。這一系統名為 UQ-DAAAM，能夠評估來自不同視角的同一物體的多個描述，以決定機器人對其識別的信心程度。然後，系統會選擇額外的視角來降低不確定性，並將觀察結果綜合成更準確的描述。修正後的資訊將儲存在機器人的記憶中，這可能會改善其在環境中導航和執行複雜任務的能力。

該技術結合了計算機視覺、語言模型和不確定性量化，以改善機器人對周圍物體的識別和記憶。UQ-DAAAM 建基於早期的機器人記憶框架 DAAAM，該框架使用視覺-語言模型（VLM）生成機器人由其機載鏡頭捕獲的物體的詳細描述。這些描述被儲存在基於三維地圖的環境表示中，使機器人在回答問題或執行任務時能夠檢索物體的資訊。然而，原系統在物體部分可見、距離較遠或捕獲的圖像模糊或光線不足時存在侷限性。

在這些情況下，視覺-語言模型可能生成不正確的描述。例如，它可能將灰色煙囱誤認為屋頂上的松鼠。如果沒有修正這些錯誤的機制，不準確的資訊可能會留在機器人的記憶中，影響隨後的決策。

解決不準確描述的機制

UQ-DAAAM 通過引入一種測量視覺-語言模型生成的描述不確定性的方法來解決這一問題。當機器人在環境中運動時，其鏡頭會不斷捕獲圖像，通常會從多個視角記錄同一物體。新系統利用這些額外的觀察來判斷現有描述是否可靠。研究人員表示，系統首先評估模型在描述潛在誤認物體時生成的詞語的信心，然後通過將該描述與從不同角度捕獲的同一物體的圖像生成的標題進行比較來測量一致性。

系統將這兩個測量結果結合成一個單一的不確定性分數，表示其對物體理解的信心。如果分數超過預定的閾值，UQ-DAAAM 會將該描述標識為潛在不可靠並啟動修正過程。

選擇額外視角的策略

該系統不會分析每個捕獲的圖像，而是使用基於規則的方法選擇可以幫助降低不確定性的額外視角。例如，如果機器人將煙囱誤認為另一物體，它可能會選擇顯示從煙囱冒出煙霧的圖像，以更準確地識別該結構。研究人員數學證明瞭這一選擇方法可以在不重複運行視覺-語言模型的情況下識別有用的圖像。這減少了計算需求，使系統能夠在處理資源有限的移動機器人上運行。一旦選擇了額外的圖像，大型語言模型（LLM）將其描述綜合成修訂的標題。

系統對較新的描述和包含較少歧義的描述賦予更大權重，以生成更可靠的物體表示。修正後的描述隨後將儲存在機器人的記憶中以供未來參考。

在測試中，修正過程解決了約 92% 物體的歧義，每個物體僅需兩個額外的標題。與現有的最先進方法相比，物體描述的準確性提高了 5%。研究人員進一步發現，UQ-DAAAM 改善了對物體、其位置以及機器人上次遇到它們的時間的問題回答的準確性。團隊目前計劃將該技術擴展到不同的機器人平台，包括移動機器人操控器。他們還在探索該系統是否能夠識別高不確定性區域，並引導機器人重新訪問這些位置以收集更好的觀察結果。

UQ-DAAAM 對機器人技術的影響

UQ-DAAAM 的開發顯示出在機器人技術中，準確的物體識別對於執行複雜任務的重要性。透過結合計算機視覺和語言模型，這個系統不僅提高了物體描述的準確性，還能有效地修正記憶中的錯誤。這對於未來的自動化和智能系統具有深遠意義，因為它能夠提升機器人在動態環境中的適應能力，並促進更高效的決策過程。