麻省理工學院開發智能系統協助機械人理解人類意圖

麻省理工學院（MIT）開發了一套由人工智能驅動的系統，旨在幫助機器人理解人類的意圖，例如一個人要求機器人將咖啡杯從凌亂的桌面上拿走時所隱含的需求。這套系統名為 FLEX（Flexible Language Guided Representation Editing for Adaptive Robot Behavior），將於本月在年度機器人學習會議上展示。

FLEX系統的測試與應用

研究人員利用機器臂進行模擬任務來測試 FLEX。在一個例子中，機器人被要求將咖啡杯從凌亂的桌面上運送過去。用戶說道：「不要灑在筆記本電腦上！」FLEX 識別到咖啡灑在筆記本電腦上的潛在風險，並使用大型語言模型（LLM）將液體與電子設備進行聯繫。隨後，機器人避開了筆記本電腦和附近的手機，儘管用戶在指示中並未提及手機。這項研究由航空航天學助理教授 Andreea Bobu 主導，合著者包括麻省理工學院計算機科學與人工智能實驗室（CSAIL）的博士後研究員 Nathan Dennler，以及碩士生 Audrey

Lee SM ’26 和紐約大學學生 Ilia Sucholutsky。

大型語言模型（LLM）經過大量互聯網文本的訓練，能夠將物體和情境與相關資訊進行聯繫。例如，在咖啡或水灑出來的情況下，LLM 將這些與潛在的電子設備損壞進行聯繫。FLEX 利用這些聯繫來幫助機器人更好地預測用戶未明確提及的物體可能出現的問題。該系統經過三個階段：添加、概括和遮罩。在添加階段，FLEX 識別需要避免的物體和特徵。例如，如果用戶說：「不要將保齡球掉在我的杯子上！」

，則杯子將被添加到機器人需避免的物體列表中。在概括階段，FLEX 利用 GPT-4o 語言模型對前一階段中添加的物體和特徵進行概括。例如，杯子將被分類為易碎物品，因此機器人也會避免其他所有易碎物品。最後，在遮罩階段，機器人的標準計算機視覺系統將被用來識別機器人周圍的物體。那些不再存在的物體將從機器人的特徵列表中移除，使機器人能夠根據環境變化即時更新決策。根據研究人員的說法，整個過程大約需要五秒鐘。

多樣化家庭偏好的學習

團隊在模擬環境中對 FLEX 進行了三項活動的測試，包括提供咖啡、移動蠟燭和攜帶保齡球。機器人能夠遵循涉及筆記本電腦、紙堆和杯子的指示，並將這些擴展到包括同類物件（例如電子設備、易燃材料和易碎物品）。麻省理工學院生成式人工智能影響聯盟及麻省理工學院施瓦茨曼計算學院的社會與計算倫理責任計劃部分支持了這項研究。Bobu 表示：「家庭偏好極為多樣。因此，機器人應當學習人們在各種情境下的偏好，而只需幾句指示。」

FLEX 能夠幫助機器人學習人們在不同情境下的偏好，僅需幾句指示即可。

FLEX系統對機器人技術的影響

FLEX系統的開發標誌著機器人技術的一個重要進步，能讓機器人更靈活地理解和應對人類的需求。透過大型語言模型的應用，機器人不僅能夠執行具體任務，還能預測潛在的風險，這對於日常生活中的應用尤為重要。隨著家庭環境的多樣化，FLEX能夠快速學習並適應不同情境下的偏好，這將促進機器人技術在家庭和商業領域的廣泛應用，提升人機互動的質量與效率。