研究人員開發好奇心驅動的虛擬機械人 以更高效方式學習語言

一組研究人員開發了基於人工智能的虛擬機器人，這些機器人通過鼓勵好奇心而非死記硬揹來更有效地學習理解語言，從而提供了有關兒童如何習得語言的新見解。來自沖繩科學與技術大學院（OIST）的研究人員發現，經過訓練以探索和滿足好奇心的機器人，在執行基於語言的任務時所需的時間約為傳統訓練機器人的一半。這種受大腦啟發的系統還顯示出自發的遊戲行為，並且在處理不熟悉的情況下的能力有所提升，這表明以好奇心驅動的學習可能使未來的人工智能系統更具適應性和人性化。

研究的第一作者及 OIST 認知神經機器人研究單位的博士生西奧多·丁克（Theodore Tinker）表示：「我們對於在訓練過程中自發出現的遊戲行為和例外處理性能感到驚訝。」

好奇心驅動的學習方式

OIST 團隊開發了一種以好奇心為驅動的人工智能系統，使虛擬機器人能夠更像兒童一樣學習語言，這對人工智能和人類語言習得都提供了新的見解。與大型語言模型（LLMs）通過從龐大數據集中預測最可能的下一個單詞來生成響應不同，研究人員使用了一種稱為預測編碼啟發的變異回歸神經網絡（PV-RNN）的受大腦啟發的架構。該模型旨在通過平衡兩個競爭目標來最小化「自由能量」：提高預測準確性，同時最小化對其內部信念的變更。

換句話説，機器人旨在正確理解世界，同時維持其穩定的內部模型。

為了鼓勵探索，團隊將 PV-RNN 與強化學習相結合。機器人在完成語言引導任務時會獲得外部獎勵，並且在探索需要更新其內部理解的不熟悉情況時會獲得內部獎勵。這種穩定性與探索之間的平衡使機器人能更有效地發現解決複雜任務的新方案。在訓練過程中，這些好奇的機器人表現出意想不到的遊戲行為。即使在掌握指派任務之後，它們仍然通過撞倒物體進行實驗，儘管沒有直接的指令要求這樣做。

探索與語言學習的關聯

研究人員發現，這種自發的探索加速了語言學習，暗示以好奇心驅動的遊戲可能對於知識的獲取至關重要，就像年幼的兒童一樣。

研究的高級作者及 OIST 單位負責人谷俊（Jun Tani）表示：「這些機器人並不像兒童那樣思考，它們的情況與兒童極其密集的語言環境相比非常抽象。但這種抽象環境使我們能夠在一個非常可信的模型中研究好奇心的影響，這個模型展示了人類如何學習處理語言。」

該研究還對語言學中的一個長期問題提供了見解，即諾姆·喬姆斯基的「刺激貧乏」問題，該問題探討兒童如何在接收到不完整和不完美的輸入下迅速學習語言。研究人員發現，單靠好奇心並不足夠；它必須與豐富多樣的語言環境相結合。僅接觸到 48 種語言組合的機器人約達到 25%的泛化能力。相比之下，接受 180 種組合訓練的機器人達到了約 85%，顯示出多樣的語言暴露顯著提升了它們理解未見指令的能力。

機器人的學習曲線

另一個驚人的發現是，這些機器人表現出類似幼兒的 U 型學習曲線。為了測試這一點，研究人員故意反轉了兩個語言任務的含義。最初，機器人正確學習了例外，但隨著它們概括更廣泛的語言規則，其表現暫時下降，然後在掌握例外後恢復。這與兒童在最終正確學習不規則動詞之前，經常會説「goed」或「runned」的情況相似。根據研究人員的説法，這種行為的出現完全出乎意料，因為該人工智能模型並未包含處理例外或過度概括的明確機制。

除了改善機器人的語言學習，PV-RNN 的透明設計使科學家能夠實時觀察人工智能的內部決策過程。與龐大的黑箱人工智能系統不同，研究人員可以直接檢查機器人如何更新其信念，使該模型成為研究人類認知及語言獲取背後機制的寶貴平台。

好奇心在人工智能語言學習中的角色

這項研究顯示，透過好奇心驅動的學習方式，虛擬機器人能更有效地掌握語言，這對於人工智能的發展具有重要意義。好奇心促進了探索行為，幫助機器人適應不熟悉的情況，這與人類語言習得過程中的探索性學習相似。此外，研究還揭示了語言環境的多樣性對學習成效的影響，強調了豐富語言暴露的重要性。這些發現不僅為人工智能的設計提供了新思路，也為理解人類語言學習的機制提供了有價值的見解。