- Neuron AI 結合多種感官輸入以增強機器人互動能力。
- 該模型支持多個機器人平台，適應不同應用需求。
- NEURA 計劃展示 Neuron AI 的自動化過程，強調上下文保持。
- 訓練過程結合真實世界經驗和模擬變化。
NEURA Robotics 推出了 Neuron AI，這是一款旨在幫助機器人理解和與周圍環境互動的機器人基礎模型，利用多種感官輸入進行操作。該系統結合了視覺感知、觸覺、聲音、語言、機器人狀態資訊和記憶，以支持各種任務的執行。這家德國公司計劃在不同的機器人平台上部署該模型，讓客戶能夠根據特定應用需求調整其功能。NEURA 還計劃通過其人形機器人展示這項技術，展示其開發適應性機器人系統以應對現實環境的理念。
Neuron AI 的功能與設計
Neuron AI 是一款設計用於結合視覺感知、觸覺、聲音、語言和記憶的機器人基礎模型，旨在幫助機器人執行複雜任務。這家德國機器人公司將該系統描述為一個感知-語言-行動（PLA）模型，能夠處理感官資訊並將其轉化為物理行動。該架構旨在支持多個機器人平台，使技能能夠適應不同的應用，而不必為每台機器單獨開發。Neuron AI 整合了多種資訊來源，包括 3D 視覺、觸覺和力量測量、音頻、機器人狀態數據和語言。
根據 NEURA 的說法，該模型隨時間對這些輸入進行對齊，幫助機器人解釋其周圍環境並在任務進行過程中保持上下文。
觸覺和力量數據的加入可能幫助機器人確定物理互動是否達到預期效果。例如，接觸力的變化可以表明螺絲是否正確安裝，而音頻提示則可以幫助識別機械鎖是否已經卡入到位。這些例子展示了預期的能力，而非獨立驗證的性能結果。記憶是該架構的另一個組件。NEURA 指出，該系統可以保留有關早期事件和已移出視野物體的資訊，這可能幫助機器人在任務的多個階段協調行動。這一方法將感知、上下文資訊和行動結合在一個共同的模型中。
然而，該公司尚未發布比較基準，以證明記憶或額外感官輸入在性能上對視覺系統的改進程度。
訓練基礎設施與合作夥伴
NEURA 表示，Neuron AI 支持五種機器人實現，包括 4NE1 Gen 3 和 Gen 4 人形機器人、一個輪式 4NE1 平台，以及兩個額外的雙臂機器人平台。這一方法旨在將學習到的能力轉移到不同的硬件配置上，同時允許客戶根據其具體需求調整技能。該公司的產品資訊指出，推理在機器人上本地運行，而無需雲端連接。在設備上進行處理可以使機器人執行學到的技能，而無需持續訪問遠程計算基礎設施。
Neuron AI 的訓練過程結合了真實世界的機器人經驗、模擬變化和使用配備傳感器的套裝錄製的人類演示。
NEURA 的訓練基礎設施稱為 NEURA Gyms，支持數據收集、技能培訓和基準測試。該公司還與 Schaeffler 和 Bosch 建立了工業數據合作夥伴關係。NEURA 計劃利用其 Neuraverse 平台幫助客戶為特定工作流程微調機器人能力，並在多個機器人之間分配這些能力。客戶可以保持其訓練技能的私密性，或選擇與更廣泛的生態系統共享能力和部署數據。
該公司將“技能時間”視為一項關鍵進展指標，即教導機器人執行任務並達到可靠執行所需的時間。然而，該公告並未包含此指標的測量結果。
NEURA 計劃在 10 月 20 至 22 日於 NVIDIA GTC 柏林展示 Neuron AI，預計展示的 11 分鐘自動化過程包括整理衣物、裝載洗衣機、關閉及重新打開洗衣機、卸下衣物，以及在無人幹預的情況下將衣物轉移到烘乾機。此次展示旨在展示系統如何協調多個行動，並在任務執行過程中保持上下文。公告的過程涉及衣物處理，而非完整的洗衣和烘乾循環。
項目 規格 支持的機器人實現 4NE1 Gen 3、4NE1 Gen 4、人形機器人、輪式 4NE1 平台、雙臂機器人平台 推理處理 本地運行 訓練基礎設施 NEURA Gyms
Neuron AI 如何改變機器人技術的未來
NEURA Robotics 的 Neuron AI 模型代表了機器人技術的一個重要進展，通過整合多種感官輸入，使機器人能夠更好地理解和適應其環境。這種多感官互動不僅提升了機器人的執行能力，還使其能夠在更複雜的任務中保持上下文，這對於未來的自動化應用至關重要。此外，NEURA 的訓練基礎設施和與工業合作夥伴的合作，將進一步促進技術的發展和應用，為機器人行業帶來新的機會和挑戰。