Robbyant 表示,這次推出標誌著機器人空間感知的一個重大進步,幫助機器人更準確地理解物理世界,並提高其在複雜環境中導航的能力。LingBot-Depth 2.0 在 LingBot-Depth 的基礎上發展而來,該技術引入了掩碼深度建模(Masked Depth Modeling,MDM)技術,以解決透明和反射表面的深度感應挑戰,並提供了擴展的訓練能力和改進的性能。
該模型在 1.5 億個樣本上進行了訓練,並在 16 個深度完成基準中的 12 個項目上達到了領先的結果,顯示出在現實世界感知任務中更強的準確性和可靠性。
LingBot-Depth 2.0 在深度感知技術上取得顯著進展
LingBot-Depth 2.0 在挑戰性室內環境中取得了顯著的改進,因為在這些環境中深度感知往往受到限制。根據 Robbyant 的説法,該模型在深度損失嚴重的情況下,將深度誤差減少了一半以上,將均方根誤差(RMSE)分數從 0.132 降低到 0.062。該模型在傳統深度相機通常難以檢測和理解的區域也顯示出更強的性能,包括檢測和理解玻璃表面、鏡子及其他透明物體。
這些進展得益於 LingBot-Vision,這是一個旨在改善機器人解釋和理解其周圍環境的視覺基礎模型。
LingBot-Vision 是業界首個使用「邊界結構」作為預訓練目標的模型,這使其能夠實現亞像素級的邊界定位和更強的空間結構理解,從而提高機器人感知的可靠性。儘管該模型是在相對較小的 1.6 億張圖像數據集上訓練的,但其性能仍優於較大的模型。Robbyant 表示,該模型還提供穩定的物體邊界檢測,使機器人能夠在視頻序列中持續跟蹤物體邊緣和結構。
LingBot-Vision 為機器人提供更強的環境理解能力
除了支持 LingBot-Depth 2.0 之外,LingBot-Vision 還被設計為一個靈活的基礎模型,可以支持廣泛的人工智能應用和下游任務。Robbyant 表示,該模型的能力超越了深度感知,使其在機器人視覺和智能系統中的應用更加廣泛。為了商業部署,LingBot-Depth 2.0 已獲得 Orbbec 深度視覺實驗室的認證。使用 Orbbec Gemini 330 系列立體 3D 相機的芯片級深度數據進行的測試顯示,在邊緣檢測、物體輪廓、小物體識別、長距離深度估計以及在挑戰性光照和材料條件下的性能方面均有所改善。
與 Orbbec 的合作還將擴展到機器人數據收集的新硬件解決方案。作為 Orbbec 新推出的無人機數據收集硬件平台的一部分,RGB-D EGO 裝置將配備一個為收集高質量訓練數據而優化的定製版本 LingBot-Depth。在未來的更新中,該平台預計將整合先進的商業版本模型,進一步改善深度完成、物體邊界檢測和空間結構理解。其目標是為在現實環境中訓練具身人工智能系統提供更準確、穩定和實用的數據基礎。
項目 規格 處理器 Orbbec Gemini 330 相機 立體 3D 相機

