中國研究人員已經建立了一個光學互連系統，能顯著加快分佈式人工智能推理的速度，同時所需的計算資源僅為傳統基於 GPU 系統的少數部分。這一原型實現了超過 100 倍的推理速度提升，而所需的計算能力僅為商業 GPU 約九分之一。該系統由北京大學的研究團隊開發，通過一個片上全光網絡連接多個計算晶片，取代了傳統的電氣連接。這一方法旨在減少延遲並改善晶片之間的數據傳輸，這是擴展人工智能工作負載過程中日益增長的瓶頸之一。
中國研究人員開發的光學互連系統顯著提升人工智能推理速度
該平台的核心是一個 400 Gbps 硅光子收發器，能將電信號轉換為光信號，並再轉回去。它與一個定製的 16×16 光開關晶片協同工作，負責在計算節點之間路由數據，創建一個可擴展的通信網絡，總體交換帶寬高達 6.4 Tbps。研究人員表示，這一設計將重點從單純增加計算硬件轉向改善晶片之間的通信，這使得多個處理器在人工智能推理過程中能更有效地協同工作。
光替代了瓶頸，光開關的一個關鍵特徵是其總損耗小於 5 dB，包括耦合損耗。根據團隊的説法，這使得高速、無錯誤的傳輸成為可能，而不需要外部光增益補償。這個開關還能在多個通信路徑上保持無錯誤性能，並支持超過 100 nm 的光譜響應，適合通過波長分複用進行未來帶寬擴展。為了展示這一架構，研究人員部署了一個五層的卷積神經網絡進行圖像去噪，每一層都分配給一個獨立的計算單位，而光開關則將處理器連接成一個管道。
該系統不再需要重複將中間數據存儲在內存中，然後再發送到下一個處理器，而是直接通過光網絡傳輸特徵圖。這樣減少了與內存傳輸相關的延遲，使計算單位能夠持續工作。與商業 GPU 執行相同圖像去噪任務相比，光系統提供的推理速度超過了一百倍，同時僅使用了約九分之一的計算資源。
研究人員認為，這項工作突顯了一種不同的方式來提升人工智能性能，尤其是當模型不斷增長時。他們表示：「當算法、處理器微架構和晶片級互連進行共同設計時，特定目標可以在有限的計算資源下實現。」他們還補充道：「這一架構也能緩解數據中心中不可持續的能源使用，並優化邊緣計算場景中的延遲或消耗。」研究團隊指出，隨著共包光學、硅光子收發器和更快的人工智能晶片接口的進步，可能使片上光學超級節點成為未來分佈式計算系統的實用基礎。
這類系統可提供高帶寬、低延遲和能效，以支持下一代人工智能工作負載，而不完全依賴於日益耗電的更大集羣處理器。該研究發表於《國家科學評論》期刊。