- 晶片製造商正轉向整合多個加速器的計算系統。
- 比人科技開發近封裝光學技術以提升數據傳輸帶寬。
- 光學互連技術對於克服伺服器架構的可擴展性限制至關重要。
- 半導體行業仍在開發光學互連技術的早期階段。
隨著人工智能模型持續增長其規模和複雜性，晶片製造商開始將重點從單個處理器的性能轉向能夠有效連接成千上萬個加速器的整體計算系統。這些高度互聯的伺服器架構已成為人工智能基礎設施公司的主要競爭領域，這些公司正競相提供支持擁有數萬億參數的模型所需的計算規模，以及日益增長的人工智能代理應用。據比人科技（Biren）人工智能框架架構副總裁丁雲帆表示，單個圖形處理單元（GPU）性能的提升已不足以滿足這些需求。
相反，行業面臨的最大挑戰是將龐大的 GPU 集羣轉變為能夠作為單一系統運行的統一無縫計算平台。
光學技術取代傳統電氣互連
比人科技認為，大規模人工智能計算的未來依賴於用光學技術取代傳統的電氣互連。丁雲帆指出，傳統的銅基連接已接近其物理極限，實際上將當今的伺服器架構限制在約 128 個 GPU。為了克服這一瓶頸，公司開發了一種基於近封裝光學技術（NPO）的分佈式、解耦的超節點架構，該架構將光纖靠近晶片以增加帶寬並改善數據傳輸。比人科技表示，這一方法可使集羣支持多達 1,024 塊人工智能加速器卡，顯著擴大所需的計算系統規模，以支持日益增加的人工智能工作負載。
丁雲帆指出，光學互連對於克服傳統伺服器架構的可擴展性限制已變得至關重要。位於上海的比人科技是越來越多的中國公司之一，這些公司正致力於解決這些基礎設施挑戰。競爭對手包括 MetaX、Enflame 和阿里巴巴等也在開發超節點架構，以與 Nvidia 的 NVL72 和下一代 NVL144 人工智能平台競爭。比人科技的上海競爭對手 MetaX 推出了其 Xijing S600 人工智能超節點，該設備具備一個機櫃可連接 64 個 GPU。
該公司表示，其設計通過去除計算節點、交換節點和互連系統之間的外部布線來減少信號損失，提高大規模人工智能工作負載的效率。
光學互連技術的發展階段
比人科技還在尋找新的方法以擴大其人工智能計算系統的規模。該公司的正交硬件架構與電信巨頭中興通訊（ZTE）共同開發，利用傳統電氣連接，而比人科技同時在測試一種原型近封裝光學（NPO）互連系統。該晶片製造商表示，光學方法最終可以支持超節點擁有超過 512 塊加速器卡，幫助應對對更大和更高效的人工智能基礎設施日益增長的需求。
儘管對光學網絡在人工智能基礎設施中的應用日益關注，丁雲帆表示，半導體行業仍處於開發和測試光學互連技術的早期階段。他指出，廣泛採用這些系統需要進一步的技術進步，才能在大規模上進行部署。此外，丁雲帆強調，該技術在廣泛採用之前仍需進行實際驗證。他預測，NPO 光學系統可能在 2028 年左右達到大規模商業部署，隨著行業不斷完善技術並解決剩餘的工程挑戰。
光學技術在人工智能基礎設施中的潛力
隨著人工智能應用需求不斷增加，傳統的電氣互連已經無法滿足未來的計算需求。比人科技的光學互連技術提供了一種解決方案，能夠顯著提升伺服器架構的擴展性和效率。儘管目前仍處於開發階段，但如果能成功商業化，將對整個半導體行業及人工智能基礎設施產生深遠影響，推動更高效能的計算系統出現。