華為正式開源 openPangu-2.0-Pro 模型 總參數量達 5050 億

·作者 Henderson
華為正式開源 openPangu-2.0-Pro 模型 總參數量達 5050 億
重點
  • 華為於 7 月 31 日開源 openPangu-2.0-Pro 模型。
  • openPangu-2.0-Pro 模型總參數量達 5050 億,激活參數為 180 億。
  • 華為邀請全球開發者下載使用 openPangu-2.0-Pro 模型。
  • openPangu-2.0 模型有 Pro 和 Flash 兩個版本,支持超長上下文窗口。

華為於 7 月 31 日正式宣佈開源 openPangu-2.0-Pro 模型及其技術報告。openPangu 是華為推出的開源人工智能模型品牌,openPangu-2.0-Pro 模型的總參數量達到 5050 億,激活參數為 180 億。該模型旨在通過昇騰原生訓練與推理技術,為業界提供最佳實踐參考,助力充分發揮昇騰平台的潛力,並進一步打造 Agent 時代強大的智能底座,加速人工智能領域的商業創新與生態繁榮。

開源平台的邀請與參與

目前,openPangu-2.0-Pro 模型的相關組件已陸續上線開源平台。華為正邀請全球開發者、企業夥伴及研究人員下載使用,並可訪問華為雲 MaaS 模型即服務平台進行在線體驗。華為表示,歡迎廣大用户反饋使用意見,以助力開源生態的持續進步。

據瞭解,openPangu-2.0 模型提供 Pro 和 Flash 兩個版本,均採用 MoE 混合專家架構。其中,Pro 版的總參數量為 5050 億,激活參數量為 180 億;Flash 版的總參數量為 920 億,激活參數量為 60 億,主要面向輕量化部署場景。這兩個版本均支持 512K 超長上下文窗口,能夠一次性處理數十萬字內容,並採用業界首個 DSA+SWA 獨立分層混合架構,實現超稀疏注意力機制。

開源舉措的意義

此前,openPangu-2.0-Flash 模型已於 6 月 30 日開源。這一系列的開源舉措不僅彰顯了華為在人工智能技術上的持續投入,也為相關領域的開發者提供了更多的資源與機會。

華為開源策略對人工智能的影響

華為開源 openPangu-2.0-Pro 模型,顯示出其對人工智能技術的重視與投入。透過開源,華為不僅能吸引全球開發者參與,還能促進技術的共享與創新。這對於提升人工智能生態系統的活力至關重要,特別是在推動商業創新與技術進步方面。開源策略將有助於華為在競爭激烈的市場中,建立更為強大的技術基礎,並促進行業的整體發展。

H
關於作者
Henderson