Microsoft 计划于 2027 年推出 Maia 300 AI 加速器 目标提升 40%每兆瓦代币效率

·作者 Henderson·Engineering
Microsoft 计划于 2027 年推出 Maia 300 AI 加速器 目标提升 40%每兆瓦代币效率
重点
  • Maia 300 将于 2027 年推出,旨在减少对 NVIDIA 的依赖。
  • 该加速器的设计专注于内存密集型工作负载和多步骤任务。
  • Maia 300 每兆瓦的代币输出比现有 GPU 系统多出 40%。
  • Microsoft 计划将 Maia 系列部署作为扩展 AI 计算能力的核心策略。

Microsoft 计划于 2027 年推出其下一代 Maia 300 人工智能加速器,旨在摆脱对 NVIDIA 的依赖,并且每兆瓦的代币输出比目前领先的基于 GPU 的系统多出 40%。这款芯片将为 Microsoft 不断扩大的人工智能基础设施提供动力,并设计有 96 个加速器的机架配置,预计可实现其前代产品的七倍代币处理能力。此公告标志着 Microsoft 在为大规模人工智能推理建设定制硅芯片方面迈出了又一步。

其 Maia 200 加速器目前已处理生产工作负载,包括 Microsoft 的 Copilot。Microsoft 预期 GitHub Copilot 和 Microsoft Foundry 将在 2026 年底之前采用该硬件。

Maia 300 的设计特点

Maia 300 采取系统级的推理效率策略,其架构针对内存密集型工作负载、长上下文推理以及执行多步骤复杂任务的人工智能代理。内存带宽驱动设计,Maia 300 将八个 HBM4 内存堆叠与每秒 18 TB 的峰值带宽相结合。该系统在 950 瓦的热设计功耗范围内运行,以应对大型人工智能模型日益增长的内存需求。Microsoft 还采用多芯片设计,将计算、内存控制器和输入/输出功能分开。

计算芯片使用 TSMC 的 N2P 制造工艺,旨在提高每瓦的性能。该加速器还支持增强的 MXFP4 低精度计算,此方法减少了模型计算和关键值缓存存储的内存需求。这些节省可帮助系统容纳更长的上下文窗口,并在相同的功率预算内处理更多请求。

Maia 300 的性能预期

软件在设计中扮演着重要角色。Microsoft 的软件定义数据流架构旨在使数据靠近计算资源,从而减少不必要的传输。人工智能辅助的核心优化也帮助改善不同工作负载之间的硬件利用率。Maia 300 的网络连接 96 个加速器,将其架构扩展至整个机架。每个配置在 167 千瓦的功率范围内组合 96 个加速器。Microsoft 列出了 27.6 TB 的 HBM 容量和每秒 1.7 PB 的总内存带宽,针对更大的推理工作负载和单一部署中更多的同时人工智能交互。

定制的网络通过高带宽连接优化张量并行的链路连接加速器。专注于人工智能的传输层使用以太网基础设施支持加速器和机架之间的通信,设计旨在扩展工作负载,而不将网络视为单独的瓶颈。

Microsoft 表示,Maia 300 应能够每兆瓦提供比领先的基于 GPU 的系统多出 40% 的代币,其预测的机架规模吞吐量也对比 Maia 200 有显著增长,尽管公司尚未详细说明这些比较的独立基准。Microsoft 已在美国、欧洲和澳洲部署 Maia 200,并报告称,Teams、Copilot 和 Cowork 体验中的内置人工智能功能每瓦的代币数量比领先的 GPU 基础设施多出 1.7 倍。

现有的加速器运行 OpenAI 模型、Microsoft 的 MAI 模型以及开源模型系列。Microsoft 利用这些服务的性能数据来指导硬件开发并优化现实工作负载。Maia 300 将支持 Microsoft 的模型开发工作、云端推理和基于代理的编码工具,并预期该硬件将有助于扩展 Dragon Copilot,即其临床人工智能助手,生产部署将于 2027 年开始。

Microsoft 的长期计划呼吁从当年开始进行多千兆瓦的 Maia 部署,将定制硅芯片定位为其扩展人工智能计算能力的主要组成部分。

项目规格
内存8 个 HBM4 内存堆叠
峰值带宽18 TB 每秒
热设计功耗950 瓦
机架容量27.6 TB HBM
总内存带宽1.7 PB 每秒

Maia 300 对 Microsoft AI 生态系统的影响

Maia 300 的推出标志着 Microsoft 在人工智能硬件领域的重要进展,特别是在减少对 NVIDIA 的依赖方面。通过专注于内存密集型工作负载和多步骤任务的设计,Maia 300 有潜力提升整体计算效率,并支持更复杂的 AI 应用。随着 AI 应用需求的增加,Microsoft 的定制硅芯片将成为其扩展计算能力的关键,并可能改变行业对 AI 加速器的依赖模式。

H
关于作者
Henderson