Google扩充第八代TPU系列新增专用系统以满足企业AI计算需求

·作者 Henderson·Engineering
Google扩充第八代TPU系列新增专用系统以满足企业AI计算需求
重点
  • Google新增TPU 8tx和TPU 8i Max以满足企业AI计算需求。
  • TPU 8tx专注于处理敏感信息,具备硬件级保密计算功能。
  • TPU 8i Max解决内存带宽限制,提升计算能力和存储效率。
  • 扩展的产品系列涵盖AI开发及部署的不同阶段。

Google已新增两款专门系统至其第八代Tensor Processing Unit (TPU)系列,针对安全的AI计算及需要大量内存容量的工作负载。这次扩展使Google在同一代中拥有四款不同的TPU配置,反映出企业AI基础设施日益增长的需求。新系统TPU 8tx和TPU 8i Max对应企业在部署自主AI代理时出现的挑战。

其中一款优先考虑敏感工作负载的保密计算,而另一款则专注于处理大量上下文信息的模型。Google表示,其TPU业务目前服务近100位客户,涵盖AI研究实验室、金融交易公司、零售商及大学,用户亦可直接在自有数据中心内部署TPU。

TPU 8tx的保密计算功能

TPU 8tx主要针对处理敏感信息或在严格监管要求下运作的组织。Google在该系统中集成了硬件级别的保密计算,保护数据及模型权重在活跃处理过程中的安全。一般来说,处理器在处理信息前必须将其解密,这样即使在存储系统和网络连接使用加密技术时也可能会造成潜在的暴露。Google表示:“今天,我们扩展了第八代TPU产品系列,推出了两款专门为代理时代而建的新系统,将我们在一年内推出的第八代TPU系统数量增至四款。”

TPU 8i Max的内存带宽提升

TPU 8i Max则旨在解决内存带宽的限制,大型AI工作负载越来越需要处理器能在不等待数据转移的情况下访问大量信息。Google将两个TPU 8i芯片组合在同一包装内,以解决这一瓶颈。由此产生的系统在计算能力、片上SRAM及高带宽内存带宽方面均实现了双倍增长,并且在现有机架布局内可容纳两倍的芯片,这使数据中心能在相同的物理空间内容纳更多的计算能力。

扩大的产品系列现在涵盖了AI开发及部署的不同阶段。TPU 8t处理大规模模型训练,而TPU 8i则专注于低延迟推理及推断。TPU 8tx增加了保密计算能力,TPU 8i Max则针对需要大量上下文窗口及更高计算密度的应用。Google最初在四月的Cloud Next上介绍了TPU 8t和TPU 8i,并报告TPU 8t的训练性能提高了高达2.7倍,而TPU 8i的推理价格性能较上一代提升了高达80%。

硬件改进仅是Google更广泛策略的一部分。该公司还试图减少在其加速器上部署工作负载所需的软件专业知识。其开源的TorchTPU项目为该平台带来了原生PyTorch支持,开发者可以在不重写应用程序的情况下运行现有的PyTorch代码和Hugging Face模型。Google亦推出了与Claude Code、Cursor和Google Antigravity兼容的TPU开发代理,这些工具可自动化入门流程、识别性能瓶颈及优化自定义内核。

另一项新增功能TPU Sync创建了一个统一的内存架构,涵盖TPU内存、主机内存及共享存储。Google表示,这可以将关键值缓存传输延迟及首次令牌的时间减少超过90%。该公司还在扩展其基础设施管理工具,Cloud Pathways和GKE动态切片帮助开发者更有效地协调大型TPU集群及重新配置计算资源。Google的更广泛策略是,AI基础设施必须超越单个处理器的更快速度,随着自主代理处理越来越复杂的任务,内存、网络及安全将扮演同样重要的角色。

项目规格
TPU型号TPU 8tx
应用保密计算
TPU型号TPU 8i Max
应用大量上下文窗口及高计算密度

Google如何应对企业AI基础设施需求

Google的TPU系列扩展反映出企业在AI计算上的多样化需求。随着AI技术的普及,对于处理敏感数据的保密计算和高性能运算的需求日益增加。TPU 8tx和TPU 8i Max的推出,显示出Google在满足这些需求方面的策略,特别是在内存带宽和数据安全性上。这不仅增强了其产品的竞争力,也为用户提供了更灵活的解决方案,以应对不断变化的市场环境。

H
关于作者
Henderson