谷歌Meta AMD联手TPU两行代码挑战辉达垄断
三方合作,Google出AI芯片与云端架构、Meta出软件框架通行证、AMD出主机硬件安全后盾,三大巨头合组“非辉达战线”,以两行代码无痛搬迁、极速硬件迭代与高性价比排程技术软硬夹击,进军辉达主导的全球算力市场。
辉达技术护城河在于全球开发者对开源框架PyTorch与CUDA生态的深度依赖,过往企业转向TPU往往面临极高的重构门槛。为消除转移阻力,Google Cloud联手PyTorch原创者Meta及开源社群,打造原生后端“TorchTPU”并正式商用。
开发者仅需在既有脚本中加入两行代码,便能直接调用Cloud TPU运算资源,保留全部现有模型代码、函式库与工作流程。此举让企业开发者能零门槛“无痛跳槽”改用Google算力。
在硬件层面,Google Cloud将TPU更新步调从“两年一套”大幅提速至“单年推出四款专用系统”,继春季发表TPU 8t与8i后,再度追加两款次世代专用硬件,包括联手AMD x86处理器主打机密运算的TPU 8tx,具备12.6 PFLOPs FP4运算力与216 GB HBM。落实硬件级PCIe链路加密与记忆体实体隔离;搭配BoardFly互联架构,通讯延迟较TPU 8t减少一半。
另一款TPU 8i Max主打超巨量上下文高吞吐,采用单一封装整合双芯片(2 compute dies per package)架构,搭载384 GB HBM(增加33%)、17.2 TB/s超大记忆体频宽(翻倍)与768 MB片上SRAM(翻倍),整体推论算力密度与吞吐量达到TPU 8i的2倍,专为维持庞大KV快取的复杂AI代理(Agent)流程量身打造。
除硬件升级,Google Cloud首度发表开源记忆体排程工具“TPU-Sync”。针对AI代理在跨系统调用工具或等待指令时出现的“运算空窗期”,TPU-Sync能在代理休眠时,动态将运算记忆体经加密PCIe链路卸载出芯片,腾出算力给其他推论任务并行处理,待指令触发时秒级回载。该工具不仅拉升服务器利用率、压低单次推论成本,更向下相容现役TPU v7、v6及v5世代。Google Cloud携手Inferact与RadixArk,让主流开源推论引擎vLLM与SGLang原生开箱即用支援TPU与GPU,企业能透过GKE单一架构弹性调度异质算力丛集。
