10月12日,微软云与AI业务执行副总裁Scott Guthrie在官方博客里给出了一个时间表:从2027年起,Azure的Maia加速器要扩到多吉瓦级部署,Maia会成为微软各项产品与服务的主力推理系统。第三代Maia300由此从自研芯片的补位角色,走到了台前,成了微软最关键的一颗推理加速器。
Maia300只做推理,不做训练。每颗加速器挂8组HBM4高带宽显存堆栈,容量288GB,带宽18TB/s,热设计功耗950瓦。一个机架装24个托盘、每托盘4颗,共96颗,功率167kW,合计27.6TB显存与1.7PB/s带宽。计算芯粒用台积电的N2P工艺,显存控制与输入输出拆到独立的die上,按微软的说法,算力因此多出36%,显存带宽是上一代的2.5倍,摊到每瓦上的HBM带宽也差不多翻了一倍。
改动的重心在显存一侧。Maia200是单die,显存216GB、带宽7.1TB/s。解码阶段是一个词元一个词元往外吐的过程,加速器多数时间花在等数据上,真正做算术的工夫不多,把数据留在算它的芯粒旁边,比多塞算力更管用。微软为此配了非均匀显存布局、软件管理的片上SRAM,以及更窄的数值格式,包括改良版MXFP4。
网络是另一处不同。Maia的AI网络控制器跑的是自建传输,底层用以太网,微软的说法是不再把扩容与扩展分成两套域,加速器之间通信不经过主机,也不用独立的扩展网卡。托盘内两颗直连,机架内96颗经交换芯片互通,第二层用光交换把最多128个机架连成一个12288颗的超级节点。
数字上,微软给的口径是机架级词元吞吐量最高为Maia200的7倍,每兆瓦词元产出比领先的GPU系统高40%。后一个数字在工程圈被追问最多:对比的到底是哪一款GPU,公告里没点名;模型多大、上下文多长、批处理怎么配、量化到什么精度,也都没写。有人提了另一种看法:词元算不上统一的算力标尺,口径这么定,话多的模型反而占便宜。
落到产线上,Maia200已经在跑Copilot与MAI模型团队的工作负载,部署覆盖美国、欧洲和澳大利亚,GitHub Copilot与Microsoft Foundry排在年底前接入。官方给的数是Teams、Copilot这类内置AI场景,每瓦词元数为领先GPU基础设施的1.7倍。同场公布的Cobalt200是面向智能体负载的CPU,微软称智能体调用延迟比Cobalt100低33%。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
