当前位置:首页 >  科技 >  IT业界 >  正文

忆联携手英特尔发布极简存储节点 KV Cache G3.5 方案最佳实践

 2026-11-19 15:48  来源: 互联网   我来投稿 撤稿纠错

  一键部署OpenClaw

随着大模型推理、Agent应用及长上下文交互的爆发式增长,GPU显存容量正面临前所未有的挑战。如何将KV Cache高效、低成本地从GPU显存卸载到远端存储,已成为提升AI推理并发能力、降低TCO的关键。

近日,忆联联合英特尔正式发布《基于英特尔® 至强® 6200P-B 系列处理器和忆联 UH812a 企业级 SSD 的极简存储节点 KV Cache G3.5 方案最佳实践》。该方案基于英特尔®至强® 6200P-B系列处理器(代号Gem Mountain)与忆联企业级PCIe 5.0 SSD UH812a,以极简硬件架构实现媲美本地文件系统的超低延迟KV Cache访问,为AI推理存储提供灵活、低成本的新选择。

直击痛点:打破GPU显存瓶颈,释放算力潜能

在大模型推理场景中,KV Cache的规模随上下文长度和并发数线性增长。传统GPU本地显存扩展方式成本高昂且容量受限。业界主流解决方案是将KV Cache剥离至独立存储节点。但远端存储访问带来的网络延迟与带宽瓶颈,往往成为制约推理性能的新挑战。

针对这一痛点,忆联与英特尔联合打造基于GMM SoC + UH812a + 400GbE RDMA的极简存储节点方案。该方案通过架构解耦,将KV Cache从GPU节点剥离,有效提升GPU资源利用率,并实现容量灵活扩展。

焕新升级:不同架构形态下的KV Cache实践

相较于此前发布的分层架构KV Cache方案(点击阅读原文),本次极简存储方案在架构形态与目标场景上做出了不同的技术选择。

架构形态:从“庞大复杂”到“极致精简”

分层架构方案:采用2U双路标准服务器(双路至强®6处理器、最高1TB DDR5及最多24块SSD),结合QAT在线无损压缩,构建HBM-DDR-JBOF三级分层体系,面向需要海量算力协同的集中式推理场景。

极简存储方案:采用Gem Mountain紧凑型SoC(45mm×45mm封装,单路最高16核,TDP约120W),搭配4块UH812a SSD与400GbE RDMA网卡,构成高集成度独立存储节点,专为空间、功耗受限的边缘场景或追求快速横向扩展的AIDC场景设计。

方案价值:从“重型分布式”到“高性价比”

分层架构方案:侧重于通过强大算力协同与QAT压缩技术(容量提升超20%),在集中式重型架构下解决Agentic AI长上下文与高并发带来的显存压力,适合对算力扩展有强诉求的核心枢纽。

极简存储方案:GMM SoC原生提供32条PCIe 5.0通道,精简架构不仅减少中间层级的数据搬运损耗,更将单节点4盘容量提升至30TB以上。通过多实例SPDK优化与NVMe-oF,在极低功耗下实现极高性能,大幅降低单TB容量成本和平台TCO。

以极简架构驱动客户价值跃升

本次方案通过软硬协同优化,为客户在特定场景下带来显著收益:

超低延迟体验:通过SPDK与NVMe-oF优化,端到端单IO随机读时延仅约60μs(较本地仅多约8μs),随机写时延约10μs,远端KV Cache具备接近本地文件系统的延迟表现。

高吞吐与高能效:忆联UH812a搭载自研7nm主控,顺序读写最高达14,900/10,500 MB/s,4K随机读达3,500K IOPS;顺序读峰值功耗控制在18W以内。配合GMM SoC,单节点4盘即可实现30TB以上容量与11,000,000 IOPS(受限于400GbE上限)。

业务效能跃升:在vLLM + LMCache实测中(80%缓存命中率),TTFT(首Token时延)较重算减少57%,系统总吞吐量提升93%。当缓存100%命中时,时延降至0.19ms,吞吐量高达2.52 token/s,大幅减少GPU重复计算,提升单卡服务效率。

极简部署与低TCO:紧凑的硬件形态极大降低平台空间占用与部署门槛;结合UH812a低于5W的待机功耗,契合绿色AIDC对能效的严苛要求。

在AI基础设施从“算力中心”向“存算协同”演进的当下,忆联UH812a企业级SSD凭借高带宽、低延迟、高能效的硬核实力,成为KV Cache卸载存储层的理想选择。未来,忆联将继续携手英特尔等生态伙伴,持续优化存算协同方案,为AI大模型的高效落地提供更灵活、更经济的存储底座。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

热门排行

信息推荐