忆联携手英特尔发布极简存储节点 KV Cache G3.5 方案更佳实践
- +1 你赞过了
【天极网IT新闻频道】随着大模型推理、Agent应用及长上下文交互的爆发式增长,GPU显存容量正面临前所未有的挑战。如何将KV Cache高效、低成本地从GPU显存卸载到远端存储,已成为提升AI推理并发能力、降低TCO的关键。
近日,忆联联合英特尔正式发布《基于英特尔® 至强® 6200P-B 系列处理器和忆联 UH812a 企业级 SSD 的极简存储节点 KV Cache G3.5 方案*佳实践》。该方案基于英特尔®至强® 6200P-B系列处理器(代号Gem Mountain)与忆联企业级PCIe 5.0 SSD UH812a,以极简硬件架构实现媲美本地文件系统的超低延迟KV Cache访问,为AI推理存储提供灵活、低成本的新选择。

直击痛点:打破GPU显存瓶颈,释放算力潜能
在大模型推理场景中,KV Cache的规模随上下文长度和并发数线性增长。传统GPU本地显存扩展方式成本高昂且容量受限。业界主流解决方案是将KV Cache剥离至独立存储节点。但远端存储访问带来的网络延迟与带宽瓶颈,往往成为制约推理性能的新挑战。
针对这一痛点,忆联与英特尔联合打造基于GMM SoC + UH812a + 400GbE RDMA的极简存储节点方案。该方案通过架构解耦,将KV Cache从GPU节点剥离,有效提升GPU资源利用率,并实现容量灵活扩展。

焕新升级:不同架构形态下的KV Cache实践
相较于此前发布的分层架构KV Cache方案(点击阅读原文),本次极简存储方案在架构形态与目标场景上做出了不同的技术选择。
架构形态:从“庞大复杂”到“极致精简”
分层架构方案:采用2U双路标准服务器(双路至强®6处理器、*高1TB DDR5及*多24块SSD),结合QAT在线无损压缩,构建HBM-DDR-JBOF三级分层体系,面向需要海量算力协同的集中式推理场景。
极简存储方案:采用Gem Mountain紧凑型SoC(45mm×45mm封装,单路*高16核,TDP约120W),搭配4块UH812a SSD与400GbE RDMA网卡,构成高集成度独立存储节点,专为空间、功耗受限的边缘场景或追求快速横向扩展的AIDC场景设计。
方案价值:从“重型分布式”到“高性价比”
分层架构方案:侧重于通过强大算力协同与QAT压缩技术(容量提升超20%),在集中式重型架构下解决Agentic AI长上下文与高并发带来的显存压力,适合对算力扩展有强诉求的核心枢纽。
极简存储方案:GMM SoC原生提供32条PCIe 5.0通道,精简架构不仅减少中间层级的数据搬运损耗,更将单节点4盘容量提升至30TB以上。通过多实例SPDK优化与NVMe-oF,在极低功耗下实现极高性能,大幅降低单TB容量成本和平台TCO。

以极简架构驱动客户价值跃升
本次方案通过软硬协同优化,为客户在特定场景下带来显著收益:
超低延迟体验:通过SPDK与NVMe-oF优化,端到端单IO随机读时延仅约60μs(较本地仅多约8μs),随机写时延约10μs,远端KV Cache具备接近本地文件系统的延迟表现。
高吞吐与高能效:忆联UH812a搭载自研7nm主控,顺序读写*高达14,900/10,500 MB/s,4K随机读达3,500K IOPS;顺序读峰值功耗控制在18W以内。配合GMM SoC,单节点4盘即可实现30TB以上容量与11,000,000 IOPS(受限于400GbE上限)。

业务效能跃升:在vLLM + LMCache实测中(80%缓存命中率),TTFT(首Token时延)较重算减少57%,系统总吞吐量提升93%。当缓存100%命中时,时延降至0.19ms,吞吐量高达2.52 token/s,大幅减少GPU重复计算,提升单卡服务效率。

极简部署与低TCO:紧凑的硬件形态极大降低平台空间占用与部署门槛;结合UH812a低于5W的待机功耗,契合绿色AIDC对能效的严苛要求。
在AI基础设施从“算力中心”向“存算协同”演进的当下,忆联UH812a企业级SSD凭借高带宽、低延迟、高能效的硬核实力,成为KV Cache卸载存储层的理想选择。未来,忆联将继续携手英特尔等生态伙伴,持续优化存算协同方案,为AI大模型的高效落地提供更灵活、更经济的存储底座。
了解更多方案详情,点击阅读原文,查看英特尔白皮书全文。
类型:广告最新资讯
热门视频
新品评测
X
微博认证登录
QQ账号登录
微信账号登录