忆联携手英特尔发布极简存储节点 KV Cache G3.5 方案最佳实践

日期:2026-11-19 浏览:33 分享:

微信扫一扫:分享

使用微信扫一扫

http://unionmemory.com/news_detail.php?menuid=107&id=210

忆联携手英特尔发布极简存储节点 KV Cache G3.5 方案最佳实践随着大模型推理、Agent应用及长上下文交互的爆发式增长,GPU显存容量正面临前所未有的挑战。如何将KV Cache高效、低成本地从GPU显存卸载到远端存储,已成为提升AI推理并发能力、降低TCO的关键。

近日,忆联联合英特尔正式发布《基于英特尔® 至强® 6200P-B 系列处理器和忆联 UH812a 企业级 SSD 的极简存储节点 KV Cache G3.5 方案最佳实践》。该方案基于英特尔®至强® 6200P-B系列处理器(代号Gem Mountain)与忆联企业级PCIe 5.0 SSD UH812a,以极简硬件架构实现媲美本地文件系统的超低延迟KV Cache访问,为AI推理存储提供灵活、低成本的新选择。


直击痛点:打破GPU显存瓶颈,释放算力潜能

在大模型推理场景中,KV Cache的规模随上下文长度和并发数线性增长。传统GPU本地显存扩展方式成本高昂且容量受限。业界主流解决方案是将KV Cache剥离至独立存储节点。但远端存储访问带来的网络延迟与带宽瓶颈,往往成为制约推理性能的新挑战。

针对这一痛点,忆联与英特尔联合打造基于GMM SoC + UH812a + 400GbE RDMA的极简存储节点方案。该方案通过架构解耦,将KV Cache从GPU节点剥离,有效提升GPU资源利用率,并实现容量灵活扩展。



焕新升级:不同架构形态下的KV Cache实践

相较于此前发布的分层架构KV Cache方案(点击阅读原文),本次极简存储方案在架构形态与目标场景上做出了不同的技术选择。

架构形态:从“庞大复杂”到“极致精简”

• 分层架构方案:采用2U双路标准服务器(双路至强®6处理器、最高1TB DDR5及最多24块SSD),结合QAT在线无损压缩,构建HBM-DDR-JBOF三级分层体系,面向需要海量算力协同的集中式推理场景。

• 极简存储方案:采用Gem Mountain紧凑型SoC(45mm×45mm封装,单路最高16核,TDP约120W),搭配4块UH812a SSD与400GbE RDMA网卡,构成高集成度独立存储节点,专为空间、功耗受限的边缘场景或追求快速横向扩展的AIDC场景设计。

方案价值:从“重型分布式”到“高性价比”

• 分层架构方案:侧重于通过强大算力协同与QAT压缩技术(容量提升超20%),在集中式重型架构下解决Agentic AI长上下文与高并发带来的显存压力,适合对算力扩展有强诉求的核心枢纽。

• 极简存储方案:GMM SoC原生提供32条PCIe 5.0通道,精简架构不仅减少中间层级的数据搬运损耗,更将单节点4盘容量提升至30TB以上。通过多实例SPDK优化与NVMe-oF,在极低功耗下实现极高性能,大幅降低单TB容量成本和平台TCO。


以极简架构驱动客户价值跃升

本次方案通过软硬协同优化,为客户在特定场景下带来显著收益:

超低延迟体验:通过SPDK与NVMe-oF优化,端到端单IO随机读时延仅约60μs(较本地仅多约8μs),随机写时延约10μs,远端KV Cache具备接近本地文件系统的延迟表现。

高吞吐与高能效:忆联UH812a搭载自研7nm主控,顺序读写最高达14,900/10,500 MB/s,4K随机读达3,500K IOPS;顺序读峰值功耗控制在18W以内。配合GMM SoC,单节点4盘即可实现30TB以上容量与11,000,000 IOPS(受限于400GbE上限)。



业务效能跃升:在vLLM + LMCache实测中(80%缓存命中率),TTFT(首Token时延)较重算减少57%,系统总吞吐量提升93%。当缓存100%命中时,时延降至0.19ms,吞吐量高达2.52 token/s,大幅减少GPU重复计算,提升单卡服务效率。



极简部署与低TCO:紧凑的硬件形态极大降低平台空间占用与部署门槛;结合UH812a低于5W的待机功耗,契合绿色AIDC对能效的严苛要求。


在AI基础设施从“算力中心”向“存算协同”演进的当下,忆联UH812a企业级SSD凭借高带宽、低延迟、高能效的硬核实力,成为KV Cache卸载存储层的理想选择。未来,忆联将继续携手英特尔等生态伙伴,持续优化存算协同方案,为AI大模型的高效落地提供更灵活、更经济的存储底座。


您可能对其它新闻感兴趣

  • 上一篇

    无

  • 下一篇

    忆联UH812a赋能XSKY MeshFS,斩获MLPerf Storage v3.0九项第一

     
  • 产品中心
    企业级固态硬盘
    数据中心级固态硬盘
    消费级固态硬盘
    嵌入式存储
    标杆案例
    技术方案
    客户案例
    核心能力
    存储控制器开发
    固件设计
    封装测试
    解决方案
    天工智能生产制造平台
    忆联企业级存储创新中心
    关于忆联
    企业简介
    企业文化
    荣誉资质
    大事记
    联系我们
    加入我们
    新闻资讯
    公司新闻
    产品资讯
    服务支持
    下载中心
    咨询与投诉
    投资者关系
    公司治理
    管理团队
    财务报告
    最新公告
    加入我们
    社会招聘
    校园招聘

    深圳忆联信息系统有限公司

    地址:深圳市南山区记忆科技后海中心B座19楼

    电话:0755-2681 3300

    邮箱:support@unionmem.com

  • 微信:
  • 官方微博

  • Copyright © 2020-2026 All Rights Reserved. 粤ICP备18155700号 技术支持:深圳忆联信息系统有限公司 法律声明 隐私政策