Supermicro联合IBM与NVIDIA发布KV Cache存储平台，宣称长上下文推理TTFT提速56倍
2026-11-09 14:03:01 来源：技王数据恢复
Supermicro、IBM与NVIDIA联合发布了一套基于KV Cache（键值缓存）的AI推理存储解决方案，旨在通过将长上下文推理中的键值状态从GPU移至共享全闪存存储层，解决AI推理中的显存瓶颈。该方案在130,000 token的提示词测试中，宣称首字延迟（TTFT）相比纯GPU重计算方案提升了56倍。 www.sosit.com.cn
核心架构与技术实现
该解决方案采用“存算分离”架构，主要包含以下组件：
www.sosit.com.cn
- 硬件基础：由Supermicro提供Petascale存储服务器，搭载AMD EPYC 9005系列处理器及全闪存NVMe硬盘，提供PCIe Gen5通道。
- 软件栈：IBM提供Storage Scale Erasure Code Edition作为共享文件层，NVIDIA提供Dynamo引擎管理缓存层级，并通过NIXL协议进行数据传输。
- 网络连接：采用NVIDIA Spectrum-X以太网交换机（Spine-Leaf布局），提供高带宽上行链路。
测试配置与性能数据
根据StorageReview的报道，该方案在特定测试环境下取得了以下性能指标： www.sosit.com.cn
测试环境限制
- 存储节点：8台Supermicro ASG-1115S-NE316R节点，总原始容量约983TB。
- 客户端：单台Supermicro MGX系统，搭载1颗NVIDIA RTX PRO 6000 Blackwell GPU。
- 模型：运行openai/gpt-oss-120b模型（MXFP4精度），使用vLLM 0.14.1和Dynamo 0.9.0。
- 关键约束：测试中GPU显存剩余19.6GiB用于KV Cache，主机内存和本地缓存层设为零，所有缓存块均从Storage Scale读取。此测试仅基于单GPU环境，未验证多GPU集群并发场景。
性能表现
- 首字延迟（TTFT）：在130,000 token提示词下，无缓存方案耗时32.14秒，启用KV Cache方案耗时0.193至0.57秒，官方宣称提升56倍（引用值为0.377秒）。
- 吞吐量：在28个并发连接、200个请求的测试中，无缓存方案吞吐量为0.19请求/秒，启用KV Cache方案为4.26请求/秒，提升22倍（含冷启动填充成本）。
- 抗干扰能力：在增加4个客户端产生200GB/s无关网络流量的干扰下，缓存方案吞吐量仍为无缓存方案的18倍。
部署规模与当前局限
IBM提供了不同规模的容量规划建议： www.sosit.com.cn
- 4节点配置：适用于7B-34B模型，最多支持64个GPU。
- 8节点配置：适用于70B-120B模型，最多支持100-256个GPU。
- 16节点及以上：适用于更大模型及300+ GPU集群。
尽管方案宣称可将部署时间从数周缩短至数天，但需注意以下未决事项：
技王数据恢复
- 价格与上市时间：Supermicro尚未公布该打包解决方案的具体价格和上市日期。
- 多GPU性能未知：由于测试仅使用单颗GPU，存储层在数百个GPU同时拉取缓存时的表现及TTFT稳定性尚待验证。
- 审计情况：StorageReview声明未参与或审计此次性能测试结果。
如需了解该解决方案的具体商业条款或进一步的技术细节，建议直接联系Supermicro、IBM或NVIDIA官方渠道获取最新信息。 技王数据恢复
技术审核：邓严军｜技王数据恢复实验室技术总监
www.sosit.com.cn