华为与英伟达布局 AI 推理专用存储，KV Cache 独立 SSD 标准尚待确立

华为与英伟达布局 AI 推理专用存储，KV Cache 独立 SSD 标准尚待确立

发布时间：2026-10-08 11:55 | 来源：雷峰网 | 来源等级：B 级（专业科技媒体） www.sosit.com.cn

核心事件：AI 推理架构正经历“存算分离”的关键转折

随着大模型推理需求的爆发，推理系统中的 KV Cache（键值缓存）数据量急剧增长，已成为制约系统性能与成本的关键瓶颈。近期，华为与英伟达分别推出了面向 AI 推理的专用存储产品——华为 OceanStor M900 与英伟达 CMX Context Memory Storage。这一动向标志着 AI 推理架构正从传统的“存算一体”向“存算分离”的关键阶段演进，即通过将历史 KV Cache 分层并存储至独立的外部存储介质，以缓解服务器内部内存（DRAM）的压力并降低重复计算的算力开销。 www.sosit.com.cn

技术原理：以存换算，缓解 DRAM 与显存压力

行业共识认为，将 KV Cache 外置的核心逻辑在于“以存换算”。在 AI 推理过程中，当用户发起新请求时，系统需检索历史对话产生的 KV Cache。若命中缓存，可直接复用，避免重新计算；若未命中，则需重新计算。随着缓存命中率从 90% 提升至 95%，重新计算的算力开销将减少一半。然而，高命中率意味着需要保存更多的历史数据，对存储容量提出了更高要求。

技王数据恢复

在此背景下，独立存储方案的主要目标是优化内存资源分配。由于 DRAM 价格昂贵且供应紧张，企业倾向于用成本较低的 SSD 替代部分 DRAM 容量来存放历史 KV Cache。专家分析指出，这种替换并非简单的 1:1 容量置换，而是涉及复杂的成本与性能权衡。例如，在某些方案中，1TB 的 DRAM 容量可能需要 5TB 甚至 10TB 的 SSD 空间来等效替代，因为 SSD 的读写性能远低于 DRAM。因此，外置 KV Cache 主要缓解的是 DRAM 的负载压力，而对 HBM（高带宽内存）和显存的直接影响相对有限，后者更多影响首 Token 延迟。

www.sosit.com.cn

行业挑战：专用 SSD 规格尚未统一，标准化进程缓慢

尽管华为与英伟达已推出相关产品，但真正能够承接 KV Cache 负载的专用 SSD 市场目前仍处于起步阶段，尚未形成成熟、统一的产品标准。目前市场上主流的企业级 SSD 供应商（如三星、闪迪、美光）仍主要提供通用型企业级 SSD，针对 AI 推理场景的优化型 SSD 尚未大规模普及。

技王数据恢复

造成这一局面的主要原因在于 KV Cache 对 SSD 的负载特性复杂且多变。不同业务场景下，数据生命周期差异巨大：消费端应用可能仅需几分钟或几小时，而企业端应用则可能需要数天甚至数周。数据生命周期的长短直接决定了 SSD 的写入频率和耐久性要求（DWPD，即每日全盘写入次数）。例如，若缓存仅保留几分钟，数据频繁更新，SSD 需具备极高的耐写能力（如 3 DWPD 或更高）；若数据长期保留，写入频率降低，则容量需求成为主要矛盾。由于业务形态和数据生命周期尚未稳定，SSD 所需的容量、耐久度及性能指标难以提前确定，导致存储厂商难以推出标准化的产品规格。

www.sosit.com.cn

业内专家预测，行业形成较统一的产品共识可能还需要 6 至 12 个月。即便标准确立，后续的产品开发、验证和优化过程可能还需约 1 年时间。目前，北美市场已有客户因 AI 推理需求增加 SSD 采购，而中国市场的相关需求虽已开始显现，但速度相对较慢，目前 SSD 需求的大头仍集中在模型训练和常规推理环节。 技王数据恢复

成本与性能权衡：存储账单并非简单的线性替代

将历史 KV Cache 迁移至外部存储，并非简单地用存储成本替代算力成本。最终方案的选择取决于多种因素的平衡，包括 KV Cache 的保存时长、复用次数、存储介质类型以及数据调取时的搬运成本。虽然外置存储能显著降低 DRAM 配置成本，但数据在外部存储与计算单元之间频繁搬运也会带来额外的延迟和带宽压力。此外，存算一体（CIM）架构的兴起试图从根源上减少数据搬运，但在 Decode 阶段，由于不同请求的 KV Cache 差异较大，其收益并不明显。因此，在现阶段，历史对话产生的大量 KV Cache 仍需依赖大容量存储介质（如 SSD）进行保存，以便在后续请求中快速调取。 www.sosit.com.cn

中国用户视角：关注点在于合规与未来适配

对于中国大陆的企业用户而言，当前 AI 推理存储架构的演变主要带来两方面的关注点：一是数据合规与跨境传输风险，二是基础设施的长期规划。

首先，随着 KV Cache 的独立化存储，涉及用户对话历史的数据将更明确地存储在独立的存储介质中。企业需密切关注相关数据跨境传输的法律法规，确保用户数据在存储、处理及回传过程中符合《数据安全法》及《个人信息保护法》的要求。若采用海外云厂商的推理服务，需特别评估数据驻留地及传输链路的安全性。

其次，从基础设施规划角度看，虽然目前国内市场对专用 AI 推理 SSD 的需求尚在方案阶段，但企业应提前关注存储架构的演进趋势。在构建 AI 推理集群时，可考虑预留部分预算用于测试和部署支持高并发、高耐久度要求的存储方案，以应对未来可能爆发的推理需求。同时，建议企业在采购通用型 SSD 时，咨询供应商关于其产品在 AI 负载下的性能表现及耐久性测试结果，避免因规格不匹配导致性能瓶颈。

值得注意的是，目前公开资料尚未明确说明针对中国大陆市场的专用 AI 推理存储产品发布计划或本地化服务支持细节。国内用户若需部署此类方案，建议优先选择具备本地化服务支持、符合信创要求且拥有成熟 AI 存储解决方案的国内存储厂商或云服务商。

后续观察：等待标准落地与生态成熟

尽管华为与英伟达的动向为 AI 推理存储指明了方向，但整个生态系统的成熟仍需时间。未来，随着更多云厂商和芯片厂商加入竞争，以及实际业务负载数据的积累，针对 KV Cache 优化的 SSD 规格有望逐渐收敛并标准化。届时，企业用户将拥有更多选择，并在成本与性能之间找到更优的平衡点。此外，随着存算一体等新技术的进一步成熟，AI 推理的存储架构可能迎来更深层次的变革。

信息来源

本文基于雷峰网 2026 年 10 月 8 日发布的报道整理而成。文中涉及的技术细节与行业观点主要引用自该媒体对存储领域专家（化名：章衡、李辉、顾淮）的采访内容。关于 AI 推理存储的具体产品参数及市场动态，请以华为、英伟达官方公告及后续权威行业报告为准。

技术审核：邓严军｜技王数据恢复实验室技术总监