AI SSD 迎来爆发前夜：HBM 容量与 I/O 双墙之下，闪存进入 Token 生成实时路径，产业加速分层竞争

当 HBM/DRAM 无法独自承接大模型推理负载时，SSD 正从静态模型存储设备升级为参与 KV Cache 与 MoE 专家实时调度的正式存储层级，AI SSD 成为 Token 经济学中的关键变量。

背景：HBM 容量墙与 I/O 墙倒逼存储层级重构

大语言模型推理同时撞上容量墙与 I/O 墙：模型参数扩大、长上下文与 KV Cache 膨胀，MoE 模型需保存远超显存/内存的专家权重；云侧 HBM 被长期占用导致 GPU 有效利用率受制于数据搬运，端侧 DRAM 则直接限制本地可运行模型规模。

HBM 市场供需缺口背景

2025 年 HBM 全年产能已售罄，2026 年大部分订单亦被锁定；SK 海力士、三星、美光 2025 年 HBM 产能均已售罄

据行业分析机构 TrendForce 集邦咨询 2025 年 5 月数据，HBM 供应紧张推动价格上涨约 5-10%，AI 芯片对 HBM 的争夺加剧了存储层级重构的紧迫性。

KV Cache 显存占用

长上下文（如 128K tokens）场景下 KV Cache 可占用数 GB 至数十 GB 显存，多轮对话与智能体任务使缓存持续膨胀

以 70B 参数模型、批量大小 1 为例，32K 上下文时 KV Cache 约占用 20GB+ 显存（FP16）；这直接推动 Mooncake、英伟达 CMX 等 KV Cache 分离与下沉架构出现。

当显存和内存越来越难以独自承接推理负载，SSD 开始从模型文件的静态存放设备进入大模型推理的实时数据路径，成为 HBM、VRAM 和 DRAM 之后的一层正式存储层级。

— AI Frontline 报道

原文判断

产业信号：从 Mooncake 到英伟达 CMX，SSD 进入推理实时路径

推理基础设施率先在集群架构中体现 SSD 的正式角色：月之暗面 Mooncake 采用以 KV Cache 为中心的分离式推理架构，英伟达 2026 年推出 CMX 上下文内存存储平台，在 Vera Rubin 基础设施中增加面向 KV Cache 优化的闪存层级。

Mooncake 架构

将 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 组织为分布式缓存资源；Mooncake Store 支持 DRAM 与 SSD/NVMe 多级缓存

冷数据可在容量更大、成本更低的闪存层长期保留，降低 HBM/DRAM 依赖。

英伟达 CMX

面向 KV Cache 优化、通过以太网连接的闪存层级，由 BlueField-4 负责 NVMe SSD 管理、数据保护和网络传输

英伟达将其定义为介于 GPU 内存与共享存储之间的 pod 级上下文层，标志 SSD 成为推理系统直接调度的资源。

传统 SSD 设计目标

面向文件和块数据存储，核心指标为顺序带宽、随机 IOPS、数据可靠性与单位容量成本

LLM 推理对 SSD 的需求

严格时序约束的数据供应：KV Cache 在 prefill 阶段集中写入、后续按会话/模型层/Token 位置反复读取；MoE 推理需按路由结果及时取得专家权重

传统 SSD 在高队列深度下取得的峰值 IOPS，并不等同于低队列深度、细粒度访问时的稳定延迟；NAND 的页读块擦、FTL 垃圾回收与磨损均衡产生写放大与尾延迟，传统 LBA 排布无法感知模型层、MoE 专家、KV 块的语义关系，端到端延迟难以满足 Token 级生成时序。

AI SSD 两大技术路线分化

市场上尚无统一的 AI SSD 定义，主流方案分两类：AI 负载强化型企业级 SSD（强化 I/O 能力）与存储侧推理参与型 AI SSD（直接参与推理调度）。

英韧科技洞庭 N3X

采用 XL-Flash、SLC NAND 等低时延高耐久介质；对比 TLC SSD，时延降至约 1/3，写入吞吐提升约 3 倍，DWPD 提升约 17-33 倍

面向 KV Cache 卸载和高并发临时数据读写；规划 PCIe 6.0 与 NVMe/CXL 双协议，目标承接更多原本驻留在高成本内存中的热数据。

华为 OceanDisk 系列

EX 560 强调极高随机写入性能与微秒级写入时延；SP 560 面向 KV Cache 与长上下文；LC 560 单盘容量最高 245TB

覆盖模型微调、检查点保存、AI 一体机与集群推理等差异化场景；通过 DiskBooster 驱动软件推动 SSD 与 HBM/DDR 分层协同。

群联 aiDAPTIV

aiDAPTIVCache 缓存 SSD + 内存管理中间件；将超过 VRAM 容量的模型权重切块流式传输，当前计算权重驻留 VRAM，不活跃权重下沉 SSD；保存 KV Cache 供上下文复用；耐久性最高 100 DWPD

江波龙 SPU + iSA

WM8500 SPU 采用 5nm 工艺，集成存储控制、压缩、缓存与数据调度；iSA 感知推理负载制定分层与预取策略；支持存内无损压缩、HLC 高级缓存和混合 NAND 调度

寅谱-联芸 技术联盟

将寅谱推理芯片技术栈（多级缓存、数据调度、并行搬运、预测式预取）与联芸 NAND/主控/固件能力结合；围绕 MoE 专家、KV Cache、数值精度三维度做数据切分、冷热分层与预测式预取

三条路线覆盖技术层级不同：英韧/华为主要强化介质与 I/O 能力；群联/江波龙进一步参与模型权重、KV Cache 与 MoE 专家运行时调度；寅谱-联芸方案则尝试贯通计算侧缓存体系、middleware、firmware、controller 与 NAND 介质管理，软硬件协同深度最大。

竞争格局：从单盘性能到系统协同的生态壁垒

先发企业正从单一 SSD 产品竞争转向主控、固件、运行时、模型生态、模组生产与整机验证的完整协作体系竞争，形成初步生态壁垒与产业壁垒。

商业化进展

寅谱-联芸方案已在消费级 AI PC、Mini 工作站、高性能本地推理设备、边缘平台和企业级推理节点多类产品中同步推进；群联通过服务器、工作站和边缘 AI 合作伙伴扩大 aiDAPTIV 落地；江波龙围绕 AMD 锐龙 AI Max+ 395 完成端侧 AI 存储适配

各路线均从概念展示进入产品验证与商业化尝试阶段。

AI 算力成本指标变迁

产业评价指标从峰值算力（TFLOPS）转向每 Token 成本、单位功耗吞吐与有效算力利用率

据 AI 基础设施行业测算，KV Cache 占推理成本比例随上下文长度上升显著；SSD 作为低成本容量层可有效降低每 Token 边际成本。

AI 推理正在推动 SSD 主控从传统数据通道走向面向 Token 成本的智能调度。

— 联芸科技

CFMS 2026 公开表态

展望：AI SSD 不会取代 HBM，但将成为 Token 经济学的关键变量

AI SSD 不会取代 HBM、VRAM 或 DRAM，而是通过容量、性能和成本的重新分层，成为更多云侧、边缘侧和端侧设备中的 Token 生成基础设施。

SSD 容量成本优势

企业级 NVMe SSD 单位容量成本约为 DRAM 的 1/10 至 1/20，约为 HBM 的 1/100 级别

在 KV Cache 和 MoE 权重规模持续扩张背景下，SSD 作为容量扩展层的成本优势是推动其进入实时路径的核心经济动力。

从产业竞争角度看，后来者门槛已不再只是开发高带宽、高 IOPS 的 SSD，而是能否建立从 NAND 控制、推理调度到整机适配的完整协作体系；AI SSD 的价值将被重新衡量，从长期被低估的外围组件转变为 Token 经济学中的关键变量。