SK海力士联合闪迪发布HBF 0.7.0规范：把512GiB NAND搬到xPU旁，目标3TB/s读取带宽，能打破AI推理内存墙吗？
HBF通过将大容量NAND闪存以Base Die+TSV共封装方式紧邻xPU部署，在HBM与SSD之间插入新的内存层级，以高并行读取带宽承接模型权重和KV Cache等推理数据，但NAND介质的写入、耐久和管理约束并未消失，而是被转移至Base Die与主机软件栈，性能兑现取决于软硬件协同深度。
LLM权重规模
数GiB至数百GiB
单模型权重在推理期间基本保持不变，但总体量可能超出单芯片本地缓存容纳能力
“训练不断改变模型权重，而推理通常使它们保持不变。”
— Jim Handy 内存分析师
HBF的定位：不是更快的SSD，也不是基于闪存的HBM
OCP规范将HBF正式定义为非一致性的、以内存为中心的闪存设备，紧邻GPU/TPU/xPU部署，通过在处理器附近附加TB级额外内存容量增强HBM，它是在高带宽内存与传统存储之间增加的另一个内存层级。
“HBF旨在弥合高带宽访问与高存储容量之间的鸿沟。”
— Sharad Chole Expedera首席科学家兼联合创始人
介质
DRAM
主要角色
低延迟、高读写带宽的工作内存
物理位置
xPU封装内/紧邻
介质
NAND
主要角色
大容量、高聚合读取带宽的补充层级
物理位置
xPU封装内
介质
NAND
主要角色
长期非易失性存储
物理位置
机架内或更远
Base Die是控制中枢：不只是把闪存die放在处理器旁边
HBF设备由Base Die + NAND Core Die堆叠 + TSV通道构成，Base Die管理UCIe协议、主机接口与NAND之间的数据移动、ECC编解码、错误报告、传输调度、读写擦除状态、NAND初始化和TSV冗余映射——它为NAND堆叠提供了作为片上封装内存设备所需的控制和可靠性机制。
主机互连接口
UCIe 3.0 + AXI协议
UCIe负责物理层和链路层，AXI承载读写操作；需要专用片上封装接口，不能像PCIe SSD那样即插即用
最大主机通道数
16条独立通道
每条通道独立UCIe链路、独立本地地址空间，通道间数据不可互相访问
3TB/s带宽从何而来：多层并行的聚合结果
最高约3TB/s的带宽目标并非单颗NAND获得接近HBM的性能，而是16条主机通道、多Die、多Bank和多阵列并行汇聚而成——每通道64位接口、数据lane速率最高32GT/s，数据需分布在足够多的通道/Die/Bank中且主机维持足够请求并发，由Base Die完成调度。
参考配置
16颗NAND Die、每通道16 Bank、4KiB页、总容量512GiB（约550GB）
规范允许更高容量堆叠
性能等级
三个规范等级
最高配置下聚合读取带宽约3TB/s，为规范目标而非实测结果
推理应用场景：从静态权重到KV Cache的扩展
OCP规范赋予HBF的应用范围超越静态模型权重，涵盖单一/多LLM服务、MoE、多模态、Agent工作负载、AI参数加载和KV Cache读写——最重要的是KV Cache：与推理期间基本不变的权重不同，KV Cache在推理中持续增长并不断读写，使HBF成为运行时生成数据的存储目标。
模型权重与KV Cache混合在同一区域可能降低耐久性和容量利用率，规范建议以通道粒度分区：均匀分区简化磨损管理，非均匀分区按需为权重和KV Cache分配容量。
多模型布局策略
两种
①所有通道交错，活动模型用完整聚合带宽；②不同模型分配到专用通道组，避免争用
NAND介质带来的工程约束：复杂性转移而非消除
HBF的职责划分不同于HBM和传统SSD：Base Die保留NAND命令、ECC、调度和错误检测，但地址映射、部分磨损管理、数据刷新和异常恢复需要主机参与——主机必须理解通道、数据布局和部分介质状态，这是HBF最核心的取舍。
页大小
4KiB
支持4KiB对齐突发写入，小于4KiB的写入先经Base Die缓存凑满整页
写入规则
块内顺序写入
不支持对已编程页面的直接随机覆盖，重写需整块擦除后按页序重写
挑战与展望：HBF的边界与代价
HBF不直接取代HBM，也不只是为HBM增加容量。它是在高带宽内存与传统存储之间增加的层级，使更大比例模型数据在物理上更靠近计算单元——但HBF与HBM在延迟、写入能力、访问粒度、耐久性和内存语义上仍有明显差异，3TB/s是聚合并行目标而非全面对标DRAM。
HBF实现的收益取决于主机软件对工作负载结构的理解深度：如何映射全局地址到通道、如何组合小写入、如何布局KV Cache页面、如何避免NAND块低效使用——这不是即插即用的替代方案，而是要求硬件、固件、运行时软件与工作负载数据布局的更紧密协同。