▣ AI 基础设施 · 价格变化

大模型缓存价格最高涨 11 倍,长上下文开始支付“存储税”

8 月 17 日,DeepSeek V4 Pro API 调整输入缓存命中价格:高峰时段从 0.025 元 / 百万 Token 涨至 0.3 元 / 百万 Token。这不是一次普通涨价,而是长上下文应用开始为状态保存、数据搬运与资源调度付费。

事件时间:8 月 17 日 全文约 4 分钟读完
#DeepSeek V4 Pro #KV Cache #长上下文 #推理成本
11 倍 高峰时段缓存命中价格涨幅
0.3 新价格 / 百万 Token
95%+ KV 记忆压缩幅度

⚡ 30 秒速览

  • 发生了什么:DeepSeek V4 Pro 的缓存命中价格在空闲时段上涨 5 倍,高峰时段上涨 11 倍。
  • 为什么涨:大量代码库、Agent 日志和行业文档涌入上下文,造成显存缓存频繁被驱逐、搬运和重新加载。
  • 缓存是什么:模型已经计算过的长文本状态会以 KV Cache 形式保存,后续请求可以直接复用。
  • 关键变化:推理成本不再只有算力成本,存储、带宽、I/O 和调度开始成为账单的一部分。
  • 开发者要做什么:让稳定、高频复用的内容位于 Prompt 前缀,避免时间、随机参数和格式变化破坏缓存命中。

01先看账单:最便宜的缓存也不再“免费”

这次调整最容易被忽略的地方,是涨价集中发生在“缓存命中”这一项。它原本几乎可以忽略不计,却被大量长上下文产品当作基础设施使用。

价格变化,首先发生在缓存层。

空闲时段

5 倍

缓存命中价格涨幅

高峰时段

11 倍

0.025 元 → 0.3 元 / 百万 Token

注:这里比较的是缓存命中输入价格,不是完整输入或输出价格;具体费用还取决于调用时段与 Token 用量。

对于代码助手、知识库 Agent、长文档分析等产品,这意味着原先依靠低价缓存建立的成本模型需要重新核算。涨价幅度看似仍小,但当每次请求都携带数十万乃至百万 Token 时,微小单价会被高频调用放大。

02为什么需要缓存?一笔 50 万 Token 的账

假设一个代码库智能 Agent 的核心上下文有 50 万 Token,开发者每天提问 50 轮。如果没有缓存,每一轮都要重新计算整份代码库,重复输入会迅速吞噬产品利润。

没有缓存命中

50 万 Token × 50 轮 = 2500 万 Token 重复输入。

仅输入成本就可能超过 75 元 / 天

90% 缓存命中

首轮支付完整预计算成本,后续上下文大部分直接复用。

输入成本可下降 90% 以上

注:以上为原报道中的示例测算,用于展示缓存对成本的影响;实际价格会随模型、时段和请求结构变化。

无缓存:500,000 × 50 = 25,000,000 Token

长上下文场景的核心价值,不是让模型“记得更多”,而是让已经计算过的内容无需反复计算。

缓存命中可以省掉大量重复 FLOPs,但它并没有让数据消失。模型仍然需要保存状态、寻找状态,并把状态从存储介质搬回计算设备。

03缓存背后:一份“压缩记忆”如何流转

大模型处理长文本时,会生成对应的 KV Cache。上下文越长,这份记忆矩阵越大。DeepSeek V4 通过 CSA 与 HCA 两种注意力架构交错配置,将相邻 Token 压缩成更大的记忆块。

读取长文本生成 KV 状态压缩记忆块分层保存

注:流程从左向右阅读;压缩发生在状态生成之后,缓存命中则跳过大部分重复计算。

热记忆

高频访问的缓存留在 GPU 显存中,响应快,但容量和成本都更敏感。

温数据

由 CPU 内存承接部分状态,在容量与访问速度之间折中。

冷记忆

长期低频访问的压缩状态转移到 NVMe 固态硬盘,容量大、成本低,但搬运更慢。

报道给出的估算是:100 万 Token 的 KV 记忆状态可被压缩至约 10GB。以一块 15.36TB、均价约 6000 元的企业级 NVMe 硬盘计算,单份百万 Token 缓存的硬件分摊成本只有几分钱。

04真正的麻烦:缓存颠簸会把 GPU 变成搬运工

当高峰期同时涌入大量百万 Token 请求,GPU 显存会很快被占满。调度系统只能把暂时不活跃的缓存块从显存“踢”到 NVMe;新请求到来后,再把需要的状态搬回来。

高并发场景:公共前缀缓存被反复驱逐

  • 两个长上下文请求前后进入,彼此争夺有限的显存窗口。
  • 第一个请求刚形成的公共前缀缓存,可能在第二条消息到来前被转移到磁盘。
  • 用户间隔一分钟继续提问时,原本应该复用的缓存已经失效,只能重新计算。
结果判断:缓存没有加速,反而触发显存、磁盘与总线之间的高频数据搬运。
缓存系统的有效收益高命中 ≠ 永久有效

注:示意条只表达“命中收益会被搬运开销侵蚀”,不代表官方性能比例。

严重时,昂贵的 GPU 集群不再主要进行推理计算,而是在显存和磁盘之间反复搬数据。算力在 I/O 堵塞中空转,集群的有效处理能力随之下降。

这就是所谓的“存储税”。

05技术压缩到极致,也挡不住需求增长

DeepSeek V4 的 CSA+HCA 混合架构,能将 100 万 Token 的 KV 缓存体积相较 V3 压缩约 90%;与传统 GQA 架构相比,体积约为其 2%。但压缩只能降低单份状态的重量,无法消除状态数量、访问频率与并发峰值。

🧠

算力成本

负责首次理解和计算上下文。

存储成本

负责保存大量 KV 状态。

I/O 与调度

负责定位、搬运和重新加载状态。

注:三项成本并非简单相加;在高并发长上下文场景中,I/O 与调度可能反过来限制算力利用率。

这也是其他厂商采用不同策略的原因:Anthropic 通过显式缓存断点和首次写入溢价,引导开发者只缓存高频前缀;OpenAI 则依靠更高的基础输入价格,配置更充裕的显存空间。低价策略吸引了更多长上下文需求,也让 DeepSeek 更早暴露出缓存基础设施的压力。

06开发者现在最该做的:先把命中率守住

缓存命中的核心规则并不复杂:前缀必须完全匹配。但在实际 Agent 中,动态字段和工具结果很容易改变文本结构,让原本积累的长前缀缓存整体失效。

三类常见失效方式

  • 动态内容放在开头:当前时间、用户 ID、随机参数一旦变化,后续几十万 Token 都可能无法复用。
  • 格式细节发生变化:多一个空格、换一个换行符,都会被字节级匹配视为不同文本。
  • 工具结果插入中间:Agent 把返回内容塞进历史上下文,会打断后续缓存边界。
操作建议:稳定的系统指令、公共知识和高频代码前缀放前面;低频数据和动态结果按需追加。

过去,开发者只要写好 Prompt、发出请求即可。现在,推理系统越来越像一套分布式存储系统,开发者需要同时管理缓存生命周期、冷热数据和上下文边界。

固定前缀

把全局共享、长期稳定的内容放在最前。

延后动态字段

时间、身份和随机值不要污染公共前缀。

控制上下文体积

冷数据按需加载,不要一次性塞入全量文档。

注:这些做法不能保证缓存永不失效,但能减少无意的前缀变化和无效搬运。

07怎么判断这次涨价?

对已经在 DeepSeek KV Cache 层形成稳定缓存池的公司来说,立刻更换模型未必划算。即便涨价,DeepSeek 的整体调用成本仍被报道为显著低于 Claude 等产品。

简单换供应商

可能失去既有缓存池,还要重新适配上下文结构、工具链与调用策略。

先优化缓存架构

提高命中率、减少冷数据、降低无效搬运,把新增成本部分省回来。

注:本文没有给出跨厂商的统一价格表;“更便宜”需结合模型能力、命中率、调用时段和迁移成本综合计算。

一个诚实的注脚:缓存命中率越高,并不意味着成本可以无限下降。当前端把所有内容都变成长时间驻留的状态,后端就必须为这些状态承担存储、带宽和调度压力。

编辑核心判断

大模型 API 正从“按 Token 买算力”转向“为可复用状态付费”;长上下文产品的竞争力,最终取决于谁能把缓存命中率、数据布局与并发调度做成一套成本工程。

给开发者的下一步

继续使用 DeepSeek V4 Pro API 的团队,应优先检查 Prompt 前缀稳定性、缓存命中率与高峰期缓存驱逐情况。

价格与缓存规则以官方 API 控制台及产品公告为准。