OpenAI 自研推理芯片 Jalapeño 首次公开推理数据：在三个千亿级大模型上，每瓦推理吞吐提升 1.5~1.9 倍，端到端延迟降低 1.7~3.6 倍。同一时间，NVIDIA 与 Google 各自亮出不同的硬件拆解路线。
大模型上线以后，芯片面对的不再是单次训练任务。ChatGPT 要一直回消息，Reasoning 模型要持续生成长链路内容，Agent 还会一轮接一轮调用模型——算力再高，Token 吐得慢、延迟压不下来，数据中心照样难受。
注：三组数据分别来自 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 模型；交互速度要求较高的区间，性能提升约 2.1~4.1 倍。柱形数据仅供参考，以左侧数值为准。
这些数字为什么围绕 Token 展开？需要先看一次大模型推理内部发生了什么。
输入 Prompt 时，模型进入 Prefill。假设一次输入 8K Token，这些 Token 可以大规模并行计算，模型权重从 HBM 取出后会被很多 Token 重复使用，矩阵计算单元很容易忙起来。
开始生成答案后，模型进入 Decode——一个 Token 接一个 Token 往外生成，新 Token 依赖前面的状态。并行度下降，权重依然要读，Attention 还要不断访问 KV Cache。
大矩阵、高并行、权重复用率高——更容易受峰值算力限制。
逐 Token 生成、权重频繁读取 + KV Cache 访问——更容易卡在内存带宽和数据移动上。
注：两段推理使用相同的 Transformer，但芯片看到的负载完全不同；Jalapeño 的架构说明中明确区分了这两类瓶颈。
用 Roofline 模型可以看得更清楚——芯片能发挥多少性能，约等于两个上限中较小的那个：
性能 ≈ min( 峰值算力 , 内存带宽 × 算术强度 )
算术强度：搬运 1 Byte 数据后，能拿它做多少次计算
低 Batch Decode 场景下，假设 Dense 模型有 P 个参数、每参数占 b 字节，生成一个 Token 涉及约 2P FLOPs 的运算，读取一遍权重需约 P×b 字节——算术强度粗略只有 2/b FLOPs/Byte。
参数量 P 在这个比例里直接被约掉了。
换句话说，模型从几百亿参数涨到几千亿，Decode 面对的是同一类问题：计算阵列可以很强，但 HBM 若没及时把权重送过来，新增计算单元只能等数据。
Jalapeño 并不是孤例。NVIDIA 正在把 Groq 3 LPU 拉进推理系统专门处理 Token 生成；Google 也把 TPU 8 拆成偏训练与偏推理的两颗芯片。
几家公司几乎同一时间开始重新拆分硬件——但拆法完全不同。
注：三张卡片分别对应 OpenAI、NVIDIA、Google 在推理硬件上的三种拆法——同构、异构、双芯。拆分粒度不同，系统的调度复杂度也不同。
三条路线背后并没有神秘的新计算原理，改变的是资源比例。训练希望把更多晶体管投入矩阵计算与大规模互联，因为高 Batch 能摊开数据搬运成本；低延迟推理需要更高的 HBM 带宽、更大的 SRAM、更好的 KV Cache 局部性——因为很多时间花在等待数据上。
Agent 又把这个问题放大了一次。普通聊天里几十毫秒的差异只体现为文字快一点出现；Agent 的任务是串行的——模型判断一步、调用工具、拿到结果继续判断，单次推理增加的延迟会一路传到后面的步骤。
GPU 因此陷入一个经典矛盾：
小 Batch响应更快、单用户体验好，但权重复用率下降，整机吞吐难看。
大 Batch总 Token 吞吐更漂亮，但凑 Batch 要等，单用户 Token 延迟随之上升。
于是新一代性能展示中，FLOPS 旁边开始出现这些新指标：
注：从左到右依次为「单用户每秒 Token 数」「Token 间延迟」「首 Token 时间」「每千瓦时产出的 Token 数」——它们共同描述数据投喂与流出效率。
它们描述的是同一件事：算力已经放在那里了，系统能不能持续把数据喂进去，并把生成的 Token 尽快送出来。
AI 芯片竞争的难题，或许已经不只在造出一颗更强的芯片。
更难的是决定：哪些任务值得专门做一颗芯片，哪些继续放在同一套硬件里——拆得越细，单项效率越高，资源调度与跨硬件通信的复杂度也越高。这条分界线画在哪里，将决定下一代 AI 算力的真实成本。
Jalapeño 的完整跑分记录、测试方法论与功耗曲线已随官方公告开放，可在 OpenAI 官网查看。
openai.com → Jalapeño 首次结果