智谱创始人唐杰发表长文《Thoughts About Scaling Law》，明确提出参数量已无法单独决定模型能力。随着混合专家（MoE）架构与后训练技术普及，大模型行业的评判标准正在从“数参数”加速切换为“算算力”。
对“堆参数”迷信的质疑并非凭空出现。早在 2021 年 1 月，Google Brain 发表论文推出了包含 2048 个专家、总参数高达 1.6 万亿 的 MoE 模型 Switch-C。这是当时全球规模最大的语言模型，参数量远超 GPT-3。
但下游任务的对比评测暴露了参数膨胀的错位特征：
注：数据源自 Google Brain 2021 年《Switch Transformers》论文。MoE 架构在知识检索类任务表现优异，但在需要连续链条推演的推理任务中出现得分倒挂。
扩大总参数，换来的是知识库容量的扩充，而不是推理逻辑的深化。知识库里的书变多了，不代表读者更擅长推理。
要理解宣发的失真，首先需要明确三个常被混淆的概念：
相当于图书馆的藏书总量。决定模型能装下多少事实与长尾知识，是知识仓库的体积。
相当于单次阅读翻开的图书。在 MoE 架构下，门控网络每次仅调用极小比例的专家模块。
相当于思考付出的实际脑力。衡量每次响应消耗的浮点运算次数，直接对应推理深度。
正如真实安全工程场景，模型记住更多 CVE 漏洞仅说明见过案例；若面对未知漏洞，需要从代码异常追溯条件、设计验证路径并连续走完二十步推理，这依赖的是 FLOPs 所支撑的思考深度，而非总参数体积。
为了验证“非参数因素”对能力提升的作用，唐杰展示了一项极具针对性的控制变量实验：
这一实验回应了关于“是否需要频繁训练新基座”的疑问：在现有阶段，后训练是当前边际效益最高的变量。
行业对 Scaling Law 的认识历经多次迭代：
随着研究深入，最优 Token/参数比被证实会随任务类型动态变化——记忆类依赖参数量，推理类依赖数据量与 FLOPs。这一范式转移正深刻改变产业中的三类主体：
单报“万亿总参数”正在失去技术公信力，领先团队正转向公布激活参数量、FLOPs 效率及单 Token 推理成本。
评估重点从堆叠参数的“资产规模”，转向训练算力分配效率与推理环节的 FLOPs 经济性。
明确“参数决定知晓度，FLOPs 决定思考深度”，优先选择在目标场景中 FLOPs 转化率更高的模型。
大模型的军备竞赛，正从“谁参数多”全面转向“谁把有限的 FLOPs 用得更聪明”。脱离激活参数与计算效率谈万亿参数，本质上是一种过时的营销话术。