承认差距、拒绝蒸馏:字节跳动 AI 战略转向自研,5 万亿参数模型已在讨论
8 月 6 日,字节跳动 CEO 梁汝波在全员会上承认,Seed 大语言模型与海外领先模型的差距正在扩大。张一鸣则在更早的内部会议上明确反对蒸馏竞争对手模型。同一天,字节被披露正在讨论训练一个参数规模超过 5 万亿 的大模型——这是阿里 Qwen 3.8-Max 的 2 倍以上,Kimi K3 的 1.8 倍以上。
8 月 6 日,字节跳动 CEO 梁汝波在全员会上承认,Seed 大语言模型与海外领先模型的差距正在扩大。张一鸣则在更早的内部会议上明确反对蒸馏竞争对手模型。同一天,字节被披露正在讨论训练一个参数规模超过 5 万亿 的大模型——这是阿里 Qwen 3.8-Max 的 2 倍以上,Kimi K3 的 1.8 倍以上。
8 月 6 日,字节跳动 CEO 梁汝波在全员会上承认了一个内部早已察觉的事实:Seed 大语言模型与海外领先模型之间的差距正在扩大。他要求团队接受一段时间的落后,坚持自研和长期优化。
几乎同一时间,市场获知字节正在讨论一个参数规模超过 5 万亿 的大模型训练计划。作为参照,阿里 Qwen 3.8-Max 参数为 2.4 万亿,Kimi K3 为 2.8 万亿。该计划仍处于早期讨论阶段,最终未必发布。
两个信号看似矛盾,实则指向同一个方向:字节不准备借助竞争对手模型的输出来迅速补齐榜单,而是试图把算力、数据和组织资源集中到一次更大规模的预训练上。
注:参数规模指模型总参数量,对 MoE 架构而言不等于单次激活参数量。5 万亿为讨论阶段目标,非最终承诺。
但一个诚实的注脚:参数规模只说明投入方向,不等于最终出来的模型能力。5 万亿更像字节对资源配置方式的表态,而不是一张提前兑现的技术支票。
张一鸣在更早的内部会议上,明确表达了对蒸馏的反对态度。他认可 Coding 是当前的关键方向,但也提醒团队不应让全部研究资源被单一场景牵引。
这里需要区分两种做法:
把 Claude、Kimi K3 等模型作为"教师",批量获得输出,再用这些数据补齐自身的推理、编程和工具调用能力。见效快,但能力上限受制于教师模型。
拒绝使用外部模型输出,完全依靠自有算力、数据和工程体系。成本更高、周期更长,但能力上限只取决于自身积累。
这一原则并非临时形成。字节早在 2023 年 4 月便要求,不得将 GPT 生成的数据加入自家模型训练集,并通过 API 调用检查和输出相似度抽样排查违规使用。此后,Seed 内部多次讨论是否借助外部模型蒸馏,最终均被否决。
拒绝蒸馏,意味着字节放弃了一条见效更快的追赶路径。讨论 5 万亿参数,则意味着它愿意用更多算力、数据和时间承担这部分成本。
字节急于翻盘的深层原因,在账本上。
先看技术面的差距。今年 2 月,Seed 2.0 正式发布,市场反响有限。几乎同一时间,智谱开源了 GLM-5,被市场视为国内第一个能与 Anthropic Opus 系列比肩的模型。7 月发布的 Kimi K3,多项第三方评测认为已接近海外闭源旗舰。
差距最疼的地方在 Coding。春节期间,Anthropic 凭借 Opus 系列的编程能力迅速打开程序员和 B 端市场,ARR 很快逼近并反超 OpenAI。智谱和月之暗面则凭借持续提升的 Coding 能力,ARR 分别突破 10 亿美元和 3 亿美元。中国大厂这才意识到,自己错过了 Coding 的窗口期。
字节擅长的"大力出奇迹"打法过去依赖赛马:在同一方向安排多个团队并行试错,再根据市场反馈集中资源。但前沿大模型不吃这一套——单次训练成本以亿元计,反馈周期以年计,十个团队做十个方向,等于每个方向都投入不足。
据媒体报道,字节高层正推动 Seed 取消同一方向上的内部赛马,收拢研发资源,明确团队职责并打破部门墙。
具体动作已经落地:
张一鸣亲自邀请 DeepSeek 核心研究员郭达雅加入 Seed,负责专项训练,相关研发资源统一划归。项亮(Seed Foundation 负责人)与沈科(预训练数据负责人)搭档,两人均出身于字节的搜索、广告和推荐体系。
这套组织调整解决的是投入分散问题,却不能消除研究不确定性。赛马减少后,单一路线获得的资源更多,方向判断错误的代价也会更大。对字节而言,5 万亿参数模型既是一次技术训练,也是一次组织训练:它要求以往擅长快速试错的产品公司,适应周期更长、反馈更慢的基础研究。
张一鸣说,字节"应该愿意为长期目标牺牲一部分短期收益"。这句话的真正考验不在模型榜单上,而在收入表上。
从快速试错到长期投入,字节正在经历组织层面的范式转换。5 万亿参数既是技术赌注,也是组织能力的压力测试——它要求一家以产品迭代著称的公司,学会在不确定中坚持一条无法快速验证的路线。
5 万亿参数模型能否兑现,取决于 Seed 在架构、数据、训练方法和组织协同上的系统性突破。
字节选择了一条更昂贵但更独立的路线,接下来的关键节点是:模型能否在 Coding 和复杂推理上建立真正的竞争力。
梁汝波在全员会上说:大模型的市场潜力很大,因此不担心经济回报,"但收入还是重要的"。
400 亿的年度目标、低于预期的 token 增速、占比过半的多模态收入——接受技术落后容易,接受落后带来的收入缺口难。