AMD 收购 Taalas:把模型权重刻进芯片,AI 推理的"拖拉机"路线
8 月 6 日,AMD 官宣收购 AI 推理芯片公司 Taalas。这家公司的路线堪称反常识——为单一模型定制芯片,将模型权重固化进硬件,牺牲通用性换取极致性能。首款芯片 HC1 运行 Llama 3.1 8B,单用户生成速度达1.7 万 Token/s。
8 月 6 日,AMD 官宣收购 AI 推理芯片公司 Taalas。这家公司的路线堪称反常识——为单一模型定制芯片,将模型权重固化进硬件,牺牲通用性换取极致性能。首款芯片 HC1 运行 Llama 3.1 8B,单用户生成速度达1.7 万 Token/s。
一颗芯片,只为一个模型而生。在模型仍快速迭代的今天,这听起来多少有些反常识。但 8 月 6 日,AMD 用一场收购给出了自己的判断。
AMD 官宣收购加拿大 AI 推理芯片公司 Taalas,计划将其技术纳入加速器路线图,与 Instinct GPU 共同开发系统级解决方案。交易金额未披露。
某 AI 芯片企业产品副总裁蒋姚打了个很形象的比方:相比英伟达在有了"大众"后再添一辆追求极致性能的"法拉利",AMD 买下 Taalas,更像给自己置办了一辆"拖拉机"。
拖拉机并非性能差,只是适用范围更窄。
注:Taalas 首款芯片 HC1 针对 Llama 3.1 8B 设计,下一代 HC2 计划将单芯片承载能力扩展至 20B 参数。
在 Taalas 创始人 Ljubisa Bajic 看来,今天的 AI 距离真正"无处不在"仍有两个障碍:推理成本过高,响应速度不够快。通用 GPU 当然也在不断追求更高的推理性能,但"什么模型都能跑"的灵活性,本身也意味着更复杂的存储、互连和软件系统。
Taalas 的选择是:干脆不造通用芯片,而是围绕一个具体模型来造芯片——把模型权重和部分数据流直接固化进硬件。
灵活适配各种模型,但复杂的存储、互连和软件系统带来额外开销,推理效率受限。
围绕单一模型定制芯片,权重固化进硬件,大幅简化系统,换取极致性能与能效。
注:模型硬化牺牲了在不同模型之间切换的灵活性,但大模型本身已具备较强泛化能力,应用场景不一定被锁死。
按照 Taalas 公布的数据,首款 HC1 运行 Llama 3.1 8B 时,单用户生成速度达到约 1.7 万 Token/s。这一数字远超当前通用 GPU 方案在同等模型下的推理速度。
但速度只是故事的一部分。
注:对比数据为业界公开参考值,单位万 Token/s。不同测试条件(精度、批大小、硬件配置)下结果会有差异,此处仅作趋势示意,非严格横向对比。HC1 为单用户生成速度,通用 GPU 数据为典型 4-bit 量化推理实测值。
这样的速度提升,源于硬件层面的极致简化。但代价是——芯片的命运与所选模型的寿命紧密绑定。
一个更现实的问题:什么样的模型,已经值得为它单独造一颗芯片?芯片越是针对某个模型做到极致,它的命运与"这个模型还能被使用多久"就越紧密关联。
对此,Taalas 准备了两种应对方式。
但挑战不止于此。当模型规模扩大到数百 B 级别,单芯片无法承载,多芯片系统成为必选项。AI 芯片软件专家王让指出,HC1 的芯片面积已接近上限,继续塞进更多参数,需要使用更低精度的数据格式,并将部分 SRAM 移到独立芯片上。
芯片之间主要传递中间结果,而非反复搬动整套模型权重——因此数据量仍可能小于传统 GPU 系统。但请求不够多时部分芯片空转、单颗缺陷拖累整套系统、SRAM 容量吃紧,都是现实难题。
注:模型硬化路线的核心争议在于——模型迭代速度是否会让固化芯片快速过时。支持者认为,已进入业务层的模型未必需要每次升级,高频刚需场景更看重成本与速度。
这笔收购引发的讨论,远不止于一家公司和一个技术路线。它触及了一个更根本的问题:AI 芯片的专用化,究竟能走多远?
英伟达引入 Groq LPU,就像已经有了一辆覆盖主流需求的"大众"之后,再添一辆"法拉利"。而 AMD 收购 Taalas,则像给自己购置了一辆用途更窄、却追求低成本高效率的"拖拉机"。
讨论模型迭代速度,首先要区分变化的究竟是模型架构、参数,还是不断摸高的前沿能力。对于已经进入业务的模型,具体任务是否真的需要随之换代?解复杂数学题需要最强模型,并不意味着利用 AI 订会议室、点外卖也必须同步升级。
芯片之间主要传递中间结果,而不是反复搬动整套模型权重,因此数据量仍可能小于传统 GPU 系统。真正棘手的反而是请求不够多时芯片空转、单颗缺陷拖累整套系统、SRAM 容量吃紧这些问题。
一个诚实的注脚:模型硬化路线在国内也已开始探索。中科院计算所和寒武纪等团队去年提出硬接线神经元语言处理单元(HNLPU),创业公司瞬元(Sytrix)日前也宣布将打造中国第一款对标 Taalas 的极速 AI 推理芯片。
问题不再只是 Taalas 能把一颗芯片做到多快,而在于 AI 产业里究竟会不会出现越来越多模型足够稳定、调用量足够庞大的"十亩玉米地"。
模型硬化不是"要不要做"的问题,而是"什么时候做"的问题。当特定模型的推理调用量达到数万亿 Token 级别,为它定制一颗芯片的经济账就会算通。AMD 收购 Taalas 赌的不是技术路线,而是 AI 应用规模化的速度——拖拉机能否上路,取决于地里有没有足够多的庄稼。