IJCAI 2026 上，ETH Zürich 团队展示极限量化技术，将大模型压缩至 1比特，模型体积从 14GB 骤降至 约1GB，困惑度仅 8.41，后训练量化仅需单卡半小时。这意味着大模型「塞进」手机与终端的终极压缩算法，终于有了可行路径。
过去几年，大语言模型的参数规模以数量级飙升，而底层硬件内存容量的增长却只有百分之几十。行业估算显示，这中间的差距已经达到 20 倍。
寄希望于下一代芯片来填平这道鸿沟，已是痴人说梦。唯一的出路，是向模型的数据表示方式「动刀」。
每代内存提升不过 30%-50%，完全跟不上模型膨胀速度，成本与功耗同步失控。
放弃部分数值精度，换取内存、带宽与功耗的数量级节省——从 FP16 到 1 比特，体积缩至 1/14。
注：以上数据基于 LLaMA-7B 级别模型估算。后训练量化（PTQ）仅需极小校准数据集，不需要梯度更新，单张 GPU 即可完成。
秦浩桐团队的核心思路是：不改变模型本身，只改变权重的「存储精度」。把一个 FP16 的 14GB 模型，压缩到 1 比特的约 1GB，同时保持模型「活着」——能对话、能推理、能交付结果。
后训练量化在 4 比特表现尚可，但到了 2 比特困惑度会飙升至成百上千，1 比特则基本「断崖式崩溃」。BiLLM 团队发现了一个关键事实：权重并非生而平等。
他们挖掘出两个结构特征：
第一，敏感度长尾效应。绝大部分损失波动集中在极小部分「关键权重」上；第二，钟形分布。绝大多数权重死死聚拢在 0 附近，尾部极细，适合粗暴压缩。
解法由此清晰：解耦处理。
注：敏感度在网络的层与层之间具有「遗传性」，集中在少数几个通道中，可直接保留为结构化权重，几乎不额外占用存储。
最终，模型平均每权重仅 1.08 比特。LLaMA-2 70B 在 WikiText-2 上达到 8.41 困惑度——作为对比，早期 GPTQ 在 2 比特时已飙破 100。这个在 1 比特压缩率下的模型，生成的文本连贯且切题，虽然锐利度不及 FP16，但完全可用。
这项成果曾获《IEEE Spectrum》高亮报道，被评价为「大幅降低 AI 能源需求的代表作」。
如果说 BiLLM 回答的是「精度能降到多低」，SqueezeLLM 回答的是另一个工程问题：固定平均 2 比特时，有没有更完美的分配法则？
传统方案要么均匀分配导致困惑度崩坏到 150 以上，要么细粒度混合精度破坏硬件读取机制。SqueezeLLM 走了第三条路。
128 这个数字既足够规整以保持硬件计算效率，又足够精细以追踪重要数据的藏身之处。它背后依赖的洞察是：权重的敏感度在空间上是有严密组织结构的信息，绝非随机噪声。
从 FP16 的 14GB 到 1 比特的约 1GB，权重内存经历了疯狂的跳水。但秦浩桐在演讲中毫不避讳地指出：这场战争远未结束。
目前的狂欢主要局限在「仅针对权重」的量化上。许多系统运行时依然保留着高精度的激活值（Activation）与庞大的 KV Cache。进一步压榨的空间依然广阔，但必须翻越三座大山：
困惑度指标被拉下来了，但在指令遵循、长文本对齐等复杂任务上，模型依然存在明显的智力损失。这些隐性折损，简单的困惑度指标无法侦测。1 比特的「可用」与「好用」之间，隔着一条认知鸿沟。
市面 GPU 没有原生支持 INT2 或 1 比特数据通路的计算架构。算法上实现了惊人的压缩比例，但实际跑在硅片上的速度提升远远落后于压缩比例。算法与硬件的协同，是下一阶段的必答题。
流动性极强、体量巨大的激活值和 KV Cache 如何降到极低比特？这是量化领域目前最硬核的关键战役。权重只是第一步，完整系统的极致压缩才是终局。
注：三大挑战引自秦浩桐在 IJCAI 2026 主题 Workshop 的演讲实录，属于学术界当前共识性难题。
1 比特量化证明了大模型「极限压缩」的可行性，但行业必须清醒：从实验室的 1 比特到产品级的端侧 AI，中间还隔着硬件架构革命与复杂任务保真度的双重考验。真正的分水岭不在压缩率，而在「压缩后还能干什么」——维持复杂推理与指令遵循的能力，才是决定端侧 AI 能否从「能用」走向「好用」的关键。
BiLLM 与 SqueezeLLM 的代码已全量开源，欢迎学术界与工业界复现验证，共同推进极限量化技术的落地。
GitHub · 搜索「BiLLM / SqueezeLLM」