自 2020 年 OpenAI 提出 Scaling Law 以来，“堆模型、堆数据、堆算力”一直是大模型发展的主线。行业也在这个简单粗暴的规律里一路狂奔：模型越大、用的数据越多，它的智能能力也越强。
但到了 2025 年，这条路线第一次遭遇了真正的瓶颈。训练一次顶级模型的成本动辄数十亿美元，而互联网公开语料也逐渐枯竭。OpenAI 前首席科学家 Ilya Sutskever 在一次演讲中甚至直言，“现在这种意义上的预训练将会终结”（Pre-training as we know it will end）。
换句话说，仅靠无穷无尽地“堆料”已经难以为继。行业需要一条新的增长曲线，也需要一条新的“定律”。
就在此背景下，清华大学联合 OpenBMB 提出的“大模型密度法则”（Densing Law）被正式发表在《Nature Machine Intelligence》。这项研究试图给出一个和 Scaling Law 完全不同的观察角度：不是比“谁更大”，而是比“谁更密”。
论文链接：https://www.nature.com/articles/s42256-025-01137-0
这条密度曲线揭示的一件惊人之事是——
2023 年 2 月至 2025 年 4 月，大模型的最大能力密度每 3.5 个月翻一倍。
意味着如果今天一个 SOTA 模型需要 100B 参数，3.5 个月后，也许只需要 50B 参数就能达到同样的能力。
这是一条极其陡峭的曲线，也可能是未来十年 AI 行业最值得追踪的新指标。
从摩尔定律到密度法则
在过去半个世纪里，推动人类进入数字时代的是摩尔定律。芯片的面积并没有无限增大，但电路密度不断提升，使得计算设备从 27 吨的 ENIAC 缩小到我们口袋里的智能手机，全球也因此拥有了数十亿台终端设备、数千亿颗芯片。
摩尔定律的本质不是“做更大”，而是“做更密”。
“密度法则”受到这一思想的启发，只不过它观察的对象不是晶体管，而是模型能力。
研究团队的核心假设是：
在同样训练工艺下，经过充分训练的模型，其单位参数的“能力密度”应当一致。
他们选定一个基准模型，将其能力密度设为 1，再通过对比“在相同任务上，多少参数即可达到这个能力”来计算其他模型的密度。
能力密度计算示意图
对过去两年发布的 51 个开源模型的系统分析后，规律浮现了——
能力密度正在指数级增长，且增速极快：每 3.5 个月翻倍。
能力密度历史性变化图
这意味着算法突破、数据利用效率提升、训练技巧演化已经成为新的驱动力，模型不再依赖“体量压制”。
换句话说，大模型也迎来了自己的“摩尔时刻”。
推论一：同能力模型的推理解锁“指数级降本”
密度翻倍意味着什么？意味着同等能力的模型参数量持续减半。
而另一条曲线也在加速：硬件算力持续增强、推理系统不断优化（量化、投机解码、KV 缓存压缩等技术快速演进）。
两条曲线叠加，推理成本的下降速度远比想象的快。
实证数据显示：GPT-3.5 级模型的 API 单价在 20 个月里降了 266 倍，几乎每 2.5 个月价格腰斩一次。
GPT-3.5级模型API价格
这是行业真实发生、肉眼可见的成本塌缩。
推论二：ChatGPT 之后，能力密度增速进一步加快
值得注意的是，研究团队还发现一个有趣的时间断点。ChatGPT 发布前，密度翻倍周期是 4.8 个月；ChatGPT 发布后缩短为 3.2 个月，提升了 50%。
以 MMLU 为基准测量的能力密度变化情况
原因并不复杂。开源大模型竞争加剧、训练技巧层出不穷、SFT/RLHF/数据清洗方法愈发成熟、基建工具链全面升级……
行业的学习速度比过去任何时期都快。这是“知识密度”和“工程密度”共同的加速。
推论三：模型压缩技术仍未跨越“密度鸿沟”
一个容易误解的点是：既然密度提升更快，那压缩模型是不是天然密度更高？
研究发现，答案是否定的。
除了 Gemma-2-9B 之外，目前主流压缩模型（如 Llama-3.2-3B/1B、Llama-3.1-minitron-4B 等）密度反而低于原始模型。即便量化，也会伴随可观的性能损失。
模型压缩对能力密度的影响
原因在于：压缩并不意味着更高密度，小模型往往训练不充分，无法逼近密度上限。
真正的高密度模型，需要从底层结构设计、训练配方、数据筛选等多维度协同优化，而不是简单把大模型瘦身。
推论四：端侧模型的时代正在迅速到来
当“芯片电路密度增长曲线”与“模型能力密度增长曲线”相遇时，会发生什么？
该团队发表在《Nature Communications》上的论文（Efficient GPT-4V level multimodal large language model for deployment on edge devices）刻画了这一变化趋势
意味着智能不再依赖云端，终端设备也能运行更高性能的模型。
这对行业意味着两个重大变化：
1）边缘计算与本地智能迎来爆发；
2）AI 将从“云服务”变成“个人设备能力”，像智能手机一样普惠。
从历史视角看，这是计算范式的又一次大迁移。
高密度模型竞赛已经开始
在密度法则的指导下，清华与 OpenBMB 也开始持续研发高密度模型体系，发布了面壁小钢炮 MiniCPM、MiniCPM-V/o、VoxCPM 等一系列端侧高密度模型，在能耗受限的设备上实现了极高的效能比，被评为 2024 年 Hugging Face 最多下载、最受欢迎的中国大模型。
它们之所以能火遍全球，不是因为“便宜”或“开源”，而是因为在模型能力密度上迈出了领先一步：用更小规模、低成本训练的模型实现更强能力。
截至 2025 年 10 月，MiniCPM 系列在全球下载量接近 1500 万，GitHub star 接近 3 万，也几乎成为中文世界最受欢迎的端侧模型。
某种意义上，这就是密度法则从理论走向产业化的“第一批样本”。
如果说过去五年是大模型规模扩张的时代，那么未来五年，很可能是模型密度革命的时代。
参数不再是力量，密度才是。
这条曲线的走向，可能会决定未来 AI 的算力结构、成本结构、设备形态乃至应用生态。而清华与 OpenBMB 给出的“密度法则”，正在成为这段新叙事的重要起点。