2024年以来，全球范围内的人工智能企业纷纷推出参数规模较小的人工智能（AI）模型，围绕AI小模型（SLM，以下简称“小模型”）的竞争日趋白热化。一方面，尽管小模型涉及的参数数量较少，一般从几百万到几亿不等，但通过定向优化，仍展现出与AI大模型（LLM，以下简称“大模型”）相媲美的性能。另一方面，小模型具有更紧凑灵活、更专业化、更快响应、更低能耗等特点，特别在应用成本和端侧部署上具备较大优势，使得小模型在应用落地方面展现出强大的潜力。鉴此，预计将有越来越多的企业和机构探索小模型赋能的技术路径，加速实现AI私有化和端侧部署，推动AI技术的普及应用。
一、大模型局限性显现，助推小模型迎来发展“风口”
在大模型发展相对放缓的背景下，小模型作为大模型的有力补充得到越来越多的关注，各方争相入局，小模型迎来发展热潮。
“规模竞赛”热潮退去，大模型发展进入“平台期”。当前，AI大模型局限性显现，围绕模型参数上限的探索热潮逐渐退去，为小模型提供更大施展空间。一方面，参数数量并非衡量AI大模型性能的唯一指标，数据质量、训练技术、投入成本等也是必要考量因素。例如，根据信通院《大模型基准测试体系研究报告（2024年）》，阿里巴巴集团推出的Qwen-7B在评测中的得分为25.8分，而更小规模的Qwen1.5-7B得分显著提升至51.8分。这表明通过改进训练技术和使用更高质量的数据，也能显著提升模型性能。另一方面，尽管AI大模型在处理复杂任务上拥有显著优势，但与之相伴的是对计算资源的超高需求，这极大限制了大模型在实际应用中的“落地”。具体来看，大模型训练所需的计算资源与模型参数数量正相关，同时，随着模型参数的扩展，相应的故障率也可能成倍增长。以Meta公司的Llama3 4050亿参数超大规模模型为例，该模型的训练使用了16384块英伟达H100 GPU芯片，耗时54天，期间的446次运行中断中有419次属于意外报错，平均每3小时出错一次。此外，大模型的“通用性”使其在专业领域的表现并不理想，在实际应用中除了可能的资源浪费，更或需采用高成本的模型微调来提升性能。
小模型成更优解，全球科技公司争相入局。小模型得益于其更低的技术门槛、更广的应用场景、更低的投入成本，已成为人工智能竞争的“新赛道”。从技术上看，相较于大模型“大力出奇迹”的发展路径，小模型领域的技术开发更趋多元。美国软件服务提供商Salesforce CEO马克·贝尼奥夫（Marc Benioff）指出，当前大模型恐已接近技术上限。反观小模型技术领域，则发展出模型剪枝、量化、知识蒸馏等系列针对小模型特点的技术优化。从成果上看，近年来，高性能小模型在全球范围内相继涌现。阿里巴巴集团推出Qwen2-7B（70亿参数）模型，性能表现突出，在端侧小模型测评榜单中荣获第一；vivo公司发布蓝心端侧模型3B，参数量仅为30亿，相比蓝心7B，性能提升了300%、功耗优化率达46%、内存占用仅1.4GB。微软公司发布Phi系列模型，最新一代为38亿参数的Phi-3-mini模型，允许针对不同用例提高模型的性能；英伟达公司推出参数版本为40亿和80亿的Minitron小语言模型，在保持相当性能水平的同时，将模型大小缩小了2-4倍，训练成本降低1.8倍。
二、小模型具备三大独特优势，端侧部署前景广阔
小模型凭借其高效能、低成本、专业性获得青睐，在端侧部署领域展现出广阔的应用前景，或助推AI技术的应用普及。
（一）小模型可兼顾低成本与高性能，是其“以小搏大”的底气所在
由于大模型的训练和使用成本较高、调校复杂，令许多公司与组织望而却步，低成本且高性能的小模型为众多成本敏感型企业提供了AI私有化的可能。成本上看，斯坦福大学以人为本人工智能研究所（Stanford HAI）发布的《2024年人工智能指数报告》显示，先进AI模型的训练成本逐年激增，2017年Transformer模型的训练成本仅为约900美元，至2023年，谷歌Gemini Ultra模型的训练成本已近2亿美元。美国Anthropic公司CEO达里奥·阿莫迪（Dario Amodei）预测，未来三年内，AI大模型的训练成本将暴增至100甚至1000亿美元。性能上看，低成本、小规模并不意味着低性能。事实上，基于特定应用场景进行精调的小模型，使用效果甚至可能优于大模型。Google Research研究团队的一项实验结果表明，在同等的采样预算下，较小模型有超越较大模型的可能。人工智能领域知名专家吴恩达亦指出，依托于高质量的训练数据，未来AI的规模将更小，但更加智能。
（二）小模型所需计算资源更低且利用率高，有利于降低模型部署门槛
尽管大模型性能强大，但难以在性能与资源消耗之间取得平衡，在资源受限的背景下，以“高效”为设计核心的小模型无疑是更具可操作性的选择。一是小模型的数据需求远小于大模型。参数规模上看，小模型是大模型的“瘦身版”，一般参数量介于几百万至几亿之间，模型结构也更简单，不论是数据收集还是数据训练，其难度均远低于大模型。二是小模型资源利用率高。一方面，小模型需要的计算资源和存储空间较少，有利于规避内存溢出问题，实现在移动设备、物联网设备等资源受限的设备上运行。另一方面，小模型可通过剪枝、量化、知识蒸馏等优化技术进一步降低计算需求，且模型数据、开发和应用具有较强的针对性，可显著降低数据资源浪费。三是小模型能耗更低。小模型的计算复杂度较低，这意味着其更低的算力和高性能硬件资源需求，加之小模型轻量级的特性，多方因素叠加极大降低了能耗。
（三）小模型专业性强应用场景广，更易满足端侧需求
相较于大模型，小模型当前最大的优势在于端侧部署，提高了商业变现的可能性。首先，小模型不仅可在硬件资源有限的设备上运行，如智能手机、个人电脑、嵌入式系统等，还因其简单性更易被部署和维护，更能够适应快速迭代和开发。特别是，小模型可提供更快的响应速度，在执行语音识别、图像处理和问答等实时性要求高的任务时更具优势。其次，小模型可针对特定专业领域或具体业务需求进行聚焦训练，提供“定制化服务”。目前小模型已在办公、医疗保健、零售、智能家居等特定场景实现商业化落地。例如，美国生物技术公司Path AI利用小模型的图像处理优势对病理图像进行自动化分析，以辅助医生进行精确的疾病诊断。再次，从实际部署上看，高性价比的小模型对于企业更具吸引力。《华尔街日报》报道称，考虑到成本效益，企业正越来越多地选择部署中小型模型，而非昂贵的大模型。
三、启示与建议
总体来看，大模型与小模型各自优势特点突出，并非“东风压倒西风”的关系。未来，垂直化和领域化的大模型和小模型或者轻量化混合应用或将具有较大的发展空间。
具体来看，一般而言，新技术的出现前期依靠技术驱动，后期则依赖于应用驱动。从商业角度看，应用驱动也比纯粹的技术驱动更具可持续性和吸引力。当前大模型迎来发展“冷静期”，各科技企业相继将目光转向小模型就是证明。从AI发展路径上看，我AI发展特点是应用驱动，美西方则倾向于技术驱动 ，一定程度上导致我在AI深层技术层面的相对落后。鉴此，我应充分利用数字人口基数庞大、数字基础设施普及率高、移动互联网发展迅速、电子商务领先及应用场景丰富等优势，加快“大模型+小模型”协同的布局与探索，力争在原创性应用和国际推广方面实现领先，在AI深层技术实现“弯道超车”，赢得全球人工智能竞争的主动权。
作者简介
刘纪铖 国务院 发展研究中心国际技术经济研究所研究二室
研究方向：信息领域战略、技术和产业前沿