《人工智能资讯周报》 ｜ 小型语言模型的崛起

刊物介绍

《人工智能资讯周报》探讨人工智能对公共政策、治理和政策建议的影响，探索人工智能对商业、政治和社会的影响，以确定潜在的研究领域，探讨可能的合作研究和机构伙伴关系。本刊着重提供中国人工智能发展动态和对人工智能的思考，同时关注全球范围内人工智能相关研究动态。本刊旨在通过可靠的研究，来帮助企业、研究机构和公民预测和适应技术引领的变化和成就。

摘要

2024年，人工智能的竞争逻辑正在悄然改变。曾经，行业追逐更大、更强的模型，试图以规模突破智能极限，但如今，更精、更快、更可控正成为新的关键词。微软、谷歌、Meta等科技巨头纷纷推出小型语言模型（SLMs）；《麻省理工科技评论》将SLMs认定为2025年十大突破性技术之一。相比于像GPT-4这样庞大而昂贵的LLM，SLMs以更低的资源消耗、更快的推理速度和更强的适配能力，在AI产业落地中展现出独特优势。这一趋势意味着什么？SLMs能否成为企业级AI的新标准？本文将深入探讨SLMs的崛起、应用前景及潜在挑战。

LLMs为何占据主导地位：

（一） 突破性的技术能力与广泛应用

        OpenAI的GPT-4与Google的Gemini等LLMs具备强大的通用型人工智能能力，能够胜任论文撰写、语言翻译、代码生成乃至问题解答等多样化任务。得益于庞大的参数规模和海量数据训练，这些模型已广泛应用于教育、医疗、客户服务、软件开发等多个领域。最引人注目的ChatGPT自发布仅两个月后，用户规模即突破1亿。

（二） 巨头资本涌入与产业战略竞争加剧

        生成式AI浪潮引发资本市场与企业巨头竞相投入巨资，推动LLMs迅速成为产业焦点。据AI Business统计，2023年全球生成式AI创业公司的融资规模达到250亿美元，同比增长八倍，展现出资本市场对该领域的高度认可。微软向OpenAI注资100亿美元，亚马逊向Anthropic投资40亿美元，谷歌重组旗下AI部门，而Meta、亚马逊等企业也在加紧布局类ChatGPT模型，行业竞争日趋激烈。麦肯锡分析认为，这种大规模投资不仅体现了企业对AI技术的长期押注，也展现了LLMs重塑未来商业模式和社会运作方式的潜力。此外，LLMs的快速普及，与搜索引擎、办公软件等核心产品的深度融合，进一步巩固了其产业头条地位。

（三） 政策聚焦与国际竞争

        全球主要国家正加强对LLMs的政策监管，并将其视为科技竞争的重要组成部分。例如，欧盟推出《人工智能法案》，对其基础模型的使用进行规范，以确保技术安全性和透明度。与此同时，美国、中国及欧洲各国政府正鼓励国内科技企业加快LLMs研发，以保持国际竞争优势。

（四） 激发社会想象与文化转型

        除了经济与技术影响，LLMs凭借其出色的语言能力与拟人化表现，迅速引发公众广泛的想象和讨论。从通过各类职业资格考试、生成代码，到创作文学和辅助科研，这些模型的表现远超大众预期，开启了人们对未来教育、科学探索和创意工作的深层思考。此外，围绕LLMs的道德风险、信息真实性及劳动力替代等社会议题，也加剧了公众关注热度，成为政策制定者和企业管理者关注的重点。

小型语言模型（SLMs）为何崛起：

        近年来，AI行业长期聚焦于超大模型（LLMs）的发展，然而，随着技术逐步向实际应用落地，强调针对性场景的小型语言模型（SLMs）开始进入主流视野。与LLMs动辄数百亿乃至数千亿参数不同，IBM研究团队将小型语言模型定义为“规模在300亿（30B）参数以下”的模型。现实应用中，大部分SLM的参数量级更低，往往仅有几百万到几十亿个参数，能够轻松部署在单个GPU甚至智能手机等终端设备上运行，无需依赖庞大的云计算资源,降低了企业的基础设施要求。

        小型语言模型（SLMs）的崛起主要源于其显著的实用优势。首先，与超大模型相比，SLMs在训练和运行阶段的计算成本明显降低，更易为普通企业所负担。其次，较小的规模意味着更高的推理速度和更低的能耗，使其在对实时响应、低延迟和可持续发展要求较高的应用场景中具有更大优势。企业还可以利用SLMs根据自身专属数据进行快速调校，进行灵活定制和快速更新，从而提高模型的透明度，避免了大型模型常见的“黑盒”问题，增强企业对AI技术的控制力。另外，SLMs能够实现边缘端部署，特别是在移动设备和嵌入式系统中的应用。例如，谷歌的轻量级Gecko模型成功实现在手机上的离线快速运行，为用户提供流畅可靠的本地化AI体验。未来，SLMs在边缘计算、物联网设备和隐私保护场景中将发挥更大的作用。

        SLMs具备诸多优势，但其应用领域较为局限。由于规模较小，SLMs难以具备通过超大规模训练获得的丰富知识和涌现能力，尤其面对复杂的、开放性的任务时，表现可能逊色于LLMs。因此，SLMs更适合精准的细分领域，例如基于企业内部数据训练的客服机器人或特定金融分析模型，而不是承担通用型人工智能的角色。世界经济论坛研究指出，这种“专注小场景”的定位，决定了SLMs更适用于有明确边界和数据来源的业务环境，例如企业内部数据的知识问答或特定垂直领域的内容生成。

        总体来看，小型语言模型并非是对大型模型的简单替代，而是面向企业业务需求的精准补充。正如《福布斯》文章指出，AI领域正在从“规模竞赛”向“精准适配”转型，即如何以最经济、最高效的方式精准满足实际业务场景需求。这一趋势推动企业更加注重AI技术的应用价值，而不仅仅追求模型的参数规模。

（一）美国：产业多元，商业落地

        微软在2023年发布Orca模型，声称利用知识蒸馏技术将13B参数模型训练至接近130B模型的性能。谷歌则开发PaLM 2系列，提供从最小的Gecko（壁虎）到最大的Unicorn（独角兽）等四种规格，覆盖不同需求，以降低算力依赖，推动小型化布局转型。尤其是Gecko这款轻量SLM，可以离线运行在手机等移动设备上，可广泛应用于Gmail、Google Sheets等日常软件之中。Meta通过开源Llama系列推动SLM的广泛普及，并提供部分商业许可，使企业和开发者能够迅速构建垂直领域专用AI。IBM明确将SLM作为企业AI战略核心，推出Granite系列模型（约10B参数），并通过InstructLab工具帮助企业以极低成本快速定制专属的AI服务。IBM实验结果显示，Granite模型在企业内部应用场景下表现甚至优于通用大型模型，而成本仅为使用巨型模型的数分之一。亚马逊借助Amazon Bedrock平台提供多样化SLM，包括初创公司的轻量级开源SLM，以满足多元客户需求，同时利用自研芯片（Inferentia、Trainium）提升小模型部署效率。

        总体而言，美国科技公司在模型战略布局上正发生明显转变：主要的云AI平台正在从一刀切的LLM产品转向一系列大小、速度和专业化程度各异的模型，追求实际效率与落地结果。虽然目前SLM占企业整体AI部署的比例尚未超越LLM，但成本优势、快速部署能力及数据自主性正在推动SLM成为主流选择。

（二）中国：自主创新，技术突围

         受限于高端AI芯片供应，中国企业通过优化算法和硬件整合，在SLM领域推动本土化技术突破。01.AI（零一万物）实现在低端芯片上对模型高效训练，百川AI与高通合作开发适用于智能手机的SLM，百度、字节跳动等企业也在智能终端中预装小型语言模型。

        政府正在鼓励发展“安全、可控、实用”的AI技术。乔治城大学CSET报告称，中国技术专家与政府意识到大模型的诸多局限性，认为扩大模型规模并不能实现智能，主张探索符号推理、知识图谱、多模态与脑启发式AI等多元路径，实现大小模型协同。例如，北京智源研究院“悟道”模型结合语言和多模态数据，实现更稳健表现；商汤科技的日日新SenseNova模型在中文任务上甚超越同量级西方模型，展示了SLM专业化训练的竞争优势。商汤还与华为合作，基于Ascend芯片开发金融、医疗和政务场景的专用SLM。阿里云的通义推出从0.5B到14B参数规模的多款SLM，广泛落地于医疗、矿业等产业，服务企业用户达220万家。

        综上，中国对SLM的积极布局，既是算力限制和数据安全的必然选择，也体现了超越西方AI模式的战略思考——通过“小而强”的模型，以更务实、更经济的方式推动AI普及，在产业落地和技术竞争中占据主动权。

（三）印度：本土需求，AI主权

        印度AI战略强调小模型的普及性和本地化，以满足多语言社会的需求并保持技术自主权。2024年，印度政府启动国家AI任务（IndiaAI），特别关注印度22种官方语言和数百种方言的AI覆盖率。政府支持的“Bhashini”项目正在推进针对印度语系的翻译与自然语言处理模型，确保技术能够在本地服务器部署。政府还通过开放数据集、提供计算资源，进一步助推AI生态发展。

        印度AI初创企业Sarvam AI开发出仅2B参数的Sarvam-1模型，专门针对印度语言数据集进行训练，支持语音助手和客服机器人等多种应用。非营利机构AI4Bharat推出IndicBERT等模型，加速了印度本土SLM生态的形成。塔塔咨询（TCS）开发专用金融模型平台，Reliance也宣布基于印度语系的AI研发计划。

        对印度而言，SLM通过低成本、本土化、高效部署的优势，成为实现“全民AI”目标的关键路径，不仅满足了国内多样化市场需求，也实现了在全球AI产业链中的“技术主权”“数据主权”和独特竞争力。

    一方面，SLMs在精准应用、数据合规、边缘计算和成本效益等方面展现出广阔潜力。

        赋能产业。SLMs推动AI应用从大规模通用模型向特定业务场景优化转变，显著降低中小企业的AI应用门槛。企业可通过定制化SLMs服务体系，并结合知识蒸馏、LoRA微调等方法提高训练效率，迅速响应市场需求，实现精准业务赋能。

        更符合隐私与监管要求。随着全球数据监管趋严，SLMs因其规模小，数据集精简透明，且无需依赖大型科技公司云端API，更易符合数据安全与合规要求。IBM指出，金融、医疗及政务等敏感行业，适宜优先采用本地部署的SLMs方案。政府亦可推动SLMs的政策性应用试点，建立与之匹配的数据合规审计流程。

        推动边缘计算革命。SLMs助力AI能力从云端扩展至边缘终端，助力智慧城市、智能家居、车联网等新兴场景。政府应推动以SLMs为基础的数字基础设施投资布局，出台边缘计算产业政策支持方案，企业则可加强终端设备的AI集成，抢占智慧医疗、智能制造和自动驾驶等高潜力市场。

        成本效益与可持续性。企业并非所有应用都需要LLMs的超大参数规模，SLMs在特定任务中以更低成本提供相似精度。例如，IBM验证其Granite模型在相同质量下，训练成本仅为LLMs的1/23，并显著降低能源消耗，这使其成为更具经济性的选择。

        另一方面，SLMs的崛起也引发了一系列争议。

        性能受限，难以匹敌LLMs。发尽管SLMs在特定场景表现良好，但在复杂推理、代码生成等任务上仍难以匹敌大规模LLMs。研究表明，某些AI能力可能仅能在超大规模参数模型下涌现，SLMs在泛化能力、深度学习推理等方面仍存在明显短板。

        安全与滥用风险。AI Bussiness研究指出，由于SLMs的代码是开源的，数据盗窃和隐私问题等安全风险会更加严重。浙江大学区块链与数据安全全国重点实验室发现，近50%的SLMs在遭受越狱攻击时显示出高脆弱性，开发人员需从开发早期阶段优先考虑安全设计原则。

        模型泛化能力不足。SLMs虽然在特定任务中表现优秀，但在应对更广泛、多变的场景时，如复杂推理、跨领域知识整合上，往往难以维持高效表现。相较于LLMs，SLMs可能更容易受到数据偏见的影响，缺乏足够的适应能力。

近年来，大型语言模型（LLMs）凭借强大的通用能力主导了人工智能技术的发展。然而，随着AI应用逐步迈向精细化和产业化，小型语言模型（SLMs）因其高效、低成本、可控性强的特点，正在迅速崛起。微软的Orca系列在小参数规模下实现接近LLM的性能，谷歌的PaLM 2 Gecko让AI在手机上离线运行,IBM的Granite则在企业级AI应用中展现出极高的性价比。中国的通义、零一万物、百川等专注于本地化SLMs开发，而印度的Sarvam AI通过优化本土语言模型推动AI在多语言环境中的普及。

        SLMs的崛起不仅为AI产业提供了一种更可持续、更经济的路径，也在数据合规、隐私保护、边缘计算等方面展现了巨大潜力。SLMs降低了企业和政府对超大模型的依赖，使更多行业能够灵活部署AI能力，实现精准化赋能。然而，SLMs仍面临性能局限、泛化能力不足等挑战。安全风险亦不容忽视，部分SLMs因开源特性增加了攻击和滥用的风险。

总体来看，SLMs的崛起并非对LLMs的替代，而是推动AI生态从“规模竞赛”向“精准适配”转型。未来，AI技术的发展可能呈现大小模型协同共存的格局，政府、企业和研究机构需要在技术、监管与市场之间寻求平衡，使SLMs增加AI落地的广度。