当前一些政企机构在使用大模型时，面临着数据安全问题，既想让大模型更懂企业，又不想造成核心数据泄露风险，因此本地部署大模型已成为众多政企用户的实际需求，但一个现实是，能运行DeepSeek R1 6710亿参数满血版的一体机，动辄需要数十万上百万元成本，这在很大程度上制约了大模型的本地化部署进程。
不过，大模型业态正在百花齐放，实现本地化部署应用的成本也在技术推动下一降再降。比如360集团智脑团队近日发布的14B、7B推理模型Light-R1。其中14B模型在数学（AIME 24/AIME 25)和科学推理（GPQA Diamond）测试中，得分大幅超过DeepSeek发布的14B版本。
根据业界权威基准测试的结果，Light-R1 14B数学能力测试达到了满血版DeepSeek 671B的92%，推理和科学知识达到了DeepSeek满血版的86%。这意味着14B模型以DeepSeek R1满血版仅2%的参数量，在一些领域实现了其90%关键性能。同时，Light-R1 7B模型的数学能力可以达到DeepSeek 70B蒸馏版本的84%，科学知识和推理达到70B的75%。
资料图 来源:视觉中国
技术专家介绍说，在这些模型开源之后，无论政企单位还是个人，仅通过平民级显卡就可以在普通电脑上实现部署。例如，英伟达3060显卡支持7B模型流畅运行，这款显卡的售价目前仅有一千多元，而售价六千多元的3090显卡可以运行14B模型。这意味着一年前还需要数千万元成本的大模型，目前只需要几千元成本就能落地部署。业界判断，随着7B、14B这样的小参数大模型陆续开源，大模型的私有部署还将进一步普及，中小企业和个人用户只用极小成本，就可以轻松拥有一个个头小、能力大的一流推理模型。这也意味着，对个人用户而言，只需要一台普通家用电脑，搭配上玩游戏的显卡，就能将大模型用于学习和工作场景，满足个性化需求。
扬子晚报/紫牛新闻记者 徐晓风
校对 盛媛媛