邬贺铨：大模型的两大趋势，上云与下沉

2024年12月19日，以“多元重构 算力跃迁”为主题的第十九届中国IDC产业年度大典（IDCC2024）在北京首钢园（四高炉）隆重举行。会上，中国工程院院士邬贺铨发表了《端侧大模型与AI智能体》的主题演讲。

邬贺铨院士指出，人工智能正由基础大模型向场景和行业模型演进，其中一大趋势是模型上云，以模型即服务的方式表现出来，另一趋势则是智能下沉，形成端侧大模型。他表示，大模型落地终端，可实现“本地运行”，模型需“精简、压缩”，以适应终端算力限制。

邬院士强调，智能体是模型落地的关键，能够将大模型的知识转化为感悟，从而实现从快思考到长思考的闭环优化。邬贺铨院士认为，智能体会为更多的开发者投身人工智能技术开发展现广阔的应用场景。端侧大模型与智能体将成为人工智能技术落地的重要切入点，是数字经济发展赋能的新增长点，还是传统产业数字化转型的着力点。

大模型的两大趋势：上云与下沉

演讲中，邬贺铨院士明确指出当前人工智能发展的两大关键趋势：“一个趋势是把大模型上云，以模型即服务的方式表现出来；还有一种趋势是成为端侧大模型，落到物理实体上，智能下沉。”

他进一步解释，大模型上云能够显著降低接入门槛，为中小企业提供便利。而智能下沉则强调大模型通过端侧应用与物理实体深度结合，成为贴近用户场景的智能终端。

在谈到如何实现将基础大模型转化为垂直行业的场景模型，形成企业自己的模型，邬院士提出了两种路径：“一种是有数据的企业把自身的数据送给基础大模型提供方，请他们训练出行业模型；另一种是从基础大模型买来或租来模型，加入自身的数据进行再训练。”

不过，邬院士也指出，前者很多垂直行业的企业担心泄密，后者虽然避免了数据泄漏风险，但由于企业的生产管理流程复杂、场景多样，从基础大模型开发出一个高度契合行业需求的大模型依然存在难度。

智能体：从助手到代理的进化

邬院士强调，“模型落地还有很重要的一步是智能体。”他指出，与大模型单纯的一问一答功能相比，智能体更具有任务分解和规划能力，能够调用工具完成复杂任务。

智能体可以看成是接受自然语言命令，并且可以跟场景互动，具有初步思维链能力的小程序或App。他特别提到，“助手不能当代理，助手只能提参谋意见，而代理可以由你授权，它直接就可以执行。”智能体不仅仅是大模型的助手，更是具备规划和执行能力的代理。它能够通过独立授权代替人完成特定任务，将大模型的知识真正转化为感悟并实现行动。

邬院士还将智能体的运行特性概括为从“快思考”到“长思考”的闭环优化过程。“一般的大模型是‘快思考’，能够快速回答问题，但缺乏精准性；而智能体通过行动中的学习实现闭环优化，是‘长思考’的过程。”

这一过程依赖于智能体在执行任务后的反馈机制。“智能体生成是在大模型支持下，通过执行任务的闭环学习实现的。操作的结果会反向反馈到模型中，逐步形成短期记忆，并通过优化转化为长期记忆。”这种记忆转化机制赋予了智能体感悟能力，使其能够在不断的迭代中完成复杂而细化的任务，弥补大模型的不足。

智能体赋能终端：手机、PC到工业场景

邬贺铨院士以智能体在终端中的应用为例，详细阐释了其赋能价值。在智能手机中，智能体能够学习用户习惯并实现个性化操作。例如，他提到，“如果你对手机说‘我要订一杯咖啡’，智能体会根据你的习惯选择大杯、热的、拿铁，并自动完成支付。”类似的应用同样可以推广至PC端，通过学习用户的日常操作模式，高效完成复杂任务。

在工业场景中，智能体的潜力更为显著。邬院士提到，“在工业领域，智能体可以代替人操纵机器或机床，根据用户习惯优化操作。”

端侧大模型的技术挑战与前景

将大模型落到终端，不仅能够降低对云端计算资源的依赖，还能显著降低时延，提高响应速度，尤其在隐私保护和个性化服务方面具有显著优势。

不过，终端的算力是有限的。邬贺铨院士指出，尽管终端设备的算力正在不断提升，但受限于待机时间、能耗等因素，终端算力依然存在瓶颈。“终端的算力虽然逐渐接近PC水平，但由于能耗和散热的限制，仍无法支撑超大规模模型的运行。因此，端侧大模型需要通过模型压缩来实现瘦身。”

当前30亿参数的模型已具备初步推理能力，而70亿参数模型可以实现更高精度的意图识别，邬院士表示，“未来如果不考虑待机等因素，上千亿参数的端侧模型是没问题的。”

邬院士进一步指出，人工智能的AI终端可以释放用户生成内容的创意，增强用户的体验，催生5G的新应用，同时激活上万亿元的手机产业和PC产业。在技术实现方面，邬院士提到，当前最新的5G手机已在硬件性能上实现突破。“像高通的手机已经做到3纳米的芯片，能够支持大概80亿参数的推理。”此外，AIPC能力也在不断提升。有机构预测，“到2026年，中国市场大概有一半左右的终端将配备AI引擎能力。”

AI智能终端与具身智能

邬贺铨院士表示，端侧大模型+智能体开启AI终端时代，从手持智能终端到可穿戴设备、桌面终端，还会扩展到无人机、智能网联车、工业模组、仪器仪表、物联网、机器人，带动软硬件产业以及新型信息服务业的发展。

智能穿戴设备方面，AI眼镜以语音交互、手势控制和实时翻译等技术为核心，正在成为人机交互的新型接口。AI眼镜通过搭载麦克风、扬声器、摄像头以及无线短距通信模块，与智能手机和云端相结合，能够完成多模态感知和高效任务执行，未来AI的眼镜需求量很大。AR眼镜结合虚实融合技术，不仅能够显示虚拟信息，还可以与现实场景进行深度互动，在工业、医疗、教育等多个领域的应用潜力显著。

此外，大模型智能体落到物理实体上就可以成为具身智能，具身智能具有三大特点：一是多模态感知能力，包括听觉、视觉、触觉以及各种传感器的能力；二是与环境的交互能力；三是从感知到认知的转化能力。

具身智能落到机器人上就是人形机器人，落在汽车上就是智能网联汽车，智能网联汽车需要车端和云端的算力协同工作。在云端，强大的计算能力支持车辆的离线训练和泛化推理，能够实现软件更新、下载以及车辆间的交互；而在车端，可以实现高效响应，克服云端通信时延问题。两个实体都是端侧大模型以及智能体很好的应用场景。