在数据发生的地方,进行生成式AI推理,
才能真正实现AI普惠。
如果你看下当今市值最大的三家科技巨头,微软、苹果和英伟达,它们有一个共同的特征,都是诞生于个人电脑时代(PC)的初创公司。微处理器和PC,是信息技术革命最核心的通用技术。
微软和苹果已经近半个世纪,英伟达刚过而立之年。它们有一个共同的基因,计算公司。个人计算、移动计算、云计算、空间计算,一波又一波,如今它们又同处于AI计算的浪潮之颠。
AI计算席卷之处,所有的个人终端设备,都将成为个人AI设备。PC、手机、AR/VR、汽车、可穿戴、AI原生设备。
AI PC首当其冲。所以我们发布了这份报告《从工具到平台AI PC:AI普惠第一终端》(《AI PC》)。
未尽研究在《看DAO2024》发布了对生成式AI的10个展望,包括小模型载入终端、个人AI设备进入市场。《AI PC》报告是这一主题的深化与落地,针对如何构建AI用户体验,提供了“创新者的解答”。
生成式AI大模型,再一次改变了人机关系。新兴的大模型技术与成熟的PC技术结合,正在产生下一代个人电脑AI PC。个人AI计算时代正在到来。
大模型走向大规模应用,需要实现小型化与个人化。而云端推理需要克服一系列用户体验方面的挑战,如延迟、算力昂贵、推理不准确、用户隐私与数据安全等。大模型的规模部署,首先需要借助 PC 来实现。而当前大模型的小型化、微调、工具链、智能体、检索增强等技术日益成熟,也具备了向PC部署的条件。桌面已经成为部署大模型的战场。
当大模型在本地部署时,需要 PC 这样的设备,足以容纳完整而又最小可行的通用推理能力。下面是其最基本的配置:
40TOPS,AI算力
70亿,模型参数
16G, 内存
20 tokens/s,推理速度
4k tokens,上下文长度
大模型成为AI PC用户体验的核心。那些真正构建出用户体验的厂商,将会主导AI PC的这场产品重构与产业变革。AI PC,正是新兴的个人AI与成熟的PC相结合的产物。整机厂商正在塑造个人AI的体验与形态。
PC 是个人计算设备中拥有最强性能的通用计算平台,整机厂商能够把大模型的能力完整地嵌入设备,并且随着神经网络计算功能的强化,能把最先进的大模型及时部署落地。
整机厂商能把多样化的异构算力(CPU+GPU+NPU)和众多开发环境进行整合,释放和优化算力给开发者,后者将基于AI计算的开发出来的应用,通过整机厂商丰富的产品组合提供给用户。
整机厂商能从本地部署的大模型出发,本地推理无缝融合云计算,形成混合推理引擎,它具备了快速、准确、性价比、隐私性等特征。
通过本地部署的模型和智能体,整机厂商可以推出AIOS,自然语言为主的人机自然交互界面,改变了用户与硬件、软件的交互方式,还将改变硬件与硬件、软件与软件之间的交互方式。
对于整机厂商来说,最重要的是要打造AIOS和混合推理引擎这两个AI PC最重要的杀手级应用。
这样整机厂商就能在生态中扮演关键的整合者角色。整机厂商基于其亿万用户基础,建立起用户反馈驱动的生态。在开发者与用户之间,AI PC应用尤其能结合本地数据、知识库,实现更具场景化与个性化;加上生产力工具、视频、代码生成等杀手极应用陆续推出并向端侧部署,AI PC的用户体验将会得以确立。
整机厂商正在迎来自己的垂直整合的机会。在AI PC产品的初期,激发起各种软硬件技术的创新,而用户需求需要快速满足,这一阶段,只能由整机厂商进行收敛,集成并交付出完整的用户体验,并且引领整个产业链,基于用户反馈,快速迭代升级。在中国,整机厂商的作用尤其显著。
从2024年到2027年,个人AI迭加换机周期,也成为AI PC的开创周期。知识工作者将成为最早的采纳者,AI PC也有可能创造出新一代的知识工作者。2024年下半年起,将是整机厂商携手供应链及生态伙伴,在用户体验方面快速迭代和完善的关键阶段,一旦“跨越鸿沟”,2025年-2026年AI PC将进入主流消费群体,并对传统PC进行大规模替代,直到2027年,个人AI计算的新范式在AI PC确立,中国市场的渗透率将会达到85%,高于世界市场平均水平的60%。
在构建AI PC用户体验的过程中,整个产业链上的软硬件厂商和开发者,通过产品升级、新产品推出、更深度的产品细分及组合,以及新的业务模式,将普遍受益。其中整机厂商将强化其在产业链中的地位,获取更多的产品差异化的创新手段,扩大其价值空间。对于全球化经营的整机厂商来说,AI PC也是其结合各地市场与监管情况,利用开源模型的灵活部署与定制,推进产品本地化与多样化的机会。
整机厂商也将超越这一AI大模型驱动的换机周期,加大研发力度,在新的技术与产品平台上,建立持续的创新能力,包括个人AI应用芯片、AIOS、数据保护与安全的系统创新、商业模式创新、泛AI PC形态的创新,以及AI原生硬件创新。一个潜在的加分项,是整机厂商如果能更彻底降低其使用门槛并显著提升其效率及体验,AI PC及其后续的创新产品,有可能突破以往PC在一些新兴市场的渗透率,获得更大的增量空间。
今年第二季度或者下半年,带给用户完整体验的AI PC,将首先在中国发布。