​生产力场景的应用爆发,需要什么样的新型AI基础设施?

图片
文:董指导


图片
本期要点
#人工智能#AI#AI Infra#Agent#百度

图片



风风火火的AI浪潮,已经进行近两年了。虽然仍有担忧与质疑,但种种迹象表明,趋势已不可逆转。在海外,可以看到AppLovinPalantir等公司,因着AI的应用带来业绩和市值的增长。在国内,百度也在率先提出,AI应用已经来了。

AI应用爆发,已经渐行渐近。因而,也有个问题需要思考:


如果说丰富的应用,如茂密的森林;那么,孕育森林的生态系统应该是什么样呢?



01 企业级应用,如何高效开发?

AI应用,除了在C端提供各类有趣高效的工具之外,要形成真正的浪潮,也必须可以为企业提供生产级的服务。只有进入到企业的业务流里,才能成为企业提升竞争力的关键要素。


因此,这些AI应用,更严格点说,是“企业级”应用,可靠、稳定、安全、高效。所谓,好马配好鞍。这些企业级应用,又要求支撑应用开发的平台,也应该是“企业级”的


Agent被称为AI应用落地的最佳形式。能否快速开发一个好用的Agent,就是检验开发平台的重要指标。百度智能云千帆大模型平台,提供了丰富的工具链,用户只需要进行一些简单操作就可以生成Agent。


在世界大会上,千帆平台发布了工作流Agent。面向的正是企业的刚需---流程智能化。流程,对每家企业而言都是必不可少的。越专业、越复杂的工作,就越需要流程来保障。针对流程提效,可以说是“事半功倍”。


工作流Agent,基于大模型强大的意图理解和泛化能力,可以像行业专家一样,无论面对多么复杂的局面,总能做出明智决策并最终完成目标。


比如,在车险领域,售前流程非常复杂,如果培养一个金牌销售,至少需要一两年。但基于千帆平台,只需要一个小时,就能生成一个熟练掌握售前宝典的智能体。而且可以集成到微信公众号、官网或业务系统等任何需要触达用户的地方,大幅提升企业效率。


图片

Agent是“立等可取”,但许多行业应用需要“定制开发”。

为了达到更专业效果,需要深入模型层,做行业模型或者场景模型的定制。然而,从头训练模型,则面临成本高、周期长的问题,而且效果也未必好。不妨在千帆平台上,对预训练好的模型进行精调。


小,未必不如大。在参数规模较小的模型上,只需要几小时、完成精调,就会发现,效果,比参数规模大很多的基础模型还要好。这也充分说明,质量和规模,一样重要。


为了更加便于用户使用,千帆平台上线了DPO、KTO等训练方法,也提供了业内独家的高质量通用语料数据,以及开箱即用的模型精调样板间


比如全诊医学是一家医疗AI创新公司,他们打造了一款AI智能医疗助理,用20万份精标病例数据进行了模型精调,从而让病例生成的准确度提升了45%。


然而,如果没有足够的人工精标数据该怎么办?


千帆平台也提供了模型蒸馏解决方案。在实践中,比如数字人直播,可以实现只用旗舰级模型成本的10%,却提升效果5倍。


对于企业而言,要快速,有立等可取;要定制,有工具、有数据,还有精调、蒸馏等低成本方案。应用开发,不再是高门槛的事儿。



02 自研企业级应用,轻松集成


如果不想做应用开发、或者能力还不够,有没有更低门槛的方案呢?当然有。


千帆也发布了曦灵数字人平台4.0、客悦智能客服平台、文心快码、百度GBI、一见、甄知等多个成熟“应用样板间”,每个都是开箱即用、可以轻松集成、快速上手。


图片


比如,曦灵4.0,不但可以一句话生成符合不同行业场景特色的3D数字人形象,还可以让这些数字人动起来、生成专业灵动的视频。


图片


这个功能正当其时。因为在电商领域,短视频是品牌“种草”和转化的有效方式。但视频内容的制作难度、成本并不低,因此很多店铺往往只有少数主推商品才能配短视频。即使有好的销售方式,也有心无力。


现在,有了大模型和数字人,短视频的制作周期,可以从几天压缩到分钟级。用户只需要输入一些需求文字给曦灵即可。而且曦灵不仅满足品牌的需求,也严格遵循品牌的内容规范,展现“企业级”的标准。


曦灵的应用,不只体现在电商营销领域,教育、文旅等行业,也可以发挥作用。更加真实、有趣的互动,可以提升学生、游客的体验。


关于这些“应用样板间”,我曾询问过百度智能云同事,是否要做大做强自研应用。对于这个问题,百度智能云的回答是“只有亲自走过用户要走的路,才能设计出更懂用户的产品”。

这些成熟应用,一方面可以加速AI应用普及,另一方面更重要的是,激发更多企业、产生更多有趣、有效的创意。毕竟,一花独放不是春,万紫千红春满园。



03 算力平台,要高效且面向未来


如果说千帆平台提供了森林所需的水、空气和阳光,那么,算力平台,就是应用爆发的土壤。而且随着应用爆发增长,算力的成本和使用效率,就会变得更加重要,直接影响模型的创新速度、以及规模化AI应用的成本效益。


百度智能云前段时间发布了百舸AI异构计算平台4.0。它可以支持用户大模型全旅程算力需求,包括集群创建、开发实验、模型训练、模型推理。而且,不仅立足当下,也面向未来,率先具备了成熟的10万卡集群部署和管理能力。


图片


10万卡能力,意味着什么呢?

首先,可以有效应对必然的“一云多芯”。一方面,国内企业在发展过程中,必然形成了多种芯片共用的局面;另一方面,在当前环境下,企业要确保供应链安全和弹性,也必然会采购多种芯片。因此,应对一云多芯,既可以利用资源,也可以支撑未来的扩展。


把不同型号的芯片统一管理,尤其混布成一个集群支持单一训练任务,并不是一件容易的事。百舸目前可以在万卡规模上,将两种芯片混合训练下的效率折损控制在5%以内。


其次,应对“分布式”需求。十万卡集群,通常采用跨地域机房部署的方式,从而会面临更长的时延、以及芯片间的传输带宽等瓶颈。百舸提供了更高效的拓扑结构,可以把训练性能折损率控制在4%以内。


百舸不仅为百度自身业务提供服务,也可以满足公有云或者自建智算中心、初创企业或成熟企业等算力需求。


前段时间,马斯克刚建好10万卡的集群,未来几个月还会扩张到20万卡。大规模显卡集群,势在必行。因此,领先的集群管理能力,也是企业选择合作伙伴的硬标准。算力资源的领先,才能更确保业务走在行业前沿。



04 结语


贝索斯提出了著名的企业增长“飞轮理论”。而AI应用的浪潮里也会如此。


当企业AI应用上线后,就会产生许多宝贵的数据。把这些数据反馈给模型后,经过持续的精调、迭代后,模型效果会越来越好,应用也会越来越好。企业的竞争优势也会不断增强。


这就是“数据飞轮”。千帆也是业界首个提供完整数据飞轮解决方案的大模型平台。


图片


而唯有此,才能为企业带来更低成本、更高效率,让企业更放心、安心地利用大模型,在AI浪潮里,探索业务创新。



---全文完,欢迎交流

理工/金融  复合背景,

百亿私募/头部自媒体  双重经历

懂商业更懂科技,前瞻发现新机遇