腾讯云李想：云上智能，一站式打造AI原生应用

非凡产研

2024-11-05 16:00发布于上海科技领域创作者

2024年10月17日，非凡资本联合诸多合作伙伴在北京举行了“AIGC应用发展高峰论坛暨AIGC100年度评选”，此次盛会吸引了超过50位AI领域的演讲嘉宾和近千名AI相关从业者参与。

通过主题演讲、圆桌论坛、实践工作坊、互动展览、播客马拉松和晚宴派对等丰富多彩的活动形式，非凡资本为参与者打造了一个全面而深入的AI行业交流盛会。

峰会现场，腾讯云企业服务行业架构总监李想进行了《云上智能，一站式打造AI原生应用》主题分享，深度介绍了腾讯云如何利用AI原生能力助力千行百业实现技术创新和商业增长。

以下是李想的演讲精华：

AI原生应用正在加速落地

1、什么是“AI原生应用”？

AI原生应用指的是那些旨在充分发挥人工智能的潜力，在开发、运营、服务阶段都是以AI作为核心的产品。AI原生应用公司并非仅仅将人工智能技术嵌入现有系统，而是构建了一个完全依托于AI的新体系，以提高其业务领域的创新性和效率。

AI原生应用具备以下四个关键特征：

（1）自主性

在没有人类干预的情况下自动化决策，能力包含从简单的排序问题到复杂的战略规划。

（2）适应性

AI原生应用能够适应变化的环境和用户需求，自动调整其功能和性能。

（3）数据驱动

AI原生应用依赖于大量的结构化和非结构化数据进行学习、推理，以作出智能化决策。

（4）预测能力

基于历史数据和实时输入做出未来趋势的预测，应用于需求预测、风险评估等多个方面。

“Gartner AI Maturity Model”将AI应用落地分为以下5个关键阶段：认知阶段——主动实践阶段——运营规模化阶段——系统化实施阶段——创新变革阶段。而“AI原生应用”当前正处于第四阶段。

2、AI原生应用发展趋势

IDC数据显示，中国生成式AI市场规模正在呈高速增长，2023—2027年期间年CAGR高达55.1%，生成式AI软件市场同CAGR将高达58.2%。如果说2023年是“大模型元年”，那么2024年就是AI原生应用发展元年。并且呈现出以下三个趋势：

首先，营销和办公领域已成为AI原生应用落地的先锋。以腾讯为例，得益于AI技术的支持，腾讯广告业务的推荐精准度和投放效率显著提升。腾讯会议和腾讯文档等产品也已整合了混元大模型，赋予了它们一系列先进的AI功能。

其次，具备自主记忆、推理、规划和执行能力的智能Agent成为AI应用的主要落地形式。AI数字员工正在融入企业流程之中，助力企业实现高效决策和知识资产的积累。

最后，多模态技术的发展催生了新的应用形态。例如GPT-4o、Sora等能够生成文本、音频和视频的模型，正在为企业带来更广阔的业务创新空间。

AI原生应用的技术架构与挑战

AI原生已成为腾讯云新的战略发展方向，与云原生相辅相成。尤其对于非AI企业而言，云计算和AI应从一开始就成为关键考量要素。

腾讯云在公有云、专有云、分布式云等统一技术路线上的丰富经验，在赋能企业实现AI原生与云原生的同源同构一体化发展过程中能提供坚实的支撑。

腾讯云团队认为，AI原生应用典型技术架构主要分为数据处理系统、数据存储、质量评估系统、业务系统四个主要架构。

而企业在搭建AI原生应用架构过程中，通常会遇到以下问题：

（1）高质量模型选择

模型作为中枢控制系统，精准的采购决策至关重要。企业在综合评估各种因素后，应优先选择成本效益最高的模型。

（2）模型工程化处理

很多客户也会选择自建模型，这会涉及众多工程化处理环节。这包括模型微调的实施、模型版本的管理以及应用的发布等步骤。

（3）算力成本优化

由于GPU是一个硬成本，再加上其成本高昂，因此如何通过一些方式优化算力成本也是企业必须考虑的。

（4）内容合规

企业要确保AI应用生成的内容遵守相关法律法规、政策、标准和道德准则。

（5）文档处理

文档处理指的是一系列操作，旨在准备、优化和管理用于训练模型的文档数据。这个过程对于确保模型能够从文档中学习和提取有用信息至关重要。

（6）向量数据高效检索

指在大规模数据集中快速准确地查找和检索与查询向量相似或相关的向量数据的过程。在人工智能和机器学习领域，这种检索技术尤为重要，因为许多算法（如聚类、分类和推荐系统）都依赖于向量空间模型来表示和处理数据。

基于腾讯云构建AI原生应用最佳实践

目前，腾讯云在内外部都已经积累了丰富的AI原生应用实践，以下是一些标杆性案例展示：

1、“混元Turbo”整合全网内容生态，性能大幅提升

在去年9月的腾讯全球数字生态大会上，腾讯混元大语言模型首次亮相。经过一年多的快速发展，混元大模型经历了从Pro到Turbo的重大升级。

腾讯选择在MOE（Mixture of Experts）模型技术上持续创新和迭代，因为这一模型能有效平衡参数规模、专家知识储备需求与推理成本。与上一代混元Pro的同构MoE大模型结构相比，混元Turbo引入了创新的分层异构MoE结构。在保持万亿级参数总规模的同时，混元Turbo实现了推理效率提升100%，推理成本降低50%，解码效率提升20%。

混元Turbo在高质量文本创作、数学和逻辑推理等领域实现了显著的质量飞跃。此次升级还包括对AI搜索联网插件的支持，整合了腾讯丰富的内容生态，包括微信公众号、视频号内容以及全网搜索能力，从而提供更专业、更及时的AI问答服务。

2、腾讯系产品基于大模型的业务创新实践

混元大模型目前支撑腾讯系多条产品线不断进行业务创新实践，并且已有诸多实效性落地场景。

（1）营销场景：广告精准推荐

腾讯广告通过将品牌、媒体等各种素材内容进行标签化处理，再通过大模型进行分析处理，匹配结合用户画像标签数据信息，优化广告推送精准度，实现了内容关联率大幅提升，A/B测试广告GMV显著提升等良好效果。

（2）内容创作：辅助20+媒体提速内容创作

与深圳晚报等头部主流媒体合作，借助大模型文生图等能力生成专业的新闻报道。

（3）办公场景：腾讯会议AI小助手

腾讯会议推出的基于混元大模型的覆盖会议全流程的 AI 小助手，通过简单自然的指令，完成信息提取、内容分析、智能提醒等多种复杂任务，提升开会和信息流转效率。

（4）开发场景：AI代码助手

AI代码助手可以辅助开发人员完成代码补全、单元测试、技术对话、代码诊断等工作内容，目前在腾讯内部已经达到50%的日常覆盖率，缩短40%代码开发时间，将研发效率提升了20%。

3、腾讯云TRTC打造一站式AI实时语音交互新玩法

AI语音助手虽然不是新概念，但一直受制于速度和互动性的限制。现在，得益于大模型技术的进步，AI语音对话的流畅度已经能够与人类自然对话相媲美。腾讯云在实时通信技术（RTC）领域拥有深厚的技术积累，并在亚太地区保持着领先地位，每天支持超过30亿分钟的上行时长，为大模型提供了构建实时音视频互动能力的强大支持。

腾讯云的TRTC对话式AI解决方案提供了从音视频采集、处理、传输到云端AI处理服务的一站式全链路能力。无论是社交媒体上的AI语音聊天、智能客服、AI面试等场景，都能利用腾讯的TRTC对话式AI解决方案。该方案支持通话双方智能实时打断、AI降噪、实时字幕生成、对话暂停等功能，极大提升了用户的互动体验。企业还可以根据自身需求，灵活定制使用逻辑，以满足特定场景的应用需求。

4、腾讯云TI平台支持大模型全生命周期管理

面对企业在高性能计算、存储和网络资源的独立运维挑战，以及模型训练和推理加速方案的复杂性，腾讯云TI平台提供了一个全面的大模型调优解决方案，覆盖从数据处理到模型开发、调试和发布的全生命周期管理。

该平台支持20多种常用基底大模型，并允许一键启用和部署，同时提供训练和推理加速模块，可显著降低成本并提升30%以上的效率。此外，通过集成HCC、CFS、星脉网络和TKE集群管理，平台实现了资源的统一管理和调度，包括断点续训和故障自愈能力，极大提高了训练效率和集群利用率。

5、腾讯云向量库，AIGC应用不可或缺的“外挂硬盘”

开源模型在处理长文本时常常受限于其训练方法，难以有效扩展，因此需要专门的存储解决方案来维护上下文信息。同时，企业内部积累的大量私有数据往往未包含在大模型的训练集中，这就需要额外的存储设备来保存这些宝贵的知识资源。为了精准地从这些数据中检索信息并辅助大模型解决问题，向量数据库必须具备强大的检索能力。

为了解决这些问题，腾讯提出了几项解决方案。首先，通过腾讯云向量数据库为大模型提供外部知识库，从而提高回答的准确性，支持单索引行数可达10亿行。其次，在多租户场景中，提供自定义的数据分区策略，以提升数据索引效率，简化分库分表的复杂性。最后，腾讯还提供了一个端到端的AI套件，包括文档预处理、embedding模型和向量检索算法等功能，全面满足RAG应用的需求。

6、天御搜索增强解决方案，提升大模型回答准确率

目前，客户越来越多的需求是处理实时数据。腾讯为此推出了天御搜索增强解决方案，在大模型的数据、标注、推理阶段，采用向量数据库和搜狗搜索引擎的结合策略。具备以下核心能力：

数据增强：利用搜索引擎广泛公开数据集，做定向垂类数据增强。取代原本爬虫服务

辅助标注：利用搜索引擎知识准确性，解决标注过程中不确定内容的答案提升

缓存数据：在推理过程中，对于热点事件、高频相近内容请求，通过缓存向量数据库，降低响应延迟、推理成本

推理增强：对于LLM大模型实时信息获取能力的增强

实时插件：通过搜索引擎自带的实时技能接口，补充天气、日期、赛事比分等内容

7、AIGC内容端到端合规保障

面对AIGC生成内容的不可控性和合规审核挑战，腾讯云提供了一种便捷接入的一体化内容安全解决方案，能够以极低的开发成本实现增量数据的一键审核。同时，还采用精准的安全策略模型，专门针对AIGC场景进行审核策略调优和底层模型的定制开发，以确保内容合规。

此外，该解决方案还具备更高的数据处理性能，能够智能调度处理集群，实现近存储侧的处理，从而提供更优的数据传输时延和降低成本。

- END -

查看原图 78K

腾讯云李想：云上智能， 一站式打造AI原生应用