12 月 18 日，在 2024 冬季火山引擎 FORCE 原动力大会上，火山引擎边缘云全面升级智能边缘。 秉持“连接与计算无处不在，让 AI 触手可及”的理念，此次升级后，火山引擎边缘云基于端边云协同框架，提供全面的物联网平台、智能平台以及边缘大模型网关服务，同时推出边缘原生智能体，拓宽 AI 应用场景并促进了技术革新，助力大模型行业应用加速落地。
本次产品升级，包括提供端侧 OneSDK 一站式解决方案，简化端智能接入流程；优化边缘侧性能， 基于边缘云原生操作系统，显著提升推理请求的加速性能，加强了边缘推理能力和边缘安全措施；升级中心管控， 整合物联网、边缘智能和边缘大模型网关三大功能模块，针对大模型场景，增强文件分发、智能体配置等关键功能；打造行业智能体， 为特定行业开发了边缘原生智能体，助力更多行业打造 AI 生产力。
在 AI 技术变革之际，大模型的发展逐渐走向多元化，呈现出新的发展趋势。
首先，从行业视角出发，“端智能场景加速落地”。 端设备涵盖了 AI PC、AI 手机以及眼镜、耳机等可穿戴设备和玩具，这些设备正与大模型结合，为消费者提供更高级的 AI 服务。
其次，从技术视角出发，“端边云协同形成新趋势”。 由于端侧设备的功耗和算力限制，推理任务正在向边缘或云端转移。这种协同模式有效平衡了隐私保护和性能需求。
第三，从产业发展视角出发，“千模”走向“万体”。这一变化是技术进步和市场需求的共同产物，智能体能够更好地发挥现有模型的能力，同时市场正专注于特定领域智能体的开发，促进了应用、平台和基础设施的健康发展。
最后，从安全视角出发，随着大模型的广泛应用，安全与合规重要性凸显。
事实上，火山引擎边缘智能已经 帮助众多企业加速落地大模型，助力业务增长：地瓜机器人 RDK X5 开发套件通过集成边缘大模型网关，支持开发者通过标准化的 ROS 接口调用大模型，推动具身智能行业的数智化进程； 抖音电商通过边缘智能，完善智能仓储基础建设，构建智能物流体系； 上海某高校通过边缘智能，面向产学研场景孵化边缘 AI 方案，开创校企合作新篇章……
在与众多客户深入合作的过程中，火山引擎边缘智能洞察到 AI 2.0 时代所面临的技术挑战。针对大型模型部署的实际难题，不断探索并优化技术路径，为行业提供面向 AI 2.0 时代的全系列产品解决方案。
端智能在落地过程中可能遇到的问题和挑战，可以归纳为四个“多”，包括 “多平台集成”、“多 SDK 适配”、“多重设备身份管理”、“多种模型协同”。 针对端智能面临的四个“多”问题，边缘智能推出了三个“一”的解决方案：端侧 OneSDK、OneCredential 和 OneStop 一站式服务。
OneSDK，即端侧仅需集成一个 SDK，即可一站式解决在线升级（OTA）、日志记录、远程登入、设备管理等设备运维需求，以及设备密钥、设备证书等设备安全需求，还能满足多模型和多智能体调用的设备智能需求。同时，提供硬件抽象层（HAL）接口，以便在 RTOS、其他嵌入式操作系统，甚至是无操作系统的设备上轻松迁移 SDK。
OneCredential，支持云上多平台间的身份互认和权限穿透，使得设备端可以共享一套密钥和证书，在确保安全性的同时，降低了成本并提升了性能。
OneStop，通过深度融合端云技术打造一站式端智能体方案，大幅降低端侧智能体的开发与接入门槛。
虽然端侧设备在算力和内存方面取得了显著进步，然而由于功耗和成本的限制，端侧设备的算力仍然落后于中心服务器。为此，行业上采用模型剪枝、蒸馏和量化等技术来缩小模型尺寸，以便在算力较小的平台上部署，但小型化模型往往会导致模型的泛化和通用性有所下降。
为了应对这一挑战，边缘智能开发了智能的决策器，它能够根据输入提示语并结合其他相关因素，智能地决定是在本地完成推理还是将推理请求智能路由至边或云的算力中。
在 AI 2.0 时代，推理请求的复杂性往往隐藏在提示词之中。这时需要引入一个模型来解析提示词，并选择最合适的路由策略。当然在这一过程中，智能决策器将充分考虑提示词的隐私级别和任务的复杂度，涉及隐私的问题倾向于在本地进行推理；复杂任务更倾向于调度至边缘或云端进行处理。当决策结果出现矛盾时，安全隐私将作为首要考虑的原则，确保推理过程仅调用本地模型，以保障用户数据的安全和隐私。
此外，在智能决策器决定将推理请求转发至设备之外时，边缘大模型网关提供四大核心能力，以助力提升云边大脑的访问效率：
标准接口：边缘大模型网关已适配约 20 种主流大模型厂商及多个智能体提供商，提供与 OpenAI 完全一致的标准接口。简化开发者在不同模型间的迁移过程，提升开发效率。
就近访问：边缘大模型网关依托分布广泛的边缘节点及智能流量调度策略，确保端侧设备能够实现就近快速接入，降低延迟。
推理加速：边缘大模型网关运用多种缓存技术和边缘推理方法，有效加快查询速度，提升整体性能。
高鲁棒性：在稳定性方面，边缘大模型网关通过跨模型厂商的故障迁移机制和错误重试策略，增强了请求处理的鲁棒性，确保服务的连续性和可靠性。
面对从基础模型向多样化智能体转变的发展趋势，边缘原生智能体将在这一进程中扮演关键角色。真正的边缘原生智能体应该具备以下四个特点：
理解设备能力： 设备接入平台时，智能体能动态获取并理解设备能力信息。
连接物理世界： 理解设备能力后，结合用户的输入，能自主地感知或操作设备。
单智能体协同： 单智能体能够在端、边、云内灵活调度服务，完成特定任务。
多智能体协同： 多智能体可以进行端、边、云分布式部署并协同完成更为复杂的任务。
在万物互联时代，设备的能力被概括为设备属性、设备事件和设备服务，同时，通过位置和其他描述性信息，可以具体化单个设备实例的详细情况。在大模型时代，火山引擎边缘智能将这些信息作为提示语（prompt）注入到大模型中，智能体就能够动态地理解和适应设备的能力。
基于这一构想，边缘智能联动扣子，通过定制插件和工作流让智能体具备感知、操作设备的能力，目前已在智能数字工厂、智慧园区落地。管理者只需通过设备，即可实时查询工厂或园区情况、掌握各类数据，进一步提高管理水平。
另外，针对智能体的云边端协同，主要分为两种形态。第一种是单个智能体在端、边、云三者的协同，这种模式使得智能体能够在边缘和端侧延伸其功能，实现与物理世界的紧密连接。第二种是多智能体间的协同，分布式部署在端、边、云上的多智能体，在保留原有优势的基础上，将展现出更高的自治性和智能水平。
无论是单一智能体还是多智能体，都依赖于高效可靠的云边端网络通信。依托海内外 2500 多个边缘节点以及充足的网络带宽储备资源，火山引擎边缘云构建了面向全球用户的分布式云网基础设施。这一基础设施面向端 - 边互联、边 - 边互联以及边 - 云互联场景，提供了 1-40 ms 广域网络接入能力，支持智能应用实现就近上云，为单一智能体和多智能体的云 - 边 - 端协同提供了坚实保障。
智能体作为一种应用和服务，不仅会遭遇传统的安全威胁，还将面临新型安全攻击和挑战，例如幻觉攻击、对抗性攻击、病毒感染和后门攻击等。此外，由于智能体连接了物理世界，安全威胁的潜在影响被放大，甚至可能引发针对人员或设备的物理攻击。
针对这些风险，边缘智能在传统的安全防护措施，如 DDoS 防护、WAF 和频次控制的基础上，增添了针对 AI 2.0 时代的边缘安全防护功能。具体来说，在输入层对输入的提示词进行安全性检测，拒绝任何不安全或不合规的提示词请求，同时，通过提示词扰动，降低提示词的安全风险。另外，通过在系统提示词中有针对地添加防御性的描述，增强大模型对提示词攻击的防范能力。在输出层，对智能体的输出结果进行深入分析和检测，以提高结果的安全性和合规性。
将大模型融入现有的开发生态技术栈，是加速其在行业应用落地的关键。这种融合不仅仅是简单的集成，而是一种平台与合作伙伴之间的双向互动和深度集成。火山引擎边缘智能基于这一理念已在不同领域推进行业生态合作。以具身智能方向为例，边缘智能联合地瓜机器人落地“云 - 边 - 端”一体化机器人解决方案。
ROS 是机器人操作系统中常见的一种，为了使大模型能够无缝融入 ROS 系统，地瓜机器人对火山引擎边缘大模型网关进行了二次封装，将其转化为 node 应用，融入了 ROS 生态之中。同时，火山引擎通过完善容器网络，解决了 node 之间的广播通信问题，从而帮助 ROS 生态更加顺畅地构建在火山引擎边缘云操作系统之上。正是这种平台与生态双向集成、相向集成的合作模式，大模型才能在机器人生态中得以快速应用和发展。