OPPO重构系统级AI体验,明年将深耕多模态和个性化

图片

10月17日,OPPO开发者大会(ODC24)在杭州开幕,AI和Color OS15成为当天的重头戏。

OPPO软件工程事业部总裁唐凯表示:“ AIOS是AI手机的关键组成部分,我们认为AIOS会经历三个阶段:从第一阶段的系统应用AI化(AI for System),到第二阶段的系统AI化(System for AI),再到第三阶段的AI即系统(AI as System)。面向AI的新未来,我们将继续保持开放的合作态度,与行业领先者密切协作,为用户打造最佳 AI 手机体验。”

而当前,OPPO AI正在对系统进行AI化重构,包括交互范式,计算范式和开发范式的重构。

在交互范式重构方面,OPPO推出全新的SenseNow 智慧框架,让AI真正实现了“听得清、看得懂、说得好、做得快”的多模态直觉交互体验。

SenseNow 智慧框架集成OPPO自主研发的语音多级唤醒和个性化识别技术,实现语音唤醒和识别的准确率达到97%以上。多模态理解让AI拥有看的能力,是SenseNow 智慧框架的核心,检索增强多模态理解技术的使用,让OPPO AI实现了图文混合检索,支持1000多种主体的识别,涵盖景点、美食、人物等。生成式语音合成框架的使用,让AI可以模拟真人说话的语气和节奏,并支持超过20种个性化音色,带来更自然的语音交互体验。同时,SenseNow智慧框架还让OPPO AI可以融合语音、文本和图片等不同类型的信息源,理解用户的复杂意图,完成跨应用的无缝操作。全新小布将支持超过1800项用机指令,让用户只需要简单的语音指令,就可以完成对应的手机设置或应用操作。

OPPO AI中心产品总监张峻透露,OPPO通过SenseNow框架实现了“边看边说”的功能。表面上看这只是一个细微的体验提升,但背后的技术路径完全不同。传统AI交互通常是单一的——要么“看”,要么“说”,但OPPO的一键问屏功能可以做到边看边说,实现同步多模态的交互。这意味着用户在浏览内容时,可以立即询问或发出指令,AI可以实时响应,而不再需要用户在不同模态之间来回切换操作。

而实现这一点的背后有着复杂的分流决策和信息融合理解技术。系统需要同时处理多种输入源,如视觉信息和语音指令,然后对这些输入进行协同处理。OPPO的目标是让AI助理像真人助理一样,能够“边看、边说、边做”,这种无缝的体验背后涉及相当高的技术门槛。

在计算范式重构方面,OPPO端云协同的大模型矩阵架构,大幅提升计算效率,重构了AI时代的计算范式。OPPO致力于在自主训练大模型的技术积累,不仅突破传统计算的算力瓶颈,更专注于计算效率的提升。在最新一次的SuperCLUE榜单中,OPPO安第斯大模型在安全、智能体和数学子榜上都斩获第一,总榜取得国内第二的卓越成绩。

除了不断打磨自主训练的安第斯大模型之外,OPPO秉承开放合作、携手共赢的理念,与国内众多大模型厂商通力合作, 力求把最好的AI体验带给用户。与阿里云等合作伙伴的协作,提升了AI在这些领域的性能和效率。特别是针对垂域模型能力,OPPO在个性化和高效模型调度方面表现突出。

在端侧计算方面,硬件资源的瓶颈制约了端侧大模型的部署。OPPO与芯片厂商联合研发了突破性的端侧LoRA架构,以一个基座模型和多个动态加载小模型的全新架构,大幅降低了手机内存的峰值占用,实现了多个大模型在端侧部署时硬件资源瓶颈的突破。端云协同的多垂域大模型矩阵,让OPPO AI拥有针对用户的不同场景提供最合适的专业大模型服务的能力。全新的智能决策模型路由,通过对用户提供的信息进行多模态理解,并将其精准分流至对应的专家模型。例如系统可以识别用户上传的照片是数学试卷还是人物照片,并提供相应的解题或动态查询服务,实现高效的个性化调度。

OPPO还全新推出AI私密计算云,采用端云协同的硬件级TEE可信计算技术,确保云侧与端侧的计算同样安全可信,任何人包括OPPO在内都无法获取用户数据。这一技术为用户提供了兼具高效与安全的AI体验。

张峻在接受采访时也表示,明年OPPO会在多模态和个性化方向深耕,同时端云协同也将是重点架构。

在开发范式重构方面,OPPO推出了手机行业的首个智能体开发平台,并正式对全行业开放。该平台提供低门槛、零代码的开发工具,帮助开发者快速构建和部署智能体应用,促进智能体生态的繁荣。通过与百度云、火山引擎、支付宝等合作,OPPO为开发者提供丰富的API和端云协同架构,支持智能体在不同场景中的高效运行。该平台不仅降低了AI开发的技术门槛,还加速了从概念到产品落地的过程,推动AI技术的普及与创新。