1.随着汽车智能化的发展,智能座舱的人机交互方式正从传统的语音助手向更自然、精准的多模态交互转变。
2.多模态交互技术包括面部情绪识别、多人对话并发、3D手势操控和多模融合等,旨在提升人机交互的体验。
3.然而,舱驾一体化在智能座舱的演进过程中面临诸多挑战,如算力需求、功能安全需求和降低成本需求等。
4.目前,英伟达和高通等公司已在舱驾一体化领域展开初步探索,试图实现更高效、安全且低成本的解决方案。
5.未来,智能座舱将更加人性化、智能化和多样化,以满足人们日益增长的出行需求和舒适度要求。
以上内容由腾讯混元大模型生成,仅供参考
欢迎关注下方公众号阿宝1990,本公众号专注于自动驾驶和智能座舱,每天给你一篇汽车干货,我们始于车,但不止于车。
汽车产业目前处于多项变革同时发生的时期,科技进步推动变革产生,新变革催生新的需求。智能座舱作为汽车市场下个阶段的竞争焦点,各主机厂正试图通过产品差异化来占据市场优势。用户对汽车座舱功能的需求维度也在不断拓展,智能座舱开始成为消费者日常生活的一个延伸,一个可移动的生活空间。未来的智能座舱将更多地兼顾“内容”、“服务”甚至是“主动智能”的升级。
那么,对于即将在未来投入应用的前沿技术,以及那些已经在实践中得到应用的技术成果,智能座舱领域又有着怎样的期待和展望呢?
虚拟现实
车载游戏
车手互联
多模态交互
大语言模型
舱驾一体化
本文小结
1. 出色的图形渲染能力
2. 多元的交互能力
3. 超强的感知能力
4. 强大的计算能力
1. 车载3A游戏技术路线
使用x86架构的芯片构建座舱SoC
运行Android手机类游戏
采用游戏机投屏方式
2. 智能座舱SoC能力要求
出色的GPU渲染能力
供电能力
丰富的车载接口
最早的车机与手机互联案例是利用蓝牙技术拨打电话。由于相关法规禁止驾驶员在驾驶时使用手持电话进行通话,但驾驶员在行车过程中又有通话的需求,因此,将车载麦克风和音响通过蓝牙技术与手机相连,便实现了非手持式通话功能。这种蓝牙互联的需求逐渐成为了刚性需求。
1. 公有无线投屏协议
2. 私有车手互联协议
人机交互模式在座舱内部的表现,一直以来都是评判智能座舱的核心标准。在非智能时代,用户只能通过各类按钮来操控车内功能。然而,随着中控大屏的兴起,大部分功能被整合到屏幕上,用户开始通过触摸屏来控制车辆功能。从触觉的角度来看,触摸屏与实体按键在操作感受上并无显著区别。直到语音助手的诞生,座舱内部的人机交互方式才实现了质的飞跃。通过对话,车载智能语音助手能够识别并执行人的指令,从而部分实现了对人类操作的替代。之所以说“部分”,是因为在实际使用中,车载智能语音助手有时难以精确理解人类的需求。例如,当用户说出“打开空调通风功能”时,智能语音助手可能会错误地理解为打开车窗,而非启动空调的通风模式。
1. 面部情绪识别
情绪识别是一种新兴的交互方式,可以通过识别驾驶员或者乘客的情绪来提供个性化的服务。研究方向包括情绪识别算法、生理信号分析等方面的技术,以提高情感识别的准确性和可靠性。
2. 多人对话并发
上下文状态跟踪:
上下文信息共享:
上下文继承机制:
自然语言理解:
动态调整对话流程:
3. 3D手势操控
4. 多模融合
动作识别和目光追踪与视觉:动作识别和目光追踪技术可以捕捉和分析用户的身体动作和眼球移动,从而实现更加自然和直观的人机交互。这些技术类似于人类的视觉功能,能够“看到”并理解用户的动作和意图。
语音识别与听觉:语音识别技术能够识别和解析用户的语音指令,为用户提供了一种更加便捷和自然的交互方式。这与人类的听觉功能相似,通过声音来接收和理解信息。
触摸控制与触觉:触摸控制技术允许用户通过触摸屏幕或其他设备来进行操作,提供了一种直观和易用的交互方式。这与人类的触觉功能相呼应,通过触摸来感知和操作物体。
香氛系统与嗅觉:在座舱内部,有一个重要的与人类的嗅觉相关的系统,即香氛系统。虽然人类的嗅觉在人机交互中不直接对应某种操作,但香氛系统可以通过释放不同的气味来影响用户的情绪和体验,从而提升交互的舒适度。
2. 大语言模型在车上的应用方式
模型在云端运行
模型在车端运行
3. 车端运行大语言模型可行性探讨
下面,我们来探讨在车端实现大语言模型的可行性。
尽管ChatGPT-3.5和ChatGPT-4的表现令人印象深刻,但OpenAI公司并未将其开源,这导致我们难以对ChatGPT进行深入的量化分析。幸运的是,Meta公司(原Facebook公司)将他们的大语言模型LLaMA(Large Language Model Family of Meta AI )进行了开源。这使得我们能够根据模型的详细信息和运行结果,来探讨在智能座舱内部署LLaMA的可行性。
(1)DDR带宽需求
(2)NPU的算力需求
1. 自动驾驶系统分级
2. ADAS系统对硬件资源的依赖
3. 舱驾一体化架构探讨
高算力需求
功能安全需求
自动驾驶算法需求
降低成本需求
4. 舱驾一体化的尝试
查看原图 35K