欢迎关注下方公众号阿宝1990，本公众号专注于自动驾驶和智能座舱，每天给你一篇汽车干货，我们始于车，但不止于车。
佐思汽研发布《2024年中国汽车多模态交互发展研究报告》。报告主要梳理了主流座舱交互方式、2024年上市的重点车型交互方式应用、车企/供应商座舱交互方案，并总结座舱多模交互融合发展趋势。
一
语音识别主导座舱交互，融合多种模态打造交互新体验
在当前座舱交互应用中，语音交互是智能座舱搭载量及使用频率最高的应用。根据佐思汽研最新统计，2024年1-8月，车载语音系统的装配量已攀升至约1100万辆，装配率高达83%，同比增幅达到10.9%。百度Apollo智能座舱业务总经理李涛指出“人们对座舱的使用频次从最早每天3-5次的个位数到今天不仅飙到两位数，在一些语音交互技术领先的车型上甚至已经达到了接近三位数”。
语音识别功能的高频应用不仅极大地优化了用户的交互体验，还促进了与触控、面部识别等其他交互模态的融合发展趋势。例如，蔚来Banyan 榕 2.4.0系统推出的全舱记忆功能，基于面部识别功能，NOMI主动向已录入信息的驾乘人员问好（如“豆豆早”）；极氪7X将语音识别与眼神融合，实现主驾凝视可见即可说、主驾偏头语音车控功能。
语音识别功能主导下的多模态融合（部分）
来源：佐思汽研《2024年中国汽车多模态交互发展研究报告》
二
比亚迪推出手掌静脉识别，星纪元亮相舱内健康监测
相较于已经较为成熟的语音、面部识别等交互方式，指纹、静脉、心率等生物识别技术尽管仍处于探索与发展的初期阶段，却也开始逐渐量产应用。例如，2024年比亚迪推出手掌静脉识别功能，可实现车辆的便捷解锁；捷尼赛思、奔驰分别推出的2025款捷尼赛思GV70、2025款奔驰纯电EQE等车型也引入了指纹识别系统，让用户能够仅凭指纹完成身份认证、车辆开启及支付等一系列操作；此外，星途星纪元在新车型ET中继续搭载了由虹软公司提供的视觉感知技术，实现舱内智慧健康监测功能，为用户输出包括心率、血压、血氧饱和度、呼吸频率及心率变异率五大身体特征指标的健康报告。
生物识别技术的引入不仅提升了驾驶的便利性，更显著增强了汽车的安全防护性能，有效防止了疲劳驾驶和盗车等安全隐患。未来，这些生物识别技术将更广泛地融合于汽车的智能化、网联化发展，为驾驶者提供更加安全、个性化的出行体验。
案例一：捷尼赛思2025款 GV70搭载的指纹识别系统，让用户可以通过指纹认证快速应用个性化设置（如座椅、位置等），同时也支持车辆启动的启动/行驶。此外，还有便捷使用、指纹支付、代客模式等个性化联动功能。
图源：捷尼赛思
案例二：比亚迪推出的手掌静脉识别系统，是通过摄像头读取手掌的静脉数据，可在8-20cm的距离间，水平360度，垂直15度进行识别，利用专业图像采集模块获取静脉纹路的图像，经过算法提取特征并存储，最终实现身份验证和识别。未来或将率先搭载于高端品牌仰望车型系列。
图源：比亚迪
案例三：星途星纪元推出的ET车型搭载了DHS智慧健康监测功能。基于视觉多模态高级算法，可实时根据人体表面情况分析出身体健康状态，测量心率、血压、血氧饱和度、呼吸频率及心率变异率五大身体特征指标，并输出健康报告。
图源：星途星纪元
三
AI大模型引领座舱交互革新，感知智能进阶认知智能
中国工程学会在其联合发布的白皮书中，对智能座舱进行了明确的定义与分级。该分级体系依据智能座舱所实现的能力，从人机交互能力、场景拓展能力以及网联服务能力三大维度进行综合考量，将其细分为L0-L4共五个层级。
随着AI大模型在智能座舱领域的广泛应用，人机交互能力已跨越L1感知智能的界限，迈入L2认知智能的新阶段。
具体而言，在感知智能阶段，智能座舱主要依赖于座舱内的传感器系统，诸如摄像头、麦克风及触摸屏等，来捕捉并识别驾乘人员的行为、语音及手势信息，进而将这些信息转化为机器可识别的数据。然而，受限于既定的规则与算法框架，此阶段的座舱交互系统尚缺乏自主决策与自我优化的能力，主要体现为对输入信息的被动响应。
进入认知智能阶段后，智能座舱凭借大模型技术的强大多模态处理能力，能够综合解析语音、视觉、触觉等多种数据类型。这一特性使智能座舱展现出高度的智能化与人性化，能够主动思考、主动服务，并敏锐感知驾乘人员的实际需求，为用户提供千人千面的人机交互服务。
智能座舱等级划分
资料来源：《汽车智能座舱分级与综合评价白皮书》；佐思汽研整理
案例一：商汤绝影于“2024绝影实力AI DAY”推出智能座舱AI大模型产品——A New Member For U。可视为车端“贾维斯”，能够察言观色，主动思考、服务、规划。例如，在路途中主动为后排睡着的孩子调高空调温度、降低音乐声量，将底盘和驾驶模式调整为舒适模式，营造更加舒适的睡眠环境。此外，还可主动探测乘员身体状态，为生病的乘员和驾驶员寻找就近的医院，规划道路。
图源：商汤绝影
案例二：蔚来「NOMI Agents」多智能体框架通过AI大模型重构了NOMI的认知和复杂任务处理能力，使其可以学会使用工具，比如调用搜索、导航和预约服务。同时，根据任务的复杂性和时间跨度，NOMI能够进行复杂的规划和编排。例如，NOMI六大核心多智能体功能中，“NOMI DJ”基于用户需求，为用户推荐符合情境的歌单，主动营造氛围；“NOMI探索”基于空间方位进行理解，匹配地图数据和世界知识，回答孩子的提问，例如“边上的塔是什么塔？”。
资料来源：蔚来；佐思汽研整理
《2024年中国汽车多模态交互发展研究报告》目录
页数：270页
01
座舱多模态交互概述
1.1 多模态交互定义
1.2 多模态交互发展体系
1.3 多模态交互产业链
1.3.1 多模态交互产业链-芯片商
1.3.2 多模态交互产业链-算法商
1.3.3 多模态交互产业链-系统集成商
1.4 多模态交互政策环境
1.4.1 智能网联汽车网络数据安全相关法规盘点
1.4.2 多模态交互法律法规（1）
1.4.2 多模态交互法律法规（2）
1.4.2 多模态交互法律法规（3）
02
座舱单模态交互梳理
2.1 座舱模态交互系统装配情况
2.1.1 2024年车载语音识别装配量 & 装配率
2.1.2 2024年车载声纹识别装配量 & 装配率
2.1.3 2024年车外语音识别装配量 & 装配率
2.1.4 2024年车载手势识别装配量 & 装配率
2.1.5 2024年车载人脸识别（FACE ID）装配量 & 装配率
2.1.6 2024年车载 DMS 装配量 & 装配率
2.1.7 2024年车载 OMS 装配量 & 装配率
2.2 触觉交互
2.2.1 触觉交互发展路线
2.2.2 触觉交互车型应用案例
2.2.3 触觉反馈技术
2.2.4 触觉交互供应商梳理
2.3 听觉交互
2.3.1 语音识别发展路线
2.3.2 语音识别车型应用案例
2.3.3 声纹识别车型应用案例
2.3.4 车外语音识别车型应用案例
2.3.5 语音交互供应商梳理
2.4 视觉交互
2.4.1 手势识别发展路线
2.4.2 手势识别车型应用案例
2.4.3 面部识别发展路线
2.4.4 人脸识别车型应用案例
2.4.5 视线识别车型应用案例
2.4.6 唇动识别车型应用案例
2.4.7 视觉交互供应商梳理（1）-手势识别
2.4.7 视觉交互供应商梳理（2）-人脸识别
2.4.7 视觉交互供应商梳理（3）-唇动识别
2.5 嗅觉交互
2.5.1 嗅觉交互发展路线
2.5.2 嗅觉交互车型应用案例
2.5.3 车载智能香氛/空气净化供应商梳理
2.6 其它生物识别功能
2.6.1 虹膜识别功能发展路线
2.6.2 虹膜识别车型应用
2.6.3 虹膜识别AR/VR应用
2.6.4 虹膜识别供应商解决方案
2.6.5 虹膜识别供应商汇总
2.6.6 指纹识别发展路线
2.6.7 指纹识别车型应用案例
2.6.8 指纹识别供应商梳理
2.6.9 静脉识别发展路线
2.6.10 静脉识别车型应用案例
2.6.11 静脉识别供应商梳理
2.6.12 心率识别发展路线
2.6.13 心率识别车型应用案例
2.6.14 心率识别供应商梳理
2.6.15 肌电识别发展路线
2.6.16 肌电识别设备介绍
2.6.17 肌电识别车型应用
2.6.18 肌电识别供应商梳理
03
主机厂座舱多模态交互方案
3.1 上汽
3.1.1 上汽零束银河全栈解决方案
3.1.2 上汽飞凡智能座舱方案
3.1.3 上汽智己智能座舱方案
3.1.4 上汽智己生成式大模型
3.1.5 上汽多模态交互 OTA 内容汇整（1）：飞凡
3.1.5 上汽多模态交互 OTA 内容汇整（2）：智己
3.2 比亚迪
3.2.1 比亚迪智能座舱方案
3.2.2 比亚迪舱内特色多模态交互应用
3.2.3 比亚迪璇玑 AI 大模型
3.2.4 比亚迪多模态交互 OTA 内容汇整（1）：比亚迪王朝 & 海洋
3.2.4 比亚迪多模态交互 OTA 内容汇整（2）：腾势
3.2.4 比亚迪多模态交互 OTA 内容汇整（3）：方程豹 & 仰望
3.3 长安
3.3.1 长安汽车智能座舱方案
3.3.2 长安启源智能座舱方案
3.3.3 长安深蓝智能座舱方案
3.3.4 长安阿维塔智能座舱方案
3.3.5 长安车载大模型：星海大模型
3.3.6 长安多模态交互 OTA 内容汇整（1）：长安汽车
3.3.6 长安多模态交互 OTA 内容汇整（2）：阿维塔
3.3.6 长安多模态交互 OTA 内容汇整（3）：深蓝
3.4 广汽
3.4.1 广汽智能座舱方案
3.4.2 广汽ADiGO SENSE AI大模型
3.4.3 广汽多模态交互 OTA 内容汇整
3.5 吉利
3.5.1 吉利汽车智能座舱方案
3.5.2 极氪智能座舱方案
3.5.3 极越智能座舱方案
3.5.4 吉利星睿AI大模型
3.5.5 极氪 Kr AI 大模型
3.5.6 吉利多模态交互 OTA 内容汇整（1）：吉利汽车
3.5.6 吉利多模态交互 OTA 内容汇整（2）：极氪
3.5.6 吉利多模态交互 OTA 内容汇整（3）：极越
3.7 蔚来
3.7.1 蔚来智能座舱方案
3.7.2 乐道智能座舱方案
3.7.3 蔚来舱内特色多模态交互应用
3.7.4 蔚来多模态感知大模型：NOMI GPT
3.7.5 蔚来多模态交互 OTA 内容汇整
3.8 小鹏
3.8.1 小鹏智能座舱方案
3.8.2 小鹏舱内特色多模态交互应用
3.8.3 小鹏车载语言大模型：XGPT
3.8.4 小鹏多模态交互 OTA 内容汇整
3.9 理想
3.9.1 理想智能座舱方案
3.9.2 理想舱内特色多模态交互应用
3.9.3 理想智能座舱
3.9.4 理想多模态交互 OTA 内容汇整
3.10 零跑
3.10.1 零跑智能座舱方案（1）
3.10.1 零跑智能座舱方案（2）
3.10.2 零跑语音大模型：通义大模型
3.10.3 零跑多模态交互 OTA 内容汇整
3.11 小米
3.11.1 小米智能座舱方案
3.11.2 小米车端大模型：MiLM
3.11.3 小米声音大模型上车
3.11.4 小米多模态交互 OTA 内容汇整（1）
3.11.4 小米多模态交互 OTA 内容汇整（2）
3.12 宝马
3.12.1 宝马智能座舱方案（1）
3.12.1 宝马智能座舱方案（2）
3.12.2 宝马舱内特色多模态交互应用
3.13 奔驰
3.13.1 奔驰智能座舱方案
3.13.2 奔驰舱内特色多模态交互应用
3.13.3 奔驰座舱大模型合作动态
3.14 大众
3.14.1 大众智能座舱方案
3.14.2 大众触觉交互系统升级动态
3.14.3 大众语音交互系统升级动态
04
供应商座舱多模态交互方案
4.1 德赛西威
4.1.1 德赛西威公司介绍
4.1.2 德赛西威多模交互方案（1）
4.1.2 德赛西威多模交互方案（2）
4.2 均胜电子
4.2.1 均胜电子公司介绍
4.2.2 均联智行智能座舱演进定义
4.2.3 均胜电子多模态交互布局
4.2.4 均联智行座舱交互特点（1）
4.2.4 均联智行座舱交互特点（2）
4.3 商汤科技
4.3.1 商汤科技公司简介
4.3.2 商汤绝影智能座舱产品体系
4.3.3 商汤绝影智能车舱产品
4.3.4 商汤日日新大模型赋能座舱交互
4.3.5 商汤绝影多模态交互应用案例
4.4 科大讯飞
4.4.1 科大讯飞公司简介
4.4.2 科大讯飞全栈智能交互技术
4.4.3 科大讯飞多模感知系统特点
4.4.4 科大讯飞星火认知大模型
4.4.5 星火大模型赋能座舱交互
4.4.6 多模态交互成为讯飞超脑2030计划重点方向
4.5 中科创达
4.5.1 中科创达公司简介
4.5.2 中科创达座舱交互特点
4.5.3 中科创达魔方Rubik大模型赋能座舱交互
4.5.4 中科创达整车操作系统
4.6 思必驰
4.6.1 思必驰公司简介
4.6.2 思必驰多模态交互方案特点
4.6.3 思必驰多模态交互产品
4.6.4 思必驰语言大模型
4.7 华为
4.7.1 华为公司简介
4.7.2 华为多模态交互历程
4.7.3 华为 Hormony OS 4.0 智能座舱
4.7.4 华为新一代鸿蒙座舱 HarmonySpace
4.7.5 华为 HarmonySpace 交互特点（1）
4.7.5 华为 HarmonySpace 交互特点（2）
4.7.5 华为 HarmonySpace 交互特点（3）
4.7.5 华为 HarmonySpace 交互特点（4）
4.7.5 华为 HarmonySpace 交互特点（5）
4.7.5 华为 HarmonySpace 交互特点（6）
4.7.6 华为 HarmonyOS NEXT 交互特点
4.7.7 华为盘古大模型
4.8 百度
4.8.1 百度公司简介
4.8.2 百度AI原生操作系统交互特点
4.8.3 文心一言大模型赋能百度智舱
4.8.4 百度智舱大模型2.0 交互特点
4.9 腾讯
4.9.1 腾讯公司简介
4.9.2 腾讯座舱交互特点（1）
4.9.2 腾讯座舱交互特点（2）
4.10 四维图新
4.10.1 四维图新公司介绍
4.10.2 四维图新座舱交互特点
4.10.3 杰发科技公司介绍
4.10.4 杰发科技智能座舱域控SoC芯片
4.10.5 杰发科技舱内监控功能应用
4.11 大陆
4.11.1 大陆集团公司简介
4.11.2 大陆集团多模态产品布局
4.11.3 大陆座舱座舱交互特点
4.11.4 大陆多模态交互产品（1）
4.11.4 大陆多模态交互产品（2）
4.12 联发科
4.12.1 联发科公司介绍
4.12.2 联发科座舱交互特点
05
标杆车型多模态交互方案应用案例
5.1 传统品牌车型案例
5.1.1 仰望U9
5.1.2 智己L6
5.1.3 吉利银河E8
5.1.4 极氪7X
5.1.5 极越07
5.1.6 长安UNI-Z
5.1.7 长安深蓝G318
5.1.8 阿维塔07
5.1.9 东风奕派 eπ007
5.1.10 极狐阿尔法 S5
5.1.11 星途星纪元 ET
5.2 新势力品牌车型案例
5.2.1 小米 SU7
5.2.2 智界R7
5.2.3 享界S9
5.2.4 理想 MEGA Ultra
5.2.5 小鹏 MONA 03
5.2.6 乐道L60
5.2.7 零跑C16
5.3 合资品牌车型案例
5.3.1 沃尔沃EX30
5.3.2 路特斯 EMEYA 繁花
5.3.3 2024款 别克E5
5.3.4 2025款 BMW i4
5.3.5 2025款 奔驰纯电EQE
5.3.6 2025款 捷尼赛思 GV70
06
多模态交互总结及发展趋势
6.1 智能座舱多模态交互融合应用
6.2 趋势一
6.3 趋势二（1）：座舱交互载体扩展，交互范围向车外延伸
6.3 趋势二（2）
6.3 趋势二（3）
6.4 趋势三（1）
6.4 趋势三（2）
6.4 趋势三（3）
6.5 趋势四