提供多传感器数据融合与同步传输,实现快速感知与准确决策的相机全链路方案;
打造高效并行计算、实时 AI 推理于一体的软件开发平台 NVIDIA DriveOS™;
强算力且算力灵活调配,集成多种智能汽车功能的车载计算平台 NVIDIA DRIVE Thor™; 具备先进渲染技术,提供高逼真虚拟环境进行模型训练、测试与验证的数字孪生平台 NVIDIA Omniverse™;
前者能够将数据流水线各部分串联,实现数据的无缝传输,以及不同引擎之间的协同工作; 后者能够初始化和配置图像传感器,高效采集数据,进行图像预处理等工作。
Stitching(图像拼接),将多传感器数据拼接在一起传输给显示器; Car detection(车辆检测),能够将传感器检测到车辆数据准确画框标识; DP MST(多流传输),对多通道的传感器数据进行处理后传输到不同显示器上; Late attach(后期连接),在某个特定的流程或系统运行的后期阶段进行连接或附加操作; Multiple element(多元素处理),多个输出输入端口,实现数据的灵活处理; Sc7(待机模式),采用低功耗模式优化系统启动时间; Sentry mode(哨兵模式),在停车模式下传感器对车辆周围情况进行实时检测,将数据进行脱敏处理后上传到显示器。
针对 LLM/VLM 应用进行优化,最高达到 2000TOPs 的 FP4 算力; Tensor 推理引擎更新到 10.x 版本,进行更好的图优化策略; 采用 L2 Tiling&Chaining 技术,实现更好优化与性能加速效果; 引入灵活 GPU 调度方案,能够支撑起端到端+VLM 的架构设计;
自动驾驶以往面临传统常规道路,模型参数可以压缩到最小,只需要 10x TOPS 的算力; 而面对一些施工道路的非结构化场景,采用的是搭载 Orin 平台的 BEV&Transformer 架构设计,减少了对高精地图的依赖,需要 100x TOPs 算力; 面临随机性强的执法场景,算力需求又提升到一个新的量级,到达 1000x TOPS,才能把「端到端+VLM」这类「通用能力」模型跑起来。
更多的 transformer 结构 (特别是 PNP 部分) 为融合多模态信息引入很多 shortcut 模型更大,结构更深 输入量纲不统一
联接多样化工具,包括 AR、VR、DCC 等各种类型的软件工具及数字资产; 利用多种工具实现定制化工作流程; 分层化设计,实现多人协同工作,并不局限于一种平台生态。