基于多模态大模型，自动驾驶技术Nullmax Intelligence（以下简称“NI”）可实现对声音、文本和手势等众多信息输入的支持，输出可视化结果、场景描述，以及驾驶行为。此外，NI还把类脑神经网络引入自动驾驶架构，让脑科学与自动驾驶相结合，提升了系统的智能化和安全性。同时布局自动驾驶和脑科学两大领域，也为自动驾驶向智能驱动进化带来了新的启发。
近年来，汽车智能化程度快速提升，智能驾驶应用场景逐步扩大，高阶功能向城市加速渗透。但是，由于重规则、泛化差、成本高、开不好等问题，智能驾驶的普及受到限制，范围、规模有待提升。
端到端成为热词
特斯拉从FSD V12开始全面进入端到端架构。目前，尚不清楚特斯拉端到端模型的具体结构。有推测表示，特斯拉端到端有可能采用生成式AI模型，将来自视觉模块和地图模块的所有信息进行编码，类似于语言模型中的单词token，再以序列自回归的方式预测节点的位置、属性及连接关系。
2024年7月，特斯拉最新版本的FSD V12.5在美国上市。FSD V12.5的参数量是V12.4的5倍，可以实现高速公路和一般道路的算法统一。马斯克表示，FSD将在发布V12.6后进入中国、欧洲，以及其他国家和地区。根据特斯拉2024Q1的财报电话会议，预计到2024年年底，云端算力会提升到85-100EFLOPS。算力的提升，使得FSD的迭代速度显著加快，每个新版本都带来性能的大幅提升。特斯拉FSD从V12到V12.3共推出7个迭代的衍生版本，花费了近4个月时间。而从V12.3到V12.3.6推出的8次版本迭代所花费的时间，仅有一个半月左右。
主流的自动驾驶系统分为感知、规划与控制三大模块，每个模块专注于处理特定的任务。而模块间信息传递问题可能影响系统的实时响应能力。同时，不同模块在技术上的差异，也增加了人员培训成本和技术更新难度。
端到端模型其实是将三大模块整合在一起，通过简化系统架构，提高运行效率，以便更快地处理数据，提升系统响应速度。同时，由于减少了对激光雷达和高精地图的依赖，端到端模型也降低了整体成本。
自特斯拉提出引入端到端大模型发展自动驾驶以来，小鹏、蔚来、理想等车企，以及华为、地平线等供应商都宣布跟进部署基于端到端的智能驾驶系统。今年，端到端已成为智驾领域的热词。
不过，端到端自动驾驶在实现量产应用与普及方面仍面临诸多挑战，包括技术路线的不确定性、算力和数据的需求，以及系统的安全性和可解释性问题。
目前来看，大多数自动驾驶算法模型，以及引发全行业追逐的端到端模型，都是基于海量数据训练和调优实现的。由此，在业内看来，现阶段自动驾驶行业处于数据驱动的时代。与此同时，数据驱动存在诸多问题。比如，随着对端到端技术的研究和应用走向更加深入，对于数据质量的要求变得越来越高，以及存在泛化性能不足和效率不高等问题。更加重要的是，在应对一些corner cases（边缘场景）时不如人类大脑的反应速度。
在这样的行业背景下，以Nullmax为代表的一些自动驾驶初创企业提出了创新性的思考。
安全类脑弥补不完美
近期，Nullmax举办了主题为“AI无止境，智变新开端”的技术发布会，正式推出了最新的自动驾驶技术NI，以更聪明、更拟人的方式应对行业自动驾驶难题。据Nullmax创始人、CEO、CTO徐雷介绍，NI系统由多模态端到端大模型和安全类脑构成。
端到端模式曾因“黑箱”特性和特征抽象，面临“可解释性”的挑战。据介绍，在视觉基础上，NI增加了对声音、文本、手势等信息的输入支持，通过多模态的端到端模型进行任务推理，由系统整体输出可视化结果、场景描述和驾驶行为三种解释方式，以便达到交叉验证和干涉调整的目的，从而打破端到端“黑箱”问题。
其中，HMI（人机界面）展示了系统对周边环境的理解能力，比如道路边缘线、车辆朝向等；而场景描述会给出天气、车型，交通参与者的动作等信息；基于描述，则会产生驾驶行为输出，包括行驶轨迹和路径点。“简单来说，一个场景的样貌、语言描述和动作规划，三者之间必须符合逻辑才行。”徐雷说道，如果在没有激光雷达、高精地图乃至其他图的情况下，车辆要通过十字路口，就需要对十字路口有实时感知和理解能力。
基于这个端到端的多模态大模型，参数量为十亿级别，根据导航信息输出行驶轨迹。输出的轨迹到底对不对，由一级仲裁和二级仲裁决定，由此评判自行车是否会与其他交通参与者发生碰撞。一级仲裁是基于多模态端到端的大模型输出，针对交规、物理学等进行规则约束。同时，NI还构建了基于类脑神经网络的安全类脑，对多模态模型的输出进行二级仲裁，起到监督功能。
徐雷表示，有的端到端输出轨迹可能加速度特别快，会让人感到不适，又或者开到了自行车道上，这些规划的合理性判断将由一级仲裁把关；安全类脑则属于二级仲裁，天然的避障能力可以保证车辆不发生碰撞。
所谓安全类脑，则是参考了斑马鱼脑部神经网络，搭建了一个参数量为十万量级的神经网络，以便让自动驾驶算法具备“趋利避害”的生物本能，能够根据环境情况作出反应，从而实现更高程度的安全、智能、自由。“就像鱼一样，它们可以保证自己不会在鱼群中发生碰撞。”徐雷表示。
据介绍，近几年，来自德国、日本等国家的科研团队纷纷对斑马鱼“趋利避害”及脑神经元进行研究。徐雷透露，NI架构预计会在明年上车应用，由此自动驾驶行业有望进入智能驱动的时代，并将“用眼观察、用脑思考、与物理世界交互”的AI能力拓展到载人、货运和机器人等领域。
