https://epaper.shautonews.com/Img/2024/8/pc2024081758a13c2ca21a4838b2caf94b6ef9b763.jpg
基于多模态大模型,自动驾驶技术Nullmax Intelligence(以下简称“NI”)可实现对声音、文本和手势等众多信息输入的支持,输出可
http://wap.shautonews.com/content/2024-08/18/020275.html

等待处理…

端到端+安全类脑,比FSD更先进?

本报记者 甘文嘉
2024/8/18

基于多模态大模型,自动驾驶技术Nullmax Intelligence(以下简称“NI”)可实现对声音、文本和手势等众多信息输入的支持,输出可视化结果、场景描述,以及驾驶行为。此外,NI还把类脑神经网络引入自动驾驶架构,让脑科学与自动驾驶相结合,提升了系统的智能化和安全性。同时布局自动驾驶和脑科学两大领域,也为自动驾驶向智能驱动进化带来了新的启发。

近年来,汽车智能化程度快速提升,智能驾驶应用场景逐步扩大,高阶功能向城市加速渗透。但是,由于重规则、泛化差、成本高、开不好等问题,智能驾驶的普及受到限制,范围、规模有待提升。

端到端成为热词

特斯拉从FSD V12开始全面进入端到端架构。目前,尚不清楚特斯拉端到端模型的具体结构。有推测表示,特斯拉端到端有可能采用生成式AI模型,将来自视觉模块和地图模块的所有信息进行编码,类似于语言模型中的单词token,再以序列自回归的方式预测节点的位置、属性及连接关系。

2024年7月,特斯拉最新版本的FSD V12.5在美国上市。FSD V12.5的参数量是V12.4的5倍,可以实现高速公路和一般道路的算法统一。马斯克表示,FSD将在发布V12.6后进入中国、欧洲,以及其他国家和地区。根据特斯拉2024Q1的财报电话会议,预计到2024年年底,云端算力会提升到85-100EFLOPS。算力的提升,使得FSD的迭代速度显著加快,每个新版本都带来性能的大幅提升。特斯拉FSD从V12到V12.3共推出7个迭代的衍生版本,花费了近4个月时间。而从V12.3到V12.3.6推出的8次版本迭代所花费的时间,仅有一个半月左右。

主流的自动驾驶系统分为感知、规划与控制三大模块,每个模块专注于处理特定的任务。而模块间信息传递问题可能影响系统的实时响应能力。同时,不同模块在技术上的差异,也增加了人员培训成本和技术更新难度。

端到端模型其实是将三大模块整合在一起,通过简化系统架构,提高运行效率,以便更快地处理数据,提升系统响应速度。同时,由于减少了对激光雷达和高精地图的依赖,端到端模型也降低了整体成本。

自特斯拉提出引入端到端大模型发展自动驾驶以来,小鹏、蔚来、理想等车企,以及华为、地平线等供应商都宣布跟进部署基于端到端的智能驾驶系统。今年,端到端已成为智驾领域的热词。

不过,端到端自动驾驶在实现量产应用与普及方面仍面临诸多挑战,包括技术路线的不确定性、算力和数据的需求,以及系统的安全性和可解释性问题。

目前来看,大多数自动驾驶算法模型,以及引发全行业追逐的端到端模型,都是基于海量数据训练和调优实现的。由此,在业内看来,现阶段自动驾驶行业处于数据驱动的时代。与此同时,数据驱动存在诸多问题。比如,随着对端到端技术的研究和应用走向更加深入,对于数据质量的要求变得越来越高,以及存在泛化性能不足和效率不高等问题。更加重要的是,在应对一些corner cases(边缘场景)时不如人类大脑的反应速度。

在这样的行业背景下,以Nullmax为代表的一些自动驾驶初创企业提出了创新性的思考。

安全类脑弥补不完美

近期,Nullmax举办了主题为“AI无止境,智变新开端”的技术发布会,正式推出了最新的自动驾驶技术NI,以更聪明、更拟人的方式应对行业自动驾驶难题。据Nullmax创始人、CEO、CTO徐雷介绍,NI系统由多模态端到端大模型和安全类脑构成。

端到端模式曾因“黑箱”特性和特征抽象,面临“可解释性”的挑战。据介绍,在视觉基础上,NI增加了对声音、文本、手势等信息的输入支持,通过多模态的端到端模型进行任务推理,由系统整体输出可视化结果、场景描述和驾驶行为三种解释方式,以便达到交叉验证和干涉调整的目的,从而打破端到端“黑箱”问题。

其中,HMI(人机界面)展示了系统对周边环境的理解能力,比如道路边缘线、车辆朝向等;而场景描述会给出天气、车型,交通参与者的动作等信息;基于描述,则会产生驾驶行为输出,包括行驶轨迹和路径点。“简单来说,一个场景的样貌、语言描述和动作规划,三者之间必须符合逻辑才行。”徐雷说道,如果在没有激光雷达、高精地图乃至其他图的情况下,车辆要通过十字路口,就需要对十字路口有实时感知和理解能力。

基于这个端到端的多模态大模型,参数量为十亿级别,根据导航信息输出行驶轨迹。输出的轨迹到底对不对,由一级仲裁和二级仲裁决定,由此评判自行车是否会与其他交通参与者发生碰撞。一级仲裁是基于多模态端到端的大模型输出,针对交规、物理学等进行规则约束。同时,NI还构建了基于类脑神经网络的安全类脑,对多模态模型的输出进行二级仲裁,起到监督功能。

徐雷表示,有的端到端输出轨迹可能加速度特别快,会让人感到不适,又或者开到了自行车道上,这些规划的合理性判断将由一级仲裁把关;安全类脑则属于二级仲裁,天然的避障能力可以保证车辆不发生碰撞。

所谓安全类脑,则是参考了斑马鱼脑部神经网络,搭建了一个参数量为十万量级的神经网络,以便让自动驾驶算法具备“趋利避害”的生物本能,能够根据环境情况作出反应,从而实现更高程度的安全、智能、自由。“就像鱼一样,它们可以保证自己不会在鱼群中发生碰撞。”徐雷表示。

据介绍,近几年,来自德国、日本等国家的科研团队纷纷对斑马鱼“趋利避害”及脑神经元进行研究。徐雷透露,NI架构预计会在明年上车应用,由此自动驾驶行业有望进入智能驱动的时代,并将“用眼观察、用脑思考、与物理世界交互”的AI能力拓展到载人、货运和机器人等领域。

上篇:没有了
下篇:新能源乘用车销量首超燃油车
分享到

© 2019 上海汽车报社有限公司

备案号:沪ICP备16052313号-2

↑ TOP