博世:AI-CV技术赋能高效智驾感知数据闭环
时间:2024-09-10 来源: 博世智能驾驶与控制系统 作者:管理员
【汽车供应商网】基于数据驱动的智驾开发离不开高效的数据闭环工具链,AI-CV技术在其中发挥了重要作用。博世运用AI-CV技术,通过视觉语言大模型、深度学习和自动化数据闭环等方法,提高了数据处理和标注的效率,降低开发成本的同时,加速中高阶智驾的迭代与跨域融合ADAS域的开发。
完善的数据闭环支撑ADAS全栈解决方案的量产落地
智能驾驶的量产落地,需要不断解决软件问题,优化迭代系统性能,让产品体验循环上升。整个迭代优化的过程有不同类型的闭环。一个是验证驱动的闭环,主要用于软件发布,仿真测试,实车路试,问题数据落盘,问题分析解决,迭代新软件的过程。另一个是与AI强相关的数据闭环。

在AI时代,问题的解决不再单靠修改模型结构和代码来实现,而是靠补充和优化数据的多样性、平衡性、标注质量、真值精度后,再次训练模型来实现。高质高效的数据闭环,是AI时代最重要的基础设施,也是支持“端到端” 、“无图”的基础要素。
AI驱动的数据闭环技术复杂度非常高,这个闭环的很多环节,比如数据挖掘、数据智能标注等,引入深度神经网络和计算机视觉算法,让数据闭环“自动化”起来,是提升效率、降低成本的必由之路。
具体而言,数据采集可以分为“常规数采”和“专门数采”,前者实现基本数据池建设,后者用于补充数据池中缺失的难例数据;有了数据需求后,进行“数据挖掘”,可以使用视觉大模型和视觉语言大模型进行了“以文搜图”,“以图搜图”,自动化标签;使用主动学习方法,实现业务模型在环的难例挖掘;
数据标注的效率和成本,往往是感知算法模型开发关键依赖项,通过使用激光slam算法和激光感知算法,能自动化地实现动态目标(比如机动车、非机动车、人等)和静态环境(比如交通标志标线、道路结构)的预标注。在预标注基础上再进行人工审核,能极大提升效率。
博世持续投入上述算法和模型的开发,并应用于感知模型算法的优化,其作用充分印证了这类AI-CV算法的价值。
数据分布设计与应用框架
针对中高阶智驾对数据的需求,博世根据多年在自动驾驶领域的经验,设计了智驾的知识图谱,自上而下定义了智驾所涉及的数据类别及其相互关系。例如,我们将图谱的第一层分为交通参与者、交通静态设施、环境、分布外场景和驾驶行为等不同场景,并以此将驾驶相关场景逐层细分,逐步完善对智驾场景的认知和设计。

知识图谱
基于设计的知识图谱,进一步设计了智驾数据的处理和应用框架。这里包含了两个主要阶段,图像数据入库和结构化,数据挑选即数据挖掘。
在图像采集和入库过程中,整个处理流程借助定义的知识图谱,实现人工/自动打tag,并基于tag对数据进行存储和索引,构建结构化的数据库。在数据结构化的过程中,自然完成了对现有数据的分析、统计和盘点,大量的、多样性的数据使得博世有能力做出一个好的自动驾驶产品。

大模型应用框架
另一方面,上图的链路则展示了“数据挖掘”的实现。有了一个完善的结构化数据库,我们可以通过数据挖掘技术来实现图像检索,包括:标签匹配、以文搜图、以图搜图。为了更好的检索性能,具体的流程分为三个阶段:
1.构造基于标签和图像特征等要素的向量数据库;
2.解析搜索需求,从结构化数据库中提取有效的子库;
3.基于相似度完成标签、文本或图像特征的检索;
视觉语言大模型的图像搜索
基于视觉语言大模型的图像特征和图文特征的提取,可以实现“以图搜图”和“以文搜图”。
对于图像全局特征计算,我们采用了transformer结构的特征提取器,设计满足多样性的海量自采数据集,通过挑选、清洗、去重等预处理,进行模型的训练和优化。

图像特征和实例目标特征的提取策略
对于实例目标的特征计算,我们采用视觉语言大模型的结构,在训练阶段训练开集检测来预提取图像中重要目标,并引入文本分支,进行图像特征和文本特征的对齐,而在推理阶段,图像中的重要实例目标,及其视觉特征会被抽取出来,加入向量数据库。
在离线构造图像和实例目标的视觉特征后,可以采用图像query和文本query,提取图像特征和文本特征,分别与库中的向量计算相似度,从而实现“以图搜图”和“以文搜图”。
通过一张带有涂装车的图像,可以轻松地在库中找到类似的图像。

以图搜图
同样,通过“涂装车”的文本描述,也能轻易搜索到对应图像场景。另外,通过“打伞的行人”这类复合的描述,可以快速在库中找到类似的样例。

以文搜图
通过这类图像检索的能力,在模型开发阶段,提升了数据应用的效率,也降低了对人工挑选的大量依赖,进一步降低了成本。
视觉语言大模型的图像标签
我们需要对海量的路采数据进行结构化分析。通过对业务场景的梳理和分析,博世设计了6层500+节点的自动驾驶关键目标层级标签体系。存量及新增的图像数据则会通过自动化的图像标签算法,将其与层级标签体系中的节点进行对应。
图像标签算法采用基于自建督学习的自研视觉基础模型作为骨干网络,并通过搭配不同分支(如环境分类、异常场景分类、交通标志检测、VRU检测等)任务头的方式,实现对给定图像数据的结构化分析。
在闭集的层级标签体系基础上,博世引入了视觉语言模型的开集场景理解能力。通过设计引入视觉标签的prompt 模板,利用视觉语言模型针对每一个被识别的关键目标分析其细粒度的属性及状态信息。下图是结合关键目标识别结果进行属性分析的一个案例。

视觉大模型在自动驾驶域的迁移和Tag应用
通过自动化的图像标签算法,可以将非结构化的图像数据进行结构化的内容梳理,,从而进一步提高数据的效率。同时,基于文本分析等工具,还可以对数据的场景及标签分布进行更深入细致的设计,进而优化下游业务模型的泛化能力。

视觉语言大模型的Tag分析
主动学习算法的难例挖掘
深度学习的模型需要大量的数据训练,模型精度其中一个决定性的因素就是训练集的质量,分布和规模。
在自动驾驶场景中,每日路采/众包数据是海量的,面临的现实问题有两个。其一,如何在海量的数据中选择有价值的数据进行标注 ,节省标注成本;其二,如何用最少的数据最大限度的提升模型的精度,节省标注的预算。
博世利用主动学习算法,从亿级的无标注数据池中,对各个任务的corner case进行准确挖掘,从而实现corner case数据的闭环。

主动学习算法中关键的部分是data mining算法。data mining考虑了三方面的难例因素:
1.通过kernel捕捉局部uncertainty的方式,提取关键位置的不确定性;
2.使用core-set方法,选取核心集合数据;
3.通过多/单模型augmentation推理结果的不一致性, 预测consistency;来挖掘难例。
diversity和consistency方法,缓解了基于uncertainty进行难例挖掘在有些场景因模型over confidence而造成的漏挖掘现象。另外task-agnostic数据挖掘模型,不感知task模型,从数据分布的角度,挖掘分布外的数据。
对于Lidar分割等任务,模型会将卡车车尾的扬尘误检为障碍物
对于可行驶区域判别和目标检测等视觉任务,模型倾向于会将广告牌中的汽车误检为真实的汽车
主动算法能够快速的对各模型各任务的corner case进行挖掘,节省了人工挑选数据的成本。以freespace为例,人工的效率是12000帧人/天,算法可以达到30w帧人/天。同时能够缓解长尾分布问题,挖掘更有价值的数据,精准提升模型性能,用较少的数据实现了更大规模数据才能达到的性能。
激光雷达感知和图像大模型提升
动态标注效率
动态标注主要服务于激光和视觉的3D目标检测任务。考虑到激光点云能够提供更准确的空间和深度信息,激光和视觉3D目标的检测自动标注部分都由激光算法实现。
自动标注链路输入为多路激光点云及图像的时序数据、定位和标定信息,输出包括目标的2D、3D外接框和若干关键属性。主要由3D检测网络、2D检测网络、多目标跟踪算法、时序目标检测网络、目标融合算法、关键属性预测算法等模块构成。
为了进一步标注效率,提供完整的标注结果。动态自动标注任务除了提供目标的2D&3D外接框,还可以输出目标的细分类别信息和关键属性信息,如表征目标难度的遮挡,截断等级等。
此外,借助输入的时序信息,动态自动标注能够关联不同时刻的目标并输出其运动状态。左图的不同颜色代表不同目标的运动轨迹;右图的不同颜色代表不同运动速度。
动态标注的最小标注单元为目标,目前博世的自动标注解决方案能够覆盖约96%的常见目标(例如机动车、骑行者、行人等),通过自动标注 + 自动质检 + 人工质检和修正的方式确保质量。人工标注主要服务于占比较低的罕见目标,博世的标注平台上可以便捷地查询和修改自动标注的结果。
博世的自动标注算法不仅在业务数据集上性能优异,在开源数据集上也有优秀的表现。目前,博世的激光感知算法在Waymo open dataset的3D目标检测任务中排名第二。Waymo作为全球知名的自动驾驶公司,其3D检测公开数据集是目前最主流的3D目标检测数据集之一。
激光雷达SLAM和激光雷达感知提升静态标注效率
博世中高阶智驾的静态自动标注主要用于BEV静态感知模型训练,链路整体分为两步。
第一步,构建静态数据库。
首先将采集好的数据根据特定的需求进行数据搜集,将有位置重叠的数据包进行统一处理,作为整体算法的输入;然后将不同传感器进行时间戳对齐以及对点云进行去畸变处理;之后基于点云分割技术进行动态目标的去除,这样可以帮助算法在后序的多趟建图中达到更好的建图精度,尤其是在多车场景下会有更好的表现;

在做完帧级的处理后,算法将多包数据进行激光SLAM建图并且地图端融合,将多包数据对特定空间进行统一表达重建该场景;该重建场景将作为 AI Annotation 模块的输入,通过离线大模型进行特定标注任务的预刷,例如车道线,人行道等,但算法无法达到 100% 准确;在拿到高精度的预刷结果后,标注员会进行进一步的精修的质检,来保证静态数据库数据的100%精度。
第二步,在已构建真值静态数据库的范围内,新采集的数据可以做到“自动标注”而不是“预标注”,即无需人工在环质检。
具体做法是新采集的数据进行之前链路的预处理和动态目标去除后,直接通过重定位算法拿到已标注真值,然后再将包级别的标注结果分发到每一帧,从而保证连续帧质检的时序稳定性。值得注意的是,在大批量的标注生产链路中无需消耗 GPU 资源和也无需人工质检,达到快速高效生产的目的,支撑无图的感知方案。
博世注重满足合规要求,一方面所有数据和算法运行都在合格环境中管理,而且未使用真实地理坐标,另一方面更强调训练BEV模型,只要局部高精地图段即可,不会构建全局高精地图。
合成数据
博世中高阶智驾认可合成数据的价值,并且在感知模型中部分使用了合成数据进行了交付,验证了合成数据的正向作用。具体来讲,博世主要在两个场景中尝试使用合成数据。
一是针对在量产过程中所遇到的长尾 Corner Case,算法使用合成数据对坡度车位、长草车位、涂装车、异型车等进行了尝试。
二是在量产交付中对新车型的适配,不同传感器的位置更改会导致出现不同的观测视野,并且不同型号激光雷达的切换对于感知算法有较大的影响,博世尝试使用 Nerf和3DGS 进行了车型的变换,并完成了一定性能的提升。
