搜索引擎优化师,优化seo排名,wordpress论坛小程序源码,宝塔wordpress动静分离0. 简介
传感器的在线高精地图#xff08;HDMap#xff09;估计为传统手动获取HDMap提供了一种低成本的替代方案。因此#xff0c;它有望降低已经依赖HDMap的自动驾驶系统的成本#xff0c;甚至有可能将其应用于新系统。
《Mind the map! Accounting for existing map in…0. 简介
传感器的在线高精地图HDMap估计为传统手动获取HDMap提供了一种低成本的替代方案。因此它有望降低已经依赖HDMap的自动驾驶系统的成本甚至有可能将其应用于新系统。
《Mind the map! Accounting for existing map information when estimating online HDMaps from sensor data》建议通过考虑现有地图来改进在线HDMap估计。主要确定了三种合理类型的现有地图简单地图、带噪和老的地图。此外本文还介绍了MapEX这是一个新的在线HDMap构建框架用于感知现有的地图。MapEX通过将地图元素编码为query并通过改进用于训练经典的基于查询的地图估计模型的匹配算法来实现这一点。 图1. 我们建议使用现有的地图信息 - 即使不准确 - 来从传感器输入中更好地估计在线HDMaps。这样做我们将问题从仅使用传感器生成地图简化为使用传感器辅助的始终可用的地图。 1. 主要贡献
总结来说MapEX的主要贡献如下 根据传感器数据估计在线HDMaps时考虑现有地图信息 讨论了现有地图不完整的合理情况。我们还为nuScenes数据集提供了这些场景的实际实现和代码 介绍了MapEX这是一种新的基于query的HDMap获取方案在从传感器估计在线HDMap时可以结合地图信息。特别是在MapEX中引入了一种将现有地图信息与现有EX查询结合起来的新方法以及一种通过在训练过程中将预测预先归因于GT来帮助模型学习利用这些信息的方法。
2. 在线局部高精地图构建工作回顾
我们在这里提供了一些关于自动驾驶中HDMaps的简要概述。首先讨论HDMap在轨迹预测中的应用然后再讨论它们的获取。最后讨论在线HDMap构建本身。
用于轨迹预测的HDMaps自动驾驶通常需要大量关于车辆导航世界的信息。这些信息通常嵌入到丰富的HDMaps中作为修改神经网络的输入。HDMaps已被证明对轨迹预测的性能至关重要。特别是在轨迹预测中一些方法明确地基于HDMap的表示因此绝对需要访问HDMap。
HDMap获取和维护传统HDMap的获取和维护成本高昂。虽然预测中使用的HDMaps只是一个简化版本包含地图元素车道分隔符、道路边界等并在完整的HDMaps中提供了许多复杂信息但它们仍然需要非常精确的测量。因此许多公司一直在朝着不那么严格的中清晰度地图MDMaps标准发展甚至朝着卫星导航地图谷歌地图、SDMaps发展。至关重要的是具有几米精度的MDMap将是现有地图的一个很好的例子为在线HDMap生成过程提供有价值的信息。我们的地图场景2a探讨了这种情况的近似情况。
传感器的在线HDMap构建因此在线HDMap构建已成为轻图/无图感知的核心。虽然一些工作侧重于预测虚拟地图元素即车道中心线但也有一些工作侧重于更具视觉识别性的地图元素车道分隔符、道路边界和人行横道。可能是因为视觉元素更容易被传感器检测到后一种方案在过去一年中取得了快速进展。有趣的是最新的这种方法—Map-TRv2确实为检测实际车道中心线提供了一个辅助设置。这表明向更复杂的方案收敛包括大量额外的地图元素红绿灯等。
本文的工作与通常研究的变化检测问题相似这些问题旨在检测地图中的变化例如交叉点。MapEX的目标是在现有的可能非常不同的地图的帮助下生成准确的在线HDMap这是为当下在线HDMap构建问题而实现的。因此我们不仅纠正了地图中的小错误而且提出了一个更具表现力的框架以适应任何变化例如扭曲的线条、非常嘈杂的元素。 我们可以使用什么样的现有地图
我们的核心主张是利用现有地图将有利于在线HDMaps构建。我们认为在许多合理的情况下不完美的地图可能会出现。
在线HDMap表示
我们采用了传感器在线生成HDMaps的标准格式我们认为HDMaps由3种类型的多段线、道路边界、车道分隔带和人行横道组成颜色分别与之前的绿色、石灰色和蓝色相同如图2a所示。
虽然真正的HDMaps要复杂得多并且已经提出了更复杂的表示但这项工作的目的是研究如何解释现有的地图信息。因此我们使用研究最多的范式。本文的工作将直接适用于更多地图元素、更细的polylines或栅格化目标的预测。
MapModEX模拟不完美的地图
由于为标准地图采集既昂贵又耗时我们从现有的HDMaps中综合生成了不精确的地图。
为此我们开发了MapModEX一个独立的地图修改库。它获取nuScenes地图文件和样本记录并为每个样本输出ego车辆周围给定补丁中的人行道、边界和人行横道的多段线坐标。重要的是MapModEX提供了修改这些多段线以反映各种修改的能力删除地图元素、添加、移动人行横道、向点坐标添加噪波、地图移动、地图旋转和地图扭曲。MapModEX将在发布后提供以便于进一步重新搜索将现有地图纳入传感器的在线HDMap采集中。
我们使用MapModEX包实现了三个具有挑战性的场景如下所述为每个样本生成场景2和3的10个变体场景1只允许一个变体。我们选择使用一组固定的修改地图以降低训练期间的成本并反映可能只有有限数量的地图变体可用的真实情况。
场景1只有边界可用
第一种情况是只有一个粗糙的HDMap没有分隔带和人行横道可用如图2b所示。道路边界通常与3D物理地标如人行道边缘相关而人行道和人行横道通常由更容易错过的平面标记表示。此外人行横道和车道分隔带通常因建筑工程或道路偏差而被丢弃甚至部分被轮胎轨道隐藏。
因此使用只有边界的HDMaps是合理的。这样做的好处是只需要求标注道路约束就可以降低标注的成本。此外只定位道路边界可能需要较少的精确设备和更新。实施从实际的角度来看场景1的实施很简单我们从可用的HDMaps中删除了分隔带和人行横道。
场景2带噪地图
第二种可能的情况是我们只有非常嘈杂的地图如图2c所示。现有HDMaps的一个弱点是需要高精度大约几厘米这给它们的获取和维护带来了巨大的压力[11]。事实上HDMaps和新兴的MDMaps标准之间的一个关键区别在于较低的精度几厘米和几米。
因此我们建议使用嘈杂的HDMaps来模拟不太精确的地图可能是由于更便宜的获取过程或改用MDMaps标准而导致的情况。更有趣的是这些不太精确的地图可以从传感器数据中自动获得。尽管像MapTRv2这样的方法已经达到了非常令人印象深刻的性能但它们还不是完全精确的即使有非常灵活的检索阈值预测的精度也远低于80%。
实现我们提出了这些有噪声的HDMaps的两种可能的实现方式以反映我们可能缺乏精度的各种条件。在第一个场景2a中我们提出了一个偏移噪声设置其中对于每个地图元素定位我们添加来自高斯分布的噪声其标准偏差为1米。这具有对每个地图元素分隔符、边界、人行横道应用统一平移的效果。这样的设置应该很好地近似于人工标注从嘈杂数据中快速提供不精确标注的情况。我们选择了1米的标准偏差来反映精确到几米的MDMaps标准。
然后我们用一个极具挑战性的逐点噪声场景2b来测试我们的方法对于每个地面实况点——记住一个地图元素由20个这样的点组成——我们从标准偏差为5米的高斯分布中采样噪声并将其添加到点坐标中。这提供了地图自动获取或提供非常不精确定位的情况的最坏情况近似。
场景3地图发生了实质性变化
我们考虑的最后一种情况是我们可以访问过去准确的旧地图见图2d。人行横道等油漆标记不时发生位移是相当常见的。此外城市对一些有问题的十字路口进行实质性改造或翻新区域以适应新景点带来的交通量增加。
因此使用HDMaps是很有趣的它们本身是有效的但在很大程度上与实际的HDMaps不同。当HDMaps只由维护人员每隔几年更新一次以降低成本时这些地图应该经常出现。在这种情况下现有地图仍将提供一些关于世界的信息但可能不会反映暂时或最近的变化。
实现我们通过在场景3a中对现有HDMaps进行强有力的更改来近似这一点。我们删除了地图中50%的人行横道和车道分隔线添加了一些人行横道剩余人行横道的一半最后对地图应用了一个小的扭曲变形。
然而重要的是要注意随着时间的推移全球地图的很大一部分将保持不变。在我们的场景3b中我们对此进行了计数其中我们研究了随机选择概率p0.5来考虑真实HDMap而不是扰动版本的影响。
3. MapEX利用现有地图
为此我们提出了MapEX见图3这是一种在线HDMap构建的新框架。它遵循标准的基于查询的在线HDMap构建范式并通过两个关键模块处理现有地图信息地图查询编码模块和预测及GT的预归因方案。本文基于MapTRv2搭建baseline。 概览
基于查询的核心通过图3中的灰色元素显示。它首先获取传感器输入相机或激光雷达并将其编码为鸟瞰图BEV表示作为传感器特征。使用类似DETR的检测方案来检测地图元素最多N个来获得地图本身。这是通过将N×L个学习的查询令牌N是检测到的元素的最大数量L是为元素预测的点数传递到Transformer解码器中来实现的该Transformer解码器使用与BEV特征的交叉注意力将传感器信息馈送到查询令牌。然后通过线性层将解编码的查询与类预测包括额外的背景类一起转换为地图元素坐标使得L个查询组表示地图元素的L个点本文中L20。训练是通过使用匈牙利算法的一些变体匹配预测地图元素和GT地图元素来完成的。一旦匹配使用回归对于坐标和分类对于元素类别损失对模型进行优化以使预测的地图元素与其响应的GT相匹配。
但是这个框架无法解释现有的地图这需要在两个关键级别引入新的模块。在查询级别我们将地图元素编码为不可学习的EX查询。在匹配级别我们预先将查询属性为它们所代表的GT地图元素。
完整的MapEX框架如图3所示将现有的地图元素转换为不可学习的地图查询并添加可学习的查询以达到一定数量的查询N×L。然后将这组完整的查询传递给Transformer解码器并像往常一样通过线性层转换为预测。在训练时我们的归因模型将一些预测与GT进行预匹配其余预测使用匈牙利匹配进行正常匹配。在测试时解码的非背景查询产生HDMap表示。
将地图转换为EX查询
目前的在线HDMap构建框架中没有机制来解释现有的地图信息。因此我们需要设计一个新的方案可以将现有的地图翻译成标准的基于查询的在线HDMap构建框架可以理解的形式。我们使用MapEX提出了一种简单的方法将现有的地图元素编码为解码器的EX查询如图4所示。 对于给定的地图元素我们提取L个等距点其中L是我们为任何地图元素寻求预测的点的数量。对于每个点我们制作一个EX查询该查询在前2个维度中编码其地图坐标xy在接下来的3个维度中对地图元素类分隔符、交叉点或边界进行一次性编码。EX查询的其余部分用0填充以达到解码器架构使用的标准查询大小。
虽然这种查询设计非常简单但它提供了直接编码感兴趣的信息点坐标和元素类和最大限度地减少与已学习查询的冲突的关键好处得益于丰富的0填充。
一旦我们有了L个查询的集合对于现有地图中的地图元素可以从标准可学习查询池中检索个L个分类可学习查询集合。然后按照本文的方法将生成的N×L个查询提供给解码器在MapTR中N×L查询被视为独立查询而MapTRv2使用更有效的解耦注意力方案将同一地图元素的查询分组在一起。在从查询中预测地图元素后可以直接在测试时使用也可以将它们与训练的GT相匹配。
地图元素归属
虽然EX查询引入了一种解释现有地图信息的方法但没有什么能确保模型正确使用这些查询来估计相应的元素。事实上如果单独使用网络甚至无法识别完全准确的EX查询。因此我们在训练中使用传统的匈牙利匹配之前引入了预测和GT元素的预归因如图3所示。
简单地说我们跟踪修改后的地图中的每个地图元素它们对应于哪个GT地图元素如果地图元素未修改、偏移或扭曲我们可以将其与真实地图中的原始地图元素联系起来。为了确保模型学会只使用有用的信息我们只在修改后的地图元素和真实地图元素之间的平均逐点位移得分时保持匹配 给定GT和预先预测的地图元素之间的对应关系我们可以从要匹配的元素池中移除预先归因的地图元素。然后按照惯例使用匈牙利算法的一些变体来匹配剩余的地图元素预测和GT。因此匈牙利匹配步骤只需要识别哪些EX查询对应于不存在的添加地图元素并找到适合真实地图中不存在的一些真实地图元素的标准学习查询由于删除或强烈扰动。
减少匈牙利算法必须处理的元素数量很重要因为即使是最有效的变体也具有立方复杂度[8]。这并不是目前大多数在线HDMap获取方法的主要弱点因为预测的地图很小30m×60m并且只预测了三种类型的地图元素。然而随着在线地图生成的进一步发展随着预测地图变得更大和更完整有必要容纳越来越多的地图元素。
4. 实验结果
设置我们在nuScenes数据集上评估了MapEX框架因为它是在线HDMap估计的标准评估数据集。我们基于MapTRv2框架和官方代码库。按照通常的做法我们报告了三种地图元素类型divider, boundary, crossing在不同检索阈值0.5米、1.0米和1.5米的倒角距离下的平均精度以及三个类别的mAP。
对于每个实验使用三个固定的随机种子进行3次实验。重要的是对于给定的种子和地图场景组合在验证期间提供的现有地图数据是固定的以便于比较。为了保持一致性我们将结果报告为平均值±标准差即使标准偏差超过该精度也可以精确到小数点。
MapEX的性能
我们在表2中提供了相关方法的比较以及MapEX的性能没有lane divider或人行横道的地图S1、有噪声的地图S2a用于偏移的地图元素S2b用于强逐点噪声和大幅度变化的地图S3a仅包含这些地图S3b包含混合的真实地图。我们将MapEX的性能与现有在线HDMap在可比设置相机输入、CNN主干上的评估进行了详尽的比较并与当前最先进的技术使用了更多的资源进行了比较。 首先从表2中可以清楚地看出任何类型的现有地图信息都会使MapEX在可比设置方面显著优于现有文献而不考虑所考虑的场景。在除一种情况外的所有情况下现有的地图信息甚至允许MapEX比当前最先进的MapTRv2模型执行得更好该模型使用在广泛的深度估计数据集上预训练的大型ViT主干在四倍多的时期内训练。即使是具有不精确地图元素定位的相当保守的S2a场景也会得到11.4mAP分数的提高即16%。
在所有场景中我们都观察到在所有4个指标上对基本MapTRv2模型的一致改进。可以理解场景3b一半时间使用准确的现有地图在很大程度上产生了最佳的整体性能从而展示了识别和利用完全准确的现有图的强大能力。场景2a具有偏移的地图元素和场景3a具有“过时”的地图元素”都提供了非常强大的整体性能所有三种类型的地图元素都具有良好的性能。场景1中只有道路边界可用由于其预期的非常强大的边界检索显示出巨大的mAP收益。即使在极具挑战性的场景2b中将标准偏差为5米的高斯噪声应用于每个地图元素点也会在基本模型上获得显著的增益并且对分隔符和边界具有特别好的检索性能。
MapEX带来的改进
我们现在更具体地关注现有地图信息给MapEX带来的改进。作为参考我们将MapEX增益与其他附加信息来源带来的增益进行了比较具有全局学习特征图的Neural Map Prior、卫星地图以及使用地理本地化SDMaps的P-MapNet。重要的是MapModEX依赖于比这些方法更强的基础模型。虽然这使得在基础模型的基础上更难改进但也更容易获得高分。为了避免拥有不公平的优势表3中提供了绝对得分。
我们从表3中看到使用MapEX的任何类型的现有地图都会导致比任何其他额外信息来源包括更复杂的P-MapNet设置更大的整体mAP增益。我们观察到该模型在车道分隔器和道路边界上的检测性能都有很大的改进。一个轻微的例子是场景1只能访问道路边界其中模型成功地保留了边界上的地图信息但只在没有先前信息的两个地图元素上提供了与以前方法相当的改进。人行横道似乎需要从现有地图中获得更精确的信息因为场景1和场景2b对每个地图点施加极具破坏性的噪声只能提供与现有技术相当的改进。场景2a元素发生了变化和场景3a地图“过时”导致人行横道的检测得分很高这可能是因为这两个场景包含了更精确的人行横街信息。 消融实验
MapEX输入的贡献
表4显示了不同类型的输入现有地图、地图元素对应关系和传感器输入如何影响MapEX。现有地图大大提高了性能。 关于EX查询编码
表5显示学习后的EX查询比我们简单的不可学习的EX查询执行得差得多。有趣的是用不可学习的值初始化可学习的EX查询可能会带来非常小的改进无法证明增加的复杂性是合理的。 On ground truth attribution
由于预先确定地图元素的属性对于充分使用现有地图信息很重要因此可能很容易对所有相应的地图元素进行预先确定属性而不是像在MapEX中那样对其进行过滤。表6显示当现有地图元素差异太大时丢弃对应关系确实会比不加区分的归因带来更强的性能。本质上这表明当现有地图元素与基本事实相差太大时MapEX最好使用可学习的查询而不是EX查询。 5. 讨论
本文建议利用现有地图来改进在线HDMap构建。为了研究这一点作者概述了现有简单地图、带噪或过时地图可用的三种现实场景并引入了一个新的MapEX框架来利用这些地图。由于当前框架中没有考虑现有地图的机制我们开发了两个新模块一个将地图元素编码到EX查询中另一个确保模型利用这些查询。
实验结果表明现有地图代表了在线HDMap构建的关键信息无论在何种情况下MapEX都显著改进了可比较的方法。事实上就mAP而言——具有随机移动地图元素的场景2a——在基本MapTRv2模型的基础上改进了38%在当前最先进的基础上提高了16%。
我们希望这项工作将引导新的在线HDMap构建方法来解释现有信息。现有的地图无论好坏都可以广泛使用。忽略它们就是放弃了在搜索可靠的在线HDMap构建时的一个关键工具。
