单目准密集3D物体跟踪（QD-3DT）是一个在线框架，使用来自3D图像的准密集物体建议来检测和跟踪2D物体。
原链：https://arxiv.org/abs/2103.07351
代码：https://github.com/SysCV/qd-3dt
作者：@tobiasfshr

摘要

可靠且准确的 3D 跟踪框架对于预测周围物体的未来位置和规划观察者在自动驾驶等众多应用中的行为至关重要。我们提出了一个框架，可以有效地关联随时间推移的移动对象，并从移动平台上捕获的一系列3D图像中估计其完整的2D边界框信息。对象关联利用准密集相似性学习来识别具有各种姿势和视点的对象，仅具有外观提示。在初始 2D 关联之后，我们进一步利用 3D 边界框深度排序启发式进行鲁棒实例关联和基于运动的 3D 轨迹预测，以重新识别被遮挡的车辆。最后，基于 LSTM 的对象速度学习模块聚合长期轨迹信息，以实现更准确的运动外推。在我们提出的仿真数据和真实基准（包括KITTI、nuScenes和Waymo数据集）上进行的实验表明，我们的跟踪框架在城市驾驶场景中提供了强大的对象关联和跟踪。在Waymo Open基准测试中，我们在3D跟踪和3D检测挑战中建立了第一个仅使用摄像头的基线。我们的准密集 3D 跟踪管道在 nuScenes 3D 跟踪基准测试上实现了令人印象深刻的改进，在所有已发布的方法中，跟踪精度接近最佳仅视觉提交的五倍。

主要成果

nuScenes 测试集上的 3D 跟踪

我们实现了最佳仅视觉提交

Waymo Open测试集上的3D跟踪

我们在Waymo Open上建立了第一个仅使用摄像头的基线

KITTI 测试仪上的 2D 车辆跟踪

安装

请参阅 INSTALL.md 进行安装和 DATA.md 数据集准备

开始

请参阅 GETTING_STARTED.md 了解 QD-3DT 的基本用法。

MODEL ZOO

请参考 MODEL_ZOO.md 以重现基准测试变体的结果