Graph-DETR3D：多视角3D目标检测中的重叠区域再思考

arXiv论文“Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object Detection“，22年6月，中科大、哈工大和商汤科技的工作。

从多个图像视图中检测3-D目标是视觉场景理解的一项基本而富有挑战性的任务。由于其低成本和高效率，多视图3-D目标检测显示出了广阔的应用前景。然而，由于缺乏深度信息，通过3-D空间中的透视图去精确检测目标，极其困难。最近，DETR3D引入一种新的3D-2D query范式，用于聚合多视图图像以进行3D目标检测，并实现了最先进的性能。

本文通过密集的引导性实验，量化了位于不同区域的目标，并发现“截断实例”（即每个图像的边界区域）是阻碍DETR3D性能的主要瓶颈。尽管在重叠区域中合并来自两个相邻视图的多个特征，但DETR3D仍然存在特征聚合不足的问题，因此错过了充分提高检测性能的机会。

为了解决这个问题，提出Graph-DETR3D，通过图结构学习（GSL）自动聚合多视图图像信息。在每个目标查询和2-D特征图之间构建一个动态3D图，以增强目标表示，尤其是在边界区域。此外，Graph-DETR3D得益于一种新的深度不变（depth-invariant）多尺度训练策略，其通过同时缩放图像大小和目标深度来保持视觉深度的一致性。

Graph-DETR3D的不同在于两点，如图所示：

1）动态图特征的聚合模块；

2）深度不变的多尺度训练策略。它遵循DETR3D的基本结构，由三个组件组成：图像编码器、transformer解码器和目标预测头。给定一组图像I={I1，I2，…，IK}（由N个周视摄像机捕捉），Graph-DETR3D旨在预测感兴趣边框的定位和类别。首先用图像编码器（包括ResNet和FPN）将这些图像变成一组相对L个特征图级的特征F。

然后，构建一个动态3-D图，通过动态图特征聚合（dynamic graph feature aggregation，DGFA）模块广泛聚合2-D信息，优化目标查询的表示。最后，利用增强的目标查询输出最终预测。

如图显示动态图特征聚合（DFGA）过程：首先为每个目标查询构造一个可学习的3-D图，然后从2-D图像平面采样特征。最后，通过图连接（graph connections）增强了目标查询的表示。这种相互连接的消息传播（message propagation）方案支持对图结构构造和特征增强的迭代细化方案。