ICRA 2023 | 最新激光雷达-相机联合内外参标定，一步到位！( 四 ) _相机

C、联合优化过程
1）二维圆心点的计算: 从激光雷达中提取的三维圆中心点，我们需要在图像上得到相对应的二维点。通过标棋盘格角点，我们首先计算相机内参、畸变系数、标定板和相机的外参() 。根据标定板的尺寸，我们得到每个标定板的4个圆心坐标点的集合{}，代表标定板的坐标系。通过和变换后投影到相机图像平面上记点集合为。
在这里，代表旋转，可以通过角度轴进行参数化来表示为。用来表示平移。添加畸变系数之后，投影点实际位置是：
是相机畸变模型。提取的激光雷达点云中三维圆中心点和计算的图像上二维圆中心点形成多个3D-2D点对。
图五图5 收集图像主要区域的点云和棋盘格数据
2）目标: 通过之前的流程，获得标定板上圆心的多组3D-2D点对集合。标定的目标是通过内参和外参使得激光雷达点云和相机图像对齐。因此，为了点云和图像对齐，我们最小化下面的目标函数：
这里、代表激光雷达到相机的外参（旋转关系和平移关系）。是在联合标定前通过棋盘格计算得到圆中心的像素坐标。是在激光雷达坐标系中圆心的3D点坐标。
3）约束条件: 上述最小化就是一组约束。在确保激光雷达和图像对齐的同时，还需要棋盘格对相机内参的约束。棋盘格角点3D点集合在标定板的坐标系（记为{B}）中。对于相机内参，约束列出如下：
在这里，表示投影的像素坐标点，是实际检测到的棋盘格角点。其余约束是，由标定板尺寸计算的圆心的2D位置在优化过程中需要保持不变。是标定板坐标系下圆心的点集合。
在这里，表示标定板到相机的外参（旋转关系和平移关系）。
4）非线性求解: 旋转矩阵使用九个向量来描述3个自由度的旋转，是冗余的。此外，旋转矩阵必须是行列式为1的正交矩阵。当估计或优化旋转矩阵时，这些约束增加了求解的难度。表示旋转矩阵的更好方法是使用轴角旋转向量。在我们实现过程中，提供了一个不准确的初始激光雷达和相机的外参作为初始条件，标定优化方程通过Ceres求解器[31]来求解。
4、实验
本论文实验由两部分组成：在我们的无人驾驶汽车测试平台上进行的真实实验和基于Carla模拟器[32]进行仿真实验。结果表明，我们所提出的方法在精度和鲁棒性方面优于现有方法。
A-真实实验
我们在真正的无人驾驶平台上进行了实验，图6显示了我们真实的实验设备。
图六图6 我们传感器套件。顶部是禾赛64线机械激光雷达。前面是-40gc面阵相机，有不同的视场角分别是30°，60°，120° 。
1）相机内参标定一致性评估: 由于相机复杂的内部结构和数据获取的方式，在标定过程中，相机内参标定通常是不稳定的[12] 。另一方面，相机内参不准确是因为实际相机投影过程和针孔模型不完全对应，并且等效相机光学中心点的位置在不同距离是不同的[13] 。桶形失真通常发生在短焦距的相机上，枕形失真通常出现在长焦距的相机上[33] 。为了评估相机内参标定不稳定性，我们设计了相机内参标定一致性实验。我们使用相机采集了6个均匀分布的棋盘格图像组，每组包含100帧。然后，我们随机从每组中选取25张用来相机内参标定，每组执行100次。我们获得了残差向量，其统计信息（例如平均值、方差）揭示了相机内参的波动性。这些结果如图7所示。
图七图7 相机内参标定一致性评估。
2）消融实验: 我们设计了一个消融实验，以更好地评估我们的方法，将我们的一阶段方法分成两个阶段。然后我们分别比较了标定板上圆心和棋盘格角点的3D到2D的重投影误差。我们进行了6组实验，每组实验分别用一段式和两段式两种方法进行标定，并比较了棋盘格和圆心的重投影误差。如表I所示，用我们的方法进行标定，一段式比两段式有较小的重投影误差。