ICRA 2023 | 最新激光雷达-相机联合内外参标定，一步到位！( 二 ) _相机

（1）我们提出了一种基于目标的相机内参和lidar-外参的联合标定方法。
（2）我们设计了一个新颖的标定板图案，并提出了一种基于该标定板提取激光雷达和相机的3D-2D对应点的方法。
（3）通过最小化标定板上圆心和棋盘角的3D-2D点对之间的重投影误差，将lidar-的标定公式化为非线性优化函数。
（4）所提出的方法在我们的模拟数据集和真实世界数据集上显示出很好的性能；同时，相关的数据集和代码已经开源，以造福社区。
2、相关工作
研究人员提出了许多方法来解决多模型传感器内参和外参标定问题。内参标定估计传感器的操作参数，通常在外参标定前执行。通常，相机内参标定侧重于估计焦距、畸变系数和偏斜度。等人[14]通过检测棋盘格中角点并从中提取水平和垂直线集，找到相机的内参和外参。等人[15]通过基于学习的方法估计焦距和畸变系数，并提出了三种不同的网络结构。Jin等人[16]用长方体来标定深度相机的内参，然后根据参考长方体距离误差和角度误差来优化目标函数。Anet等人[17]通过构建基于板的特征点提取立方体结构，应用棋盘克服棋盘和ArUco棋盘的偏差，该立方体结构可用于估计透视投影矩阵并求解内参。Lopez等人[18]通过训练一个卷积神经网络来对单张图片进行处理来预测相机的内参和外参。相比之下，外参标定估计了不同传感器帧之间的刚体变换[19] 。根据辅助设备的要求，外参标定可分为两类：基于目标和无目标程序。
A-基于目标方法
基于目标外参标定方法在传感器标定过程中被广泛使用。研究者已经设计了各种各样的标定目标来满足不同传感器的特性。Zhang等人[20]基于棋盘格求解参数，并通过最小化激光点到棋盘平面的重投影误差来细化它们。该方法易于实现，但不能直接获得最优解。等人[21]提出了一种方法通过从点云和图像中提取角点来标定激光雷达和相机，，然后分别通过最大化法向量的对齐和最小化点到平面的距离来估计旋转和平移关系。最后，基于梯度下降进行精细配准。Huang等人[22]通过从点云和图像平面提取目标顶点来执行外参标定，并通过公式化N点透视位姿求解问题来优化结果，该问题最小化了相应角点的欧几里德距离。联合交叉（IoU）也用于进一步细化。Zhou等人[23]通过计算激光雷达和相机帧中的直线特征的对应关系来寻求外参，并通过非线性优化问题来优化初始解。
B-无目标方法
无目标方法通常利用来自于场景自然环境特征（比如线），通过求解几何约束来得出外参。等人[24]提出了通过测量边缘对准的在线外参标定方法。分别通过深度不连续和逆距离变换（IDT）提取点云和图像中的边缘，然后最小化激光雷达边缘点与图像边缘之间的重投影误差，以获得最优解。Ma等人[25]提取道路场景中的线特征，通过分割和线拟合，提取三个不在同一点相交的3D-2D线对来对相机到距离传感器进行标定，从而形成提供初始校准的透视三线问题，并基于6-DoF参数的随机搜索算法对其进行细化。等人[26]使用激光雷达测量的反射强度和来自相机的强度值，基于相互信息最大化目标函数来得到最优外参。类似的是，等人[27]通过归一化交互信息和最大化图像和激光l雷达点云的梯度相关性来进行激光雷达和相机标定。基于目标的标定方法通过使用标定物来确保能够鲁棒且准确地提取的特征，从而避免了这一困难。然而，这两种方法在外参标定之前都单独求出了内参。与我们所讨论的相关研究工作相比，我们提供了一种同时输出内参和外参的联合标定的方法。