ICRA 2023 | 最新激光雷达-相机联合内外参标定，一步到位！ _相机

ADAS巨卷干货，即可获取
今天自动驾驶之心很荣幸邀请到石头，为大家分享ICRA 2023最新的激光雷达-相机的联合标定方法，可同时标定内参和外参。如果您有相关工作需要分享，请在文末联系我们！
>>点击进入→自动驾驶之心【多传感器融合】技术交流群
后台回复【相机标定】获取超详细的单目双目相机模型介绍、内外参标定算法原理视频！
基于传感器的环境感知，对于自动驾驶系统是关键的一步，其中多传感器之间精确标定起着关键作用。对于激光雷达和相机标定，现存的方法通常是先标定相机内参，然后再标定激光雷达和相机的外参。如果第一阶段相机的内参标定不够准确，也就不能准确的标定激光雷达和相机的外参。由于相机复杂的内部结构和相机内参标定缺乏有效的定量评估方法，在实际标定中，由于相机内参的微小误差，往往会降低外参数标定的精度。为此，我们提出了一种新颖的基于目标的关于相机内参和激光雷达-相机外参联合标定的方法。首先，我们设计了一种新型的标定图案，在棋盘周围添加4个圆孔以定位激光雷达姿态。随后，在棋盘和圆孔特征重投影约束下定义了一个成本函数，以解决相机内参、畸变系数、激光雷达和相机的外参。最后，在实际环境和模拟环境中进行了定量和定性实验，结果表明所提出的方法能够能够实现准确度和鲁棒性。
代码链接：
这里也推荐『自动驾驶之心知识星球』，内部近期分享了一作『闫国行』老师本人的论文解读视频，欢迎关注！
I、引言
在工业和学术领域，自动驾驶越来越受关注。安全可靠驾驶依赖于传感器精确的环境感知系统。然而，真实世界中各种情景，单个传感器不能保证其可靠性。为了确保自动驾驶车辆在变化环境中运行，多模型互补传感器协作技术随之出现，它可以提供足够的环境信息，从而有助于更可靠的数据融合。在众多的传感器数据融合方法中，激光雷达和相机的组合是驾驶环境感知最常用的传感器对之一。激光雷达可以提供三维点云数据，其中包括精确的深度和反射强度信息，而相机可以捕捉场景的丰富语义信息。相机和激光雷达的结合为克服每个传感器的缺陷提供了可行性。融合这两种异构传感器的主要挑战是找到精确的相机内参和通过执行外参找到传感器坐标系之间的刚体变换 [1] 。研究者为提高标定结果的准确性和有效性做出了大量努力，比如：棋盘[2]–[6]、球形目标[7]、格雷码[8]、多平面立体目标[9]、语义对象[10]等特定目标。
图一图1 通过针孔模型标定相机内参的过程
然而，现有的标定方法存在各种问题。第一个问题就是相机内参的可靠性，因为大多数方法都是假设相机内参已知或者通过张氏标定[11]来计算求得。针孔模型通常用来标定相机内参，但实际的相机投影模型和针孔模型并不完全对应[12] 。实际的相机镜头组更复杂，并没有一个绝对的光学中心点[13] 。如图1所示，整个标定过程是近似测量。同时，由于相机结构缺陷和非线性函数优化中的不确定性，得到的解通常是次优的。因此，外参标定准确度也将受到影响。我们所做的相机内参标定一致性实验也证明了相机内参标定的波动性。
图二图2 一种新颖的lidar-标定板图案
本文我们提出了一种新颖的联合标定方法，该方法克服了由于相机内参不够精确而引起lidar-外参标定不准确的问题。不像现有标定方法，仅仅估计两个传感器帧之间的旋转和平移关系，我们所提出的方法输出包含相机内参、畸变系数和lidar-的外参。
首先，如图2所示，我们设计了一种新颖的标定板图案，其中棋盘格用于标定相机内参，几个圆形孔为了定位激光雷达点云。我们首先用张氏标定方法[11]来标定相机初始内参和标定板-相机的初始外参。然后，图像上的圆心点可由这些参数和标定板尺寸计算求得。通过提取激光雷达中圆形孔中心的位置，我们可以通过lidar-外参来将三维的圆心点坐标投影到图像平面上。计算得到的2D点和投影得到的2D点形成多个2D点对。我们使用这些点对之间的欧氏距离来细化标定参数。同时，在优化过程中加入了棋盘角点3D点到2D点重投影的约束。这项工作的贡献如下：