kitti数据集官网：
https://www.cvlibs.net/datasets/kitti/index.php
介绍文档
https://www.cvlibs.net/publications/Geiger2013IJRR.pdf

1.数据采集

KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne64线3D激光雷达，4个光学镜头，以及1个GPS导航系统

1惯性导航系统（GPS/IMU）：OXTS RT 3003
1台激光扫描仪：Velodyne HDL-64E
2个灰度相机，140万像素：Point Grey Flea 2（FL2-14S3M-C）
2个彩色摄像头，140万像素：point Grey Flea 2（FL2-14S3C-C）
4个变焦镜头，4-8毫米：Edmund Optics NT59-917

传感器布置如下

kitti数据集的标定文件主要分为raw data中的calib_cam_to_cam.txt, calib_velo_to_cam.txt, calib_imu_to_velo.txt文档和odometry中的calib文档，

以2011_10_03_calib文件夹中的文件为例，文件夹中主要包括三个文件

2.calib_cam_to_cam.txt

相机到相机的标定

calib_time: 09-Jan-2012 14:00:15
corner_dist: 9.950000e-02
S_00: 1.392000e+03 5.120000e+02
K_00: 9.799200e+02 0.000000e+00 6.900000e+02 0.000000e+00 9.741183e+02 2.486443e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_00: -3.745594e-01 2.049385e-01 1.110145e-03 1.379375e-03 -7.084798e-02
R_00: 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00
T_00: -9.251859e-17 8.326673e-17 -7.401487e-17
S_rect_00: 1.241000e+03 3.760000e+02
R_rect_00: 9.999454e-01 7.259129e-03 -7.519551e-03 -7.292213e-03 9.999638e-01 -4.381729e-03 7.487471e-03 4.436324e-03 9.999621e-01
P_rect_00: 7.188560e+02 0.000000e+00 6.071928e+02 0.000000e+00 0.000000e+00 7.188560e+02 1.852157e+02 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00
S_01: 1.392000e+03 5.120000e+02
K_01: 9.903522e+02 0.000000e+00 7.020000e+02 0.000000e+00 9.855674e+02 2.607319e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_01: -3.712084e-01 1.978723e-01 -3.709831e-05 -3.440494e-04 -6.724045e-02
R_01: 9.993440e-01 1.814887e-02 -3.134011e-02 -1.842595e-02 9.997935e-01 -8.575221e-03 3.117801e-02 9.147067e-03 9.994720e-01
T_01: -5.370000e-01 5.964270e-03 -1.274584e-02
S_rect_01: 1.241000e+03 3.760000e+02
R_rect_01: 9.996568e-01 -1.110284e-02 2.372712e-02 1.099810e-02 9.999292e-01 4.539964e-03 -2.377585e-02 -4.277453e-03 9.997082e-01
P_rect_01: 7.188560e+02 0.000000e+00 6.071928e+02 -3.861448e+02 0.000000e+00 7.188560e+02 1.852157e+02 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00
S_02: 1.392000e+03 5.120000e+02
K_02: 9.601149e+02 0.000000e+00 6.947923e+02 0.000000e+00 9.548911e+02 2.403547e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_02: -3.685917e-01 1.928022e-01 4.069233e-04 7.247536e-04 -6.276909e-02
R_02: 9.999788e-01 -5.008404e-03 -4.151018e-03 4.990516e-03 9.999783e-01 -4.308488e-03 4.172506e-03 4.287682e-03 9.999821e-01
T_02: 5.954406e-02 -7.675338e-04 3.582565e-03
S_rect_02: 1.241000e+03 3.760000e+02
R_rect_02: 9.999191e-01 1.228161e-02 -3.316013e-03 -1.228209e-02 9.999246e-01 -1.245511e-04 3.314233e-03 1.652686e-04 9.999945e-01
P_rect_02: 7.188560e+02 0.000000e+00 6.071928e+02 4.538225e+01 0.000000e+00 7.188560e+02 1.852157e+02 -1.130887e-01 0.000000e+00 0.000000e+00 1.000000e+00 3.779761e-03
S_03: 1.392000e+03 5.120000e+02
K_03: 9.049931e+02 0.000000e+00 6.957698e+02 0.000000e+00 9.004945e+02 2.389820e+02 0.000000e+00 0.000000e+00 1.000000e+00
D_03: -3.735725e-01 2.066816e-01 -6.133284e-04 -1.193269e-04 -7.600861e-02
R_03: 9.995578e-01 1.656369e-02 -2.469315e-02 -1.663353e-02 9.998582e-01 -2.625576e-03 2.464616e-02 3.035149e-03 9.996916e-01
T_03: -4.738786e-01 5.991982e-03 -3.215069e-03
S_rect_03: 1.241000e+03 3.760000e+02
R_rect_03: 9.998092e-01 -9.354781e-03 1.714961e-02 9.382303e-03 9.999548e-01 -1.525064e-03 -1.713457e-02 1.685675e-03 9.998518e-01
P_rect_03: 7.188560e+02 0.000000e+00 6.071928e+02 -3.372877e+02 0.000000e+00 7.188560e+02 1.852157e+02 2.369057e+00 0.000000e+00 0.000000e+00 1.000000e+00 4.915215e-03

0,1,2,3代表相机编号

0：左边灰度相机
1：右边灰度相机
2：左边彩色相机
3：右边彩色相机

其中

• S_xx：1x2 矫正前的图像xx的大小-----宽 高（1392✖512）
• K_xx：3x3 矫正前摄像机xx的校准矩阵
• D_xx：1x5 矫正前摄像头xx的畸变参数,k1,k2,kk3,p1,p2
• R_xx：3x3 （外部）的旋转矩阵(从相机0到相机xx)
• T_xx：3x1 （外部）的平移矢量(从相机0到相机xx)
• S_rect_xx：1x2 矫正后的图像xx的大小
• R_rect_xx：3x3 纠正旋转矩阵(使图像平面共面)
• P_rect_xx：3x4 矫正后的投影矩阵 （内参矩阵，前面第一行为前面四个数据，依次三行）

3D点x=$(x,y,z,1{)}^T$投影到图像平面上的像素点y=$(u,v,1)^T

$$y=P_{rect}^{(i)}x$$

$b_x$表示其他相机对于参考相机0的偏移（以米为单位）
将参考相机坐标中的3D点x投影到第i个图像平面上的点y
$$y=P_{rect}^{(i)}{R}_{rect}^{(0)}x$$

3.calib_velo_to_cam.txt

点云到相机的外参矩阵（3✖4）

calib_time: 15-Mar-2012 11:45:23
R: 7.967514e-03 -9.999679e-01 -8.462264e-04 -2.771053e-03 8.241710e-04 -9.999958e-01 9.999644e-01 7.969825e-03 -2.764397e-03
T: -1.377769e-02 -5.542117e-02 -2.918589e-01
delta_f: 0.000000e+00 0.000000e+00
delta_c: 0.000000e+00 0.000000e+00

其中

• R：3x3旋转矩阵
• T：3x1平移向量
• delta_f：弃用
• delta_c：弃用
• 雷达3D点投影到图像平面

$$y=P_{rect}^{(i)}{R}_{rect}^{(0)}{T}_{velo}^{cam}x$$

4.calib_imu_to_velo.txt

$$y=P_{rect}^{(i)}{R}_{rect}^{(0)}{T}_{velo}^{cam}{t}_{imu}^{velo}x$$

5.calib.txt

以序列00的calib.txt文件为例：

P0: 7.188560000000e+02 0.000000000000e+00 6.071928000000e+02 0.000000000000e+00 0.000000000000e+00 7.188560000000e+02 1.852157000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P1: 7.188560000000e+02 0.000000000000e+00 6.071928000000e+02 -3.861448000000e+02 0.000000000000e+00 7.188560000000e+02 1.852157000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P2: 7.188560000000e+02 0.000000000000e+00 6.071928000000e+02 4.538225000000e+01 0.000000000000e+00 7.188560000000e+02 1.852157000000e+02 -1.130887000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 3.779761000000e-03
P3: 7.188560000000e+02 0.000000000000e+00 6.071928000000e+02 -3.372877000000e+02 0.000000000000e+00 7.188560000000e+02 1.852157000000e+02 2.369057000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 4.915215000000e-03
Tr: 4.276802385584e-04 -9.999672484946e-01 -8.084491683471e-03 -1.198459927713e-02 -7.210626507497e-03 8.081198471645e-03 -9.999413164504e-01 -5.403984729748e-02 9.999738645903e-01 4.859485810390e-04 -7.206933692422e-03 -2.921968648686e-01

其中P0代表0号左边灰度相机、P1代表1号右边灰度相机、P2代表2号左边彩色相机、P3代表3号右边彩色相机，Tr代表velodyne。
注意pi矩阵并不是相机内参矩阵，而是当世界坐标系和参考相机0的坐标系重合时的投影矩阵
$R_{world->cam0}=E$,将世界坐标系下的点投影到相机i下时的投影矩阵为
$$\begin{gathered} P_i=K\ast [E{t}_{cam0->cami}] \\ =[kk{t}_{cam0->cami}] \end{gathered}$$
即，pi矩阵可以理解为相机i的内参矩阵*相机0相对于相机i的外参矩阵
因此从calib.txt中读取的矩阵 可以直接分离出该sequence下的相机内参矩阵

参考：
https://blog.csdn.net/weixin_43389152/article/details/129782159
https://zhuanlan.zhihu.com/p/452672948