在结构光三维重建中，相机和投影仪的几何参数直接决定了三角测量的精度。
标定（Calibration）的目标是 确定相机与投影仪的成像模型及它们之间的空间关系，为后续的三维点计算提供可靠依据。

4. 标定过程

4.1 标定的目的

1. 相机内参

   • 焦距 $f_x,f_y$、主点位置 $(c_x,c_y)$、镜头畸变参数（径向、切向）。
   • 用于将二维像素坐标转换到相机坐标系下的光线方向。

2. 投影仪内参

   • 将投影仪看作“逆相机”（它将二维点投影到三维空间光线）。
   • 同样需要焦距、主点和畸变系数。

3. 相机与投影仪的外参

   • 相机坐标系与投影仪坐标系之间的旋转矩阵 $R$ 和平移向量 $t$。
   • 用于建立三角测量几何关系。

4. 整体作用

   • 通过标定，可以把“相机像素 + 投影像素”转化为 同一空间中的光线方程，进而用三角测量得到三维坐标。

---

4.2 相机标定

相机标定通常采用 张正友标定法（Zhang’s Method）。

• 步骤：

  1. 使用棋盘格（或圆点阵列）标定板。

  2. 在不同姿态下拍摄多张标定板图像。

  3. 提取角点坐标 $(u,v)$。

  4. 通过最小二乘或非线性优化（如 Levenberg–Marquardt）估计相机内参矩阵：

     $$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$

  5. 同时估计畸变参数（径向 $k_1,k_2,k_3$，切向 $p_1,p_2$）。

• 输出结果：

  • 相机内参 $K_c$
  • 畸变系数 {ki,pi}\{k_i, p_i\}{ki​,pi​}

---

4.3 投影仪标定

投影仪没有直接成像功能，因此不能像相机那样“拍棋盘格”。
解决方法：把投影仪当作“反向相机”，即通过相机采集投影到标定板上的图案来间接标定投影仪。

• 步骤：

  1. 在标定板上投射结构光编码（如 Gray 编码或相移条纹）。
  2. 相机采集投影到标定板上的图案，解码得到“投影仪像素点 ↔ 标定板物理坐标”的对应关系。
  3. 将这些对应点送入张正友标定法，估计投影仪的内参矩阵和畸变系数。

• 结果：

  • 投影仪内参 $K_p$
  • 投影仪畸变参数

---

4.4 相机与投影仪的外参标定

获得了相机与投影仪各自的内参后，还需要建立它们的空间关系。

• 方法：

  1. 在同一标定板上获取大量“相机像素点 ↔ 投影仪像素点”的匹配对。

  2. 通过三维几何约束（例如对极几何）估计旋转矩阵 $R$ 和平移向量 $t$。

  3. 优化过程通常采用非线性最小二乘（Bundle Adjustment），最小化重投影误差：

     $$\underset{R,t}{\min }\sum _i\Vert u_i-\pi (K_c[R|t]X_i){\Vert }^2+\Vert v_i-\pi (K_p{X}_i){\Vert }^2$$

     其中 $\pi$ 表示投影函数，$X_i$ 为标定板三维点，$u_i,v_i$ 分别为相机、投影仪图像点。

---

4.5 系统联合标定与优化

实际系统中，一般采用 联合标定 方法：

1. 联合优化

   • 把相机内参、投影仪内参、外参作为未知量统一建模。
   • 构造误差函数：最小化所有点的双重重投影误差。

2. 非线性优化

   • 使用 LM 算法进行迭代优化。
   • 输出结果更精确，误差更小。

---

4.6 标定结果的验证与精度分析

完成标定后，需要对结果进行验证：

• 重投影误差

  • 测试点的像素投影误差应在 0.1 ~ 0.5 像素范围内。

• 三维重建误差

  • 测试已知几何物体（如标准平面、球体、立方体），计算三维点与真实值的偏差。
  • 通常可达到亚毫米级精度。

---

总结
标定过程分为 相机标定 → 投影仪标定 → 外参标定 → 联合优化 四个阶段。
其最终目标是确定 内参矩阵、畸变参数、外参矩阵，使得“相机像素点 + 投影仪像素点”能够通过三角测量准确计算出三维点。

---

5. 重建流程总结

结构光三维重建的整个过程可以概括为 “投影 → 成像 → 解码 → 三角测量 → 点云生成 → 后处理” 六大步骤。

---

5.1 投影编码与投射

• 核心目标：将具有唯一性、可解码的结构光图案投射到物体表面。

• 常见方法：

  • 条纹投影（Gray 编码）：用二进制或 Gray 码条纹表示空间坐标，抗干扰性好。
  • 相移法：投射多幅正弦条纹，通过相移计算相位，获取高精度亚像素结果。
  • 彩色编码或随机图案：适合单帧测量，但抗光照干扰能力较弱。

投影的编码方式决定了后续的解码方式与重建精度。

---

5.2 图像采集

• 相机任务：记录物体表面调制后的结构光图案。

• 关键点：

  • 曝光时间与投影亮度匹配，避免过曝或欠曝。
  • 保证相机与投影仪同步（通常通过硬件触发）。
  • 若为多视角系统，则需多相机协同采集。

---

5.3 图案解码

这是软件处理的第一步，用来确定 相机像素 ↔ 投影仪像素 的对应关系。

• Gray 编码解码：逐位解码条纹编号，获取整数像素位置。

• 相移法解码：通过多幅相移正弦图案，计算相位：

  $$\varphi (x,y)=\arctan \frac{I_3-I_1}{2I_2-I_1-I_3}$$

  其中 $I_1,I_2,I_3$ 为三幅相移图案的像素值。

• 相位展开：解决相位模糊（2π 周期性），得到全局唯一的相位分布。

---

5.4 像素匹配与三角测量

解码完成后，每个相机像素点可以找到对应的投影仪像素点，从而形成 光线-光线对应。

• 三角测量原理：

  • 已知相机内参、投影仪内参，以及相机与投影仪之间的外参 $(R,t)$。

  • 每个像素对应一条射线：

    $${\mathbf{r}}_c=K_c^{-1}\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right],{\mathbf{r}}_p=K_p^{-1}\left[\begin{array}{c}{u}_p\\ v_p\\ 1\end{array}\right]$$

  • 通过最小化两条射线之间的距离，计算三维点坐标 $\mathbf{X}$。

---

5.5 三维点云生成

• 每个像素点解算得到一个三维点，集合形成 稠密点云。
• 点云数据通常以 $(X,Y,Z,I)$ 形式存储，其中 $I$ 代表像素灰度或彩色纹理。

---

5.6 点云优化与后处理

原始点云往往存在噪声、空洞和冗余数据，需要后处理：

1. 滤波去噪

   • 中值滤波、统计滤波、半径滤波。
   • 去除孤立点、随机噪声。

2. 点云配准与拼接

   • 多视角重建时，使用 ICP、NDT 或特征匹配将不同视角点云对齐。
   • 融合得到完整模型。

3. 表面重建

   • 常见方法：Poisson 重建、Marching Cubes、Delaunay 三角化。
   • 将点云转换为连续的三角网格表面。

4. 纹理映射

   • 将相机采集的原始图像映射到三维表面，获得带纹理的高质量三维模型。

---

5.7 流程总结图

投影编码 → 投射到物体表面
              ↓
          相机采集图像
              ↓
          图案解码处理
              ↓
  像素匹配（相机↔投影仪像素）
              ↓
          三角测量计算三维点
              ↓
          点云生成与优化
              ↓
          三维表面重建与纹理

---

6. 优缺点

优点：

• 主动光源，适应无纹理物体
• 精度高（常可达几十微米级）
• 速度快（适合实时/工业应用）

缺点：

• 对环境光敏感，强光下效果差
• 遮挡与阴影区域无法重建
• 需要多幅图像投射，动态场景存在问题（高速相移法可缓解）

---

## 7. 应用场景

结构光三维重建技术凭借 高精度、非接触、快速获取三维数据 的优势，已经在多个领域得到了广泛应用。

---

7.1 工业检测

结构光技术在工业领域的应用主要体现在 尺寸测量 和 缺陷检测。

1. 尺寸测量

   • 可对零部件的几何形状进行非接触式测量，精度可达微米级。

   • 常用于：

     • 汽车零部件尺寸控制；
     • 航空发动机叶片的三维形貌检测；
     • 精密机械零件的加工精度验证。

   • 优点：快速、无损、自动化，能够大幅提升生产效率。

2. 缺陷检测

   • 三维模型能揭示出微小的表面缺陷，如凹坑、划痕、焊接不良。

   • 典型应用：

     • 半导体晶圆表面缺陷检测；
     • 工业模具磨损检测；
     • 表面涂层厚度和均匀性检测。

总结：在工业检测中，结构光三维重建已成为智能制造和质量控制的重要工具。

---

7.2 医疗领域

在医疗场景中，结构光的非接触性和高精度尤为重要。

1. 牙科应用

   • 口腔内扫描仪（Intraoral Scanner, IOS）大量采用结构光技术。

   • 可快速获取牙齿和牙龈的三维模型，用于：

     • 正畸方案设计；
     • 假牙和种植牙的定制；
     • 咬合分析。

   • 优势：比传统牙模印模更舒适、效率更高。

2. 人体扫描

   • 用于面部重建、义肢定制、整形手术前规划。
   • 高速结构光系统可用于动态扫描（如面部表情捕捉、呼吸运动监测）。

总结：结构光在医疗中的应用正在从“静态模型获取”逐步拓展到“动态医学监测”。

---

7.3 文物保护

结构光三维重建是 文物数字化保护 的核心技术之一。

• 三维建模

  • 对文物进行高精度扫描，得到完整三维模型。
  • 应用于虚拟展示、学术研究、数字博物馆建设。

• 数字化存档

  • 建立文物三维数据库，用于长久保存。
  • 即便文物因自然灾害或意外损坏，仍能通过三维数据进行修复。

• 应用实例

  • 故宫文物、敦煌壁画、古代石刻、青铜器等的数字化工程。

总结：结构光为文物的保护与传播提供了“数字克隆”，兼具学术价值与文化传播价值。

---

7.4 机器人与增强现实（AR）

结构光也被广泛应用在 机器人感知 和 AR/VR 技术中。

1. 机器人环境建模

   • 机器人需要在近距离环境中进行高精度建图与避障。

   • 结构光可提供稠密的深度信息，用于：

     • 工业机器人抓取定位；
     • 服务机器人室内导航；
     • 微操作机器人（如手术机器人）的实时环境感知。

2. AR/VR 应用

   • 结构光被应用在头戴式设备和消费级深度相机中（如早期的微软 Kinect、iPhone Face ID）。

   • 功能包括：

     • 人脸识别与三维建模；
     • 手势识别与交互；
     • 虚拟对象与现实环境的精确融合。

总结：在机器人与 AR 场景下，结构光三维重建提供了“实时、稠密、精细”的空间感知能力，是实现沉浸式交互与高精度操作的关键。

---

总结

结构光三维重建技术已经渗透到 工业、医疗、文化遗产保护、机器人与 AR 等多个领域：

• 在 工业检测 中保障产品质量；
• 在 医疗 中提升诊疗效率和舒适性；
• 在 文物保护 中实现数字化传承；
• 在 机器人与 AR 中提供实时环境感知。

未来，随着硬件小型化与算法优化，结构光三维重建将向 便携化、实时化、智能化 方向发展。

---

总结就是：
结构光三维重建 = 编码光图案投射 + 图案变形解码 + 相机/投影仪几何约束下的三角测量。

---