什么是PnP算法？

• PnP 全稱是 Perspective-n-Point，中文叫“n點透視問題”。
• 它的目標是：
  已知一些空間中已知3D點的位置（世界坐標）和它們對應的2D圖像像素坐標，求解攝像機的姿態（位置和平移）和朝向（旋轉）。

簡單來說，就是通過3D點和它們在照片上的投影點，算出相機“站在哪兒”和“看向哪兒”。

PnP解決的問題

你有一堆現實世界的點（比如3D模型上的標志點），也知道這些點在照片里的像素位置，PnP就是幫你找出“相機相對于這些點的位置和角度”。

PnP算法的原理（簡單版）

1. 已知條件：

   • $n$ 個已知3D點 $P_i=(X_i,Y_i,Z_i)$，在世界坐標系里。
   • 它們對應的2D像素點 $p_i=(u_i,v_i)$，在圖像中。

2. 目標：

   • 找到相機的旋轉矩陣 $R$ 和平移向量 $t$，使得所有3D點經過變換后投影到圖像上的位置，盡可能接近對應的2D點。

3. 數學關系：

   $$s\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=K\times (R\times P_i+t)$$

   其中：

   • $K$ 是相機內參矩陣，已知。
   • $R,t$ 是未知（我們要解的）。
   • $s$ 是尺度因子（用于齊次坐標）。

4. 求解過程：

   • 利用多組點的對應關系，建立方程組。
   • 通過最小化投影誤差（圖像點和投影點的距離），用優化算法求出最佳的 $R$ 和 $t$。

你可以這樣理解：

• PnP就像“反向投影”：你知道點在現實和照片的位置，求相機的位置和朝向。

額外說明：

• 如果點的數量較少（最少4個點），算法能工作，但更多點通常能得到更穩定準確的結果。
• 經典的PnP算法有很多變體，比如EPnP、UPnP、RPnP等，都旨在更快或更魯棒地求解。

---

值得注意的是PnP的前提：對應關系必須先確定

• **PnP算法本身不負責找到哪些3D點對應哪些2D點，**它的輸入是：

  • 一組3D點（已知位置）
  • 它們在圖像中的對應2D點

• 所以，在用PnP之前，必須先解決“匹配”問題：
  怎樣找到圖像中哪個像素點對應哪個3D世界點？

對應關系的獲得途徑舉例：

1. 人工標定/標記：
   在物體或場景上貼標記點，知道標記點的3D坐標，手動或者半自動找到圖像中的對應點。

2. 特征匹配：
   利用特征點檢測（如SIFT、ORB）在圖像中提取關鍵點，并用描述子匹配它們與3D點（如用激光掃描得到的點云中提取特征點）。

3. 結構光或投影儀：
   通過主動投影圖案產生已知對應關系。

4. 深度相機（RGB-D）或激光雷達數據：
   直接獲得3D點和2D圖像對齊。

沒有對應關系，PnP算法就無從下手

所以在做定位、姿態估計、SLAM等任務時，建立穩定準確的“3D點 ? 2D點”對應關系是關鍵的第一步。