文章目錄
- 本文解決的問題
- 本文提出的方法以及啟發
本文解決的問題
傳統的基于Pifu的人體三維重建一般通過采樣來進行學習。一般選擇的采樣方法是空間采樣,具體是在surface的表面隨機位移進行樣本的生成。這里的采樣是同時要在XYZ三個方向上進行。所以這導致了一個問題: 點的位移方向是沒有任何約束的,也就是說在任意方向均可采樣。可是者在一定的程度上就對確定surface產生了挑戰。 因為我們采樣的最終目的其實是為了確定目標平面,但是因為方向是隨機的就很難準確的找到surface的具體位置,就出現了ambiguity。 就這個問題進行優化的方式比如DOS,限制了XY方向上的采樣,只從Z方向上進行采樣,標簽由離相機方向最近的平面來決定的。這減小了一些模糊的情況,但是不夠魯棒。
本文提出的方法以及啟發
FSS在DOS的基礎上提出的新的改進,提出的是雙樣本點的方法,也就是說,在平面內和平面外分別確定兩個點,這兩個點之間的連線的中間點就必落在 surface在很大的程度上解決了模糊定位的情況,surface的位置就很清晰了。
除此之位的,本文還對較薄的身體位置進行了針對性的設計。對于相對較薄的身體部位而言,根據厚度去調整位移量,從而做到保留住像手指,耳朵,這樣的細小的人體結構。并通過設計錨點樣本,在這些較薄的區域內,設置一個錨點用于糾正bias。這里的BIAS主要是來自于標簽的值,通常情況下,我們會認為大于0.5的值是在surface里面,小于0.5的值是在surface里面,等于0.5的值是surface上面,但是整體統計看來,最大的值也才0.6 所以模型會偏向于將點的值歸類為在平面外面。
還有一點可以啟發之后的工作,是用tri-pifu的模塊代替了MLP 的解碼工作。一般的方法都會通過marching cubes來提取網格,這個過程的計算成本特別高而且不可微。 這里改進的是將特征體積視為隱式函數的3D空間(D×H×W),通過Sigmoid激活直接輸出0到1的占用值,無需MLP解碼。這使得厚度可通過沿z軸求和特征體積來高效計算。