RAFT(Recurrent All-Pairs Field Transforms)作為ECCV 2020最佳論文,已成為光流估計領域的標桿模型。其通過構建4D相關體金字塔和GRU迭代優化機制,在精度與泛化性上實現了突破。但針對其計算效率、大位移處理、跨場景泛化等問題,研究者提出了多維度改進方案,核心方向可系統歸納如下:
?? 一、算法效率優化:輕量化與加速
-
迭代機制精簡
- SEA-RAFT 將GRU替換為卷積模塊,大幅減少迭代次數(訓練從12次→4次,推理從32次→12次),速度提升3倍(1080P圖像達21 FPS),且在Spring數據集上EPE降低22.9%。
- 非晶查找算子(ALO) 通過減少相關體冗余數據,擴展搜索空間,在Sintel和KITTI上精度提升10%/5%,僅犧牲33%速度。
-
初始光流預測
SEA-RAFT復用上下文編碼器直接回歸初始光流,避免從零開始迭代,加速收斂。