視頻防抖的應用
對視頻防抖的需求在許多領域都有。
這在消費者和專業攝像中是極其重要的。因此,存在許多不同的機械、光學和算法解決方案。即使在靜態圖像拍攝中,防抖技術也可以幫助拍攝長時間曝光的手持照片。
在內窺鏡和結腸鏡等醫療診斷應用中,需要對視頻進行穩定,以確定問題的確切位置和寬度。
同樣,在軍事應用中,無人機在偵察飛行中捕獲的視頻也需要進行穩定,以便定位、導航、目標跟蹤等。同樣的道理也適用于機器人。
視頻防抖的不同策略
視頻防抖的方法包括機械穩定方法、光學穩定方法和數字穩定方法。下面將簡要討論這些問題:
機械視頻穩定:機械圖像穩定系統使用由特殊傳感器如陀螺儀和加速度計檢測到的運動來移動圖像傳感器以補償攝像機的運動。
光學視頻穩定:在這種方法中,不是移動整個攝像機,而是通過鏡頭的移動部分來實現穩定。這種方法使用了一個可移動的鏡頭組合,當光通過相機的鏡頭系統時,可以可變地調整光的路徑長度。
數字視頻穩定:這種方法不需要特殊的傳感器來估計攝像機的運動。主要有三個步驟:1)運動估計2)運動平滑,3)圖像合成。第一步導出了兩個連續坐標系之間的變換參數。第二步過濾不需要的運動,在最后一步重建穩定的視頻。
介紹網格光流MeshFlow運動模型。顯示SteadyFlow和MeshFlow之間的對比。與SteadyFlow相比,其計算稠密光流并提取出所有像素位置的pixel profiles信息用于穩像,而我們提出的MeshFlow方法在計算性能上要更好。
github上很少又meshflow的代碼,大部分也是py的代碼,一小部分是c++的,但是很多也跑不通,,不行只能自己復現了。。。。
之前在C++上已經復現成功了,但是在比較低性能的開發板上無法達到實時,所以還得用陀螺儀,要去搞陀螺儀了。。。。。。從0開始。。。。從最開始的光流到meshflow再到陀螺儀,,,,哎路都塊走完了。。
下面是meshflow的實測視頻與結果:
output_video333