前言：我是一名算法工程師，經常需要對某個AI功能做技術調研和輸出技術選型報告，在過去多年的工作當中，積累了很多內容，我會陸陸續續將這些內容整理出來分享給大家，希望大家喜歡，感謝您的閱讀！

1. AI功能定義：視頻人像摳圖原理與意義

視頻人像摳圖（Video Portrait Matting）旨在為視頻中的每幀圖像估計前景人像的精確不透明度蒙版（alpha遮罩）。與簡單的二值分割不同，摳圖產生軟邊緣的alpha通道掩膜，可保留人物發絲等細節和半透明區域，實現更加真實的前景背景分離效果。通過視頻摳圖，可以將人物從原始背景中提取出來并疊加到任意新背景上，廣泛應用于視頻會議虛擬背景、短視頻特效、影視后期合成等場景。

與靜態圖像摳圖相比，視頻人像摳圖除了要求逐幀產生高精度的alpha遮罩（空間精度），還必須確保幀與幀之間的結果一致（時間連續性）。人眼對視頻中前景邊緣的抖動閃爍非常敏感。因此視頻摳圖需要在保證每幀精度的同時，減少隨時間幀變化的抖動，避免明顯的時域閃爍。這一特性使視頻摳圖技術更具挑戰，但也更具應用價值。例如，在視頻會議中穩定的摳像效果可以讓背景替換更自然；在電影特效中，精準的動態摳圖能極大簡化后期工作量。

視頻人像摳圖技術原理通常建立在數字摳像的基本方程之上：每個像素的顏色值$I$可視為前景$F$與背景$B$按alpha值$\alpha$線性混合。摳圖的目標是在未知前景和背景的情況下，僅從輸入視頻推斷出每個像素的$\alpha$值（0表示背景，1表示全前景，中間值表示半透明過渡區域）。由于每像素有7個未知數（背景色$B$、前景色$F$各3通道和$\alpha$）而僅有3個已知（像素色$I$），問題嚴重欠定，需要利用空間和時間上的先驗約束來求解 。傳統圖像摳圖常借助用戶提供的trimap（三分圖，標定前景/背景/不確定區域）作為先驗，將復雜問題局限在細小不確定區域內求解。而視頻人像摳圖為了自動化，往往希望Trimap-Free （無輔助三分圖）的解決方案，或僅在少量幀提供標注，然后算法自動傳播。總之，其核心是在連續幀中自動、高效、穩定 地估計動態人像的alpha蒙版，實現前景人像與背景的分離。

2. 評價指標說明：SAD、MSE、Grad、Conn、時序一致性

為了定量評估摳圖算法的好壞，研究者定義了一系列評價指標，其中以Rhemann等人在2009年提出的四大指標最為常用。這些指標假定有高質量的真值alpha遮罩作為對比：

• SAD（Sum of Absolute Difference，絕對差值之和）：將預測alpha與真值alpha按像素取差的絕對值再求和。它反映了整體alpha估計誤差的累積，總和值越小越好。通常SAD會歸一化或放大到方便比較的量級（例如對0~1的alpha乘以1000取整）。意義 ：SAD衡量了前景前景像素總的漏扣或誤扣量，數值直觀表示摳圖結果與真值間的總體偏差，常用于評估算法實用性。

• MSE（Mean Squared Error，均方誤差）：預測alpha與真值alpha之差的平方均值。作為像素級精度的平均衡量，MSE越低表示整體精度越高。意義 ：MSE強調大誤差像素，通過平方放大極值，用于評估算法在整個圖像上的平均表現，常和SAD配合報告。

• Grad（Gradient error，梯度誤差）：首先對預測與真值alpha蒙版分別用高斯一階導數濾波核計算梯度，再計算梯度圖的L1范數誤差 。直觀來說就是比較預測遮罩與真值遮罩邊緣的差異程度。意義 ：Grad指標強調細節邊緣的精度 。當算法在發絲等復雜輪廓處表現不好時，梯度誤差會明顯偏高，因此該指標可評估算法捕捉細小前景邊緣細節的能力。

• Conn（Connectivity error，連通性誤差）：對預測和真值alpha設定不同閾值，將其二值化成前景連通區域，然后比較連通性結構的差異 。具體計算方式較復雜 ：簡單來說，它判定預測遮罩中與真值相比哪些前景區域斷開或遺漏了，對那些遠離主要連通區域的“飛散”前景像素給予更高的懲罰 。意義 ：Connectivity指標用于評估摳圖結果的完整性和連貫性，尤其關注算法是否將前景搞得支離破碎或漏掉整塊。低Conn誤差表示前景對象被完整連續地提取出來 。

上述四項是圖像級別的評價指標，用于逐幀衡量摳圖準確度。

• 而針對視頻序列，時間一致性（TemporalCoherence） 也是重要考量指標。常用的方法是在相鄰幀之間計算alpha值變化的誤差，例如計算幀$t$和$t+1$的alpha蒙版之差的均方誤差或絕對差，或更高級地使用光流對齊后再比較差異。有研究將其定義為dtSSD、MESSD等形式的度量。意義 ：時間一致性指標用于量化視頻摳圖結果在連續幀間的穩定程度，數值越低表示前景alpha隨時間抖動越小。由于人眼對時序抖動非常敏感，提升摳圖結果的Temporal指標對于視頻應用至關重要。

需要注意，各指標均以真值為參照且各有側重：實際評估中通常綜合考察SAD/MSE（整體誤差）以及Grad/Conn（細節與結構）共同判斷算法優劣。在視頻場景下還應額外關注Temporal一致性，理想的算法應在確保靜態指標優秀的同時保持結果的平滑穩定。

3. 當前痛點與技術難點

盡管視頻人像摳圖技術近年取得長足進步，仍面臨諸多挑戰和痛點：

• 細節邊緣處理困難：人像邊緣（如頭發絲、半透明紗巾）細小復雜，純色背景尚可，復雜背景下極易出現前景細節殘缺或背景泄露。傳統摳圖方法高度依賴顏色區分，前景背景顏色相近時容易產生“邊緣發糊”或鋸齒 。即便深度學習方法，也常因訓練數據有限對罕見發型/飾品處理不佳，導致發絲處alpha估計不準確。如何提取清晰銳利的細節 是核心難點之一。

• 時間幀間一致性：算法若逐幀獨立工作，難免產生抖動閃爍，即使每幀誤差不大但結果不穩定。為改善時間一致性，早期嘗試包括使用光流對相鄰幀alpha進行濾波平滑，但受限于光流準確度，運動劇烈時容易失敗。不建模幀間關聯的簡單方法往往無法保證視頻alpha的時序連續 ，出現前景形狀忽大忽小或邊緣擺動。幀間一致性建模（如時序記憶模塊、循環網絡等）是視頻摳圖的難點，兼顧一致性和響應新出現目標的能力需要巧妙設計。

• 遮擋和互動：實際場景中，人物可能被其他物體部分遮擋，或出現多人交互。當多人同屏時，傳統人像摳圖模型往往只輸出一個整體alpha，把多個前景當作單一主體。這會導致人物之間的空間關系無法區分。例如兩人并肩站立可能被模型視作一整塊前景，邊緣相互黏連。多人場景 要求算法能識別人像實例的獨立性，或至少保證不同人物邊界清晰，不相互污染。此外，人物被道具（手機、雨傘等）部分遮住時，模型若無遮擋感知，常發生遮擋區域的alpha估計錯誤——要么錯誤地將前景物體當背景扣掉，要么把遮擋物錯誤地算作前景人體的一部分。處理遮擋與多人交互需要更智能的實例感知和分割融合技術。

• 前景摳圖的穩定性：包括空間和時間上的穩定。空間上指前景alpha不應有局部洞孔、飄斑，即Connectivity誤差低。時間上指前景形狀和不透明度隨時間平滑變化。許多算法在復雜背景下易受干擾，使前景alpha局部斷裂不連貫 。例如在動態背景（樹葉搖晃、燈光閃爍）或攝像頭抖動場景下，模型可能出現前景摳出殘缺或漏檢 的問題，表現在輸出mask上就是時有時無、連通性差。增強模型對背景復雜變化的魯棒性以及輸出mask的完整性，是實際落地時的重要考慮點。

• 實時性與性能瓶頸：實時視頻摳圖對算法速度要求嚴苛。早期深度摳圖模型參數量大、計算耗時長（如2017年的Deep Image Matting含上億參數，不適合實時）。一些高精度方法需要多階段推理或高分辨率卷積，難以在移動端或CPU上實時運行。即便GPU上，4K分辨率逐幀處理也非常吃力。如何在保證精度的同時控制模型規模和加速推理 是技術難點。例如MODNet提出輕量分解策略實現1080p 67fps ；RVM通過循環架構顯著減少計算，實現4K 76fps的驚人速度 。但在資源受限的平臺（手機端、小程序）上，仍需進一步裁剪壓縮模型或利用NPU加速，否則實時應用會有幀率不足、延遲高的問題。

• 隱私和數據合規：人像摳圖模型訓練常需要大量真人照片數據，這涉及隱私問題。此前人像數據集往往包含可識別的人臉等敏感信息。在隱私法規趨嚴的環境下，收集和使用人像數據受限。近期有研究提出“隱私保護肖像摳圖”，通過對人臉區域模糊處理來匿名化數據。例如P3M-10k數據集對1萬張真人肖像進行了人臉打碼，以在模型訓練中保護身份信息。然而人臉馬賽克會使模型缺失面部區域的真實紋理，帶來訓練分布偏差，需要特別的網絡設計克服精度下降。此外，在應用部署時，將視頻上傳云端摳圖也有隱私風險，越來越多場景要求在本地設備完成摳像處理，以免個人影像泄露。因此隱私合規既影響訓練數據獲取，也影響部署架構選擇（本地離線 vs 云端處理）。

• 部署與適配挑戰：不同應用平臺對摳圖算法有不同約束。例如移動端內存有限，模型大小需精簡；一些Web前端小程序無法直接調用GPU，只能用WebAssembly或小模型推斷。將深度模型轉換部署到移動GPU、DSP、NPU等也需克服兼容性問題。另方面，不同視頻流媒體規范、攝像頭采集延遲也要求算法具備一定的魯棒性。對于超高清視頻（如4K電影后期），內存和計算量暴增，模型需要特殊的高效推理方案（如分塊處理、高并發推理）才能在工作站上跑得動。綜上，在工程落地上需要平衡模型精度與資源約束 ，解決模型跨平臺移植、推理優化、內存占用控制等實際問題，才能讓算法真正服務于工業應用。

4. 主流模型演進路線（2000–2025）

視頻人像摳圖技術經歷了從傳統方法到深度學習方法，再到近期專門面向視頻時序一致性的模型的演進過程。以下按時間順序梳理關鍵技術和代表模型：

早期傳統摳圖方法（2000s）

摳圖作為圖形學經典問題，早期多基于靜態圖像 的方法拓展到視頻逐幀處理。這一時期需用戶提供trimap 輔助。代表方法有：

• 閉合解（Closed-Form Matting，Levin等，2008）：提出利用全局優化求解alpha的閉Form解法，在已知trimap情況下通過最小化顏色局部平滑項得到解析解。它能產生較平滑的結果，在當時alphamatting基準上取得領先成績。缺點是對trimap依賴強且計算復雜度高，在高分辨率視頻逐幀求解較慢。
• KNN Matting（Chen等，2012）：利用非局部思想，針對trimap不確定區域內每個像素，從整幅圖像尋找$K$個顏色最相似的樣本，利用這些鄰居的前景概率加權估計alpha。KNN Matting相對閉合解對細節保持更好、對紋理背景魯棒性更強。當時在不少數據集上精度超過前者。然而在視頻中逐幀用KNN搜索會非常耗時，且幀間不連續的問題依然存在，需要事后對結果做濾波平滑。

此外還有貝葉斯Matting 、隨機游走Matting 、PoissonMatting 等傳統算法在2000年代陸續提出。這些方法大多假設前景顏色與背景有明顯差異，主要關注單幀精度，缺乏對時間維度的考慮 。因此直接用于視頻時，容易出現抖動或需要額外的光流輔助穩定。在應用意義上，傳統方法為摳圖提供了成熟的評估基準和分析工具（如提出上述評價指標），但在自動化和實時視頻處理方面存在天然不足。

深度學習圖像摳圖興起（2017–2019）

2017年，Ning Xu等提出DeepImageMatting(DIM) 開創了深度學習用于圖像摳圖的先河。該方法使用一個編碼器-解碼器CNN以圖像和trimap作為輸入，端到端回歸整幅alpha蒙版，并額外用一個小網絡精細化邊緣 。他們還構建了大型合成數據集Adobe Composition-1k作為訓練集 。Deep Image Matting顯著提高了復雜背景下的摳圖精度，在真實照片上效果超越傳統方法 。但其不足在于：模型參數巨大（上億級別），需trimap作為先驗，每張圖推理耗時較長，不適合視頻逐幀實時處理。

隨后幾年的研究聚焦于改進深度圖像摳圖的精度和效率。例如：

• IndexNet Matting (ICCV 2019)：引入可學習的上采樣索引，改善了編碼器到解碼器的信息傳遞，性能提升的同時模型參數下降到約3000萬級別。
• Context-Aware Matting (Late 2010s)：一些方法（如CA Matting等）通過注意力機制、級聯精細網絡等手段進一步優化邊緣細節。
• 智能剪輯與分割結合：有方法嘗試先用一個語義分割網絡獲得粗前景區域，再裁剪只對邊界小區域做摳圖細化，從而降低計算量 。這思想也影響了后來的實時人像摳圖模型設計。

總的來說，2017-2019年的深度摳圖方法主要面向靜態圖像 提升SAD、Grad等指標，對視頻應用尚未直接涉及。但它們奠定了深度學習在摳圖領域的主流地位，證明了CNN強大的特征表達能力可以解決傳統算法難以處理的顏色相近難題 。這一時期也為后續視頻摳圖提供了模型基礎（如編碼器-解碼器架構）和數據基礎（合成數據集）。

Trimap-Free人像摳圖與實時化（2020–2022）

進入2020年后，研究重點轉向無需用戶提供trimap的自動摳圖 ，特別聚焦在人像前景 這一特定領域（因為人像分割數據豐富且應用需求大）。同時，實時性能受到高度重視。關鍵進展包括：

• MODNet (Mobile Orientation-Decoupled Net, 2020)：Zhanghan Ke等提出的實時人像摳圖模型 。它不需要trimap，只用原始RGB圖作為輸入，通過目標分解訓練 策略，將摳圖任務拆解為分類前景區域、預測邊界細節等子任務共同優化 。MODNet引入高效的空洞空間金字塔(e-ASPP)模塊融合多尺度特征，并通過自監督細化策略提高實際場景魯棒性 。模型非常輕量，可在1080Ti上達到67 FPS實速 。在公開的Adobe Matting數據集和作者構建的照片人像基準PPM-100上精度超過之前所有無trimap方法 。MODNet的作者還提供了僅7MB大小的移動端模型，在普通手機CPU/GPU上也能快速運行 。它是第一個達到實用實時性能的摳圖模型 ，推動了人像摳圖從離線走向在線應用。

• P3M-Net (Privacy-Preserving Portrait Matting, 2021)：李及其同事提出，關注在人臉打碼條件下 依然有效的摳圖模型。他們發布了業界首個隱私保護人像數據集P3M-10k（1萬張人臉模糊人像及真值alpha）。P3M-Net采用統一多任務框架，既進行語義分割預測整體人像區域，又進行細節摳圖，兩者特征交互以提升效果。實驗證明P3M-Net在傳統公開數據集上精度不輸SOTA，并且在P3M-10k上相對其他方法有更強的泛化性。這說明經過設計的模型在人臉等敏感信息被隱藏時 仍能保持較好性能，從而滿足隱私需求。P3M-Net的精度提升也部分歸功于結合了分割與摳圖任務的多任務學習策略，這種思想與MODNet有異曲同工之妙，即粗分割定位+細節預測 的Trimap-Free方案。

• 框架/背景輔助方法：還有一些創新方法探索使用視頻自身或額外輸入輔助摳圖以避免trimap。例如BackgroundMatting(BGM,CVPR2020) 要求用戶先拍一張純背景照片作為輔助 。Sengupta等人后來改進出Background Matting V2 (2021)，結合背景幀可以實現媲美專業綠幕的摳像效果，且通過優化網絡實現了實時：在RTX 2080 Ti上1080p可達60fps，4K可達30fps。背景法的優點是前景背景區分簡單直接，Alpha計算精度高；缺點是需要預先拍攝背景，限制了應用場景（動態背景或無法取得純背景時無法使用）。但在一些可控場景（如主播在房間固定角度直播，事先拍下房間空景），這種方法成為實用選擇，Zoom等也提供了上傳背景圖片輔助摳像的功能。類似地，還有方法利用深度傳感器提供的背景深度估計作為先驗改進人像摳圖。

綜上，2020-2022年標志著自動人像摳圖 從實驗走向實用，誕生了開源的高性能模型（MODNet、P3M-Net等）和特殊先驗方案（背景輔助）。這些模型大多聚焦單幀 或短時信息，雖可應用于視頻但對長序列的時間穩定性處理較簡單（比如僅靠網絡自身對前后幀特征的容忍度）。真正面向視頻連續幀建模的技術，在這期間也開始萌芽，比如利用時序信息的循環神經網絡摳圖 嘗試，但成熟成果主要見于2021年后的模型。

視頻時序建模與強化一致性（2021–2023）

為了解決視頻摳圖中特有的幀間抖動問題，近幾年涌現了一批將時間維度引入模型設計的方法。一些代表性進展：

• RVM (Robust Video Matting, 2021)：由Lin等人提出的循環時序引導 模型 。RVM的架構特點是在輕量編碼器（MobileNetV3）基礎上，加入循環狀態的解碼器，使模型在處理當前幀時能利用前幾幀的信息 。具體來說，它引入隱藏狀態將先前幀的alpha和特征“記憶”下來，在下幀解碼時作為額外輸入指導。這一設計有效提升了時序穩定性和魯棒性 。RVM無須trimap或背景等輔助輸入，專為人像視頻 設計，可廣泛應用 。在性能上，RVM極為高效，“比以往方法更輕量”，可在1080Ti上跑出4K分辨率76幀/秒、HD 104幀/秒的速度 。RVM在作者構建的大規模視頻摳圖數據集VideoMatte240K上取得當時新的SOTA精度，同時也是首個真正高分辨率實時的視頻摳圖模型 。它的成功證明了時序循環結構在視頻摳圖中的價值，影響了后續眾多工作。RVM模型開源后被廣泛應用于實踐，例如集成到開源視頻編輯工具和OBS虛擬背景插件中。

• VideoMatte240K數據集 (2021)：這是RVM作者構建的一個大規模綠幕視頻數據集 。包含484段人物綠幕視頻，總計24萬幀以及對應的高質量alpha真值。研究者通過將綠幕視頻的前景與各種背景視頻復合，生成復雜場景下的合成訓練樣本。VideoMatte240K填補了此前缺少大型真實視頻摳圖數據的空白。有了如此豐富的時序數據，模型可以在訓練中學習前景在不同背景、不同運動下alpha的變化規律，增強對真實視頻的泛化能力。RVM等高性能方法的出現很大程度歸功于此數據集。【注 ：VideoMatte240K本身不是模型，但作為關鍵里程碑推動了2021年后視頻摳圖算法的質量提升。】

• 時序一致性方法：學術界也探索了多種維持幀間一致性的思路。例如Wang等在ICCV 2021提出GNN Matting (CRGNN)，利用圖神經網絡在幀間建立像素關聯，將相鄰幀中錯誤分類的像素通過圖網絡糾正，增強temporal coherence。還有方法如One-Trimap Video Matting (OTVM, ECCV 2022)，通過聯合學習trimap傳播和alpha預測，只需用戶提供第一幀trimap，模型即可在后續幀中一邊推斷trimap一邊摳圖。這種方法通過在網絡中顯式考慮trimap的時序傳遞，提高了長視頻下的穩定性。再如STM、時序Transformer 等也被引入視頻摳圖：2022年的MatteFormer使用Transformer模塊融合多幀信息取得更好效果；2023年的VMFormer更是提出完全基于Transformer的架構，通過全局注意力建模長程時序依賴，在合成基準上超越CNN方法。總趨勢 是從早期簡單的光流后處理，發展到將時序特征直接融入網絡，使模型在內部學會“追蹤”前景目標，輸出穩定的alpha序列。

• 高清高質摳圖：值得一提，部分工作關注高分辨率和高細節 。如HDMatt (AAAI 2021)專攻超高分辨率圖像摳圖，通過分塊處理和跨塊信息融合解決大圖摳圖難題，在4K以上圖片上取得了優秀效果。又如FBA Matting (CVPR 2020)結合前景背景預測頭輸出，提升半透明區域精度。這些方法原生是圖像算法，但可用于逐幀視頻離線處理，在影視級后期場景中有應用價值。隨著計算力提升，新模型開始嘗試統一兼顧清晰度 和時序性 ，比如NTU的Yang等在2024年提出MatAnyone 框架，引入區域自適應的記憶融合模塊，在保證細節精細的同時，通過跨幀記憶有效防止目標漂移，實現在多種分辨率和素材下都輸出高度穩定、細節豐富的結果 。

• 多主體實例分離：傳統視頻摳圖將畫面中所有前景融合輸出一個alpha，對多人物場景不夠友好。最新研究開始考慮多實例視頻摳圖 ，例如2023年的Portray Instance Matting等，嘗試檢測并分別摳圖每個前景人像，從而為每個實例生成獨立的alpha通道。這類方法通常結合實例分割或跟蹤技術解決人物交互重疊的問題，對AR合成（如兩個前景人物插入不同背景）有實際意義。雖然目前多實例視頻摳圖尚未成熟，但它預示未來的摳圖模型會更智能地理解場景，而不僅是輸出單一遮罩。

綜觀2000-2025的演進，從早年的依賴人工trimap、逐幀獨立處理，到如今的端到端自動摳圖和時序一致模型，我們見證了視頻人像摳圖技術從“能用”走向“好用” 的過程。下一步發展趨勢可能是在更少人工干預下處理更復雜場景 （多人、多遮擋、動態背景），以及在移動等平臺上進一步優化 性能，真正做到隨手拍視頻即可實時摳像、換背景。

5. 主流模型性能對比表格

下表按時間順序列出了部分具有代表性的摳圖模型/方法及其性能指標，對比它們的精度和速度（其中早期傳統方法不涉及模型參數量，“—”表示不適用）：

從表中可以看出，傳統算法精度有限且無法實時；深度學習圖像摳圖顯著降低了誤差但模型龐大；隨后專門的人像模型（MODNet等）在犧牲部分精度情況下實現了實時；而RVM等視頻專用模型在保持小模型的同時大幅提高了精度和速度，具有里程碑意義 。最新的Transformer和記憶網絡方法繼續降低誤差，但一些仍未達到實時要求。實際選型時，需要在上述指標中權衡取舍，結合應用側重選擇合適的模型方案。

6. 商業應用產品中的人像摳圖

視頻人像摳圖已經在眾多商業產品中得到應用支撐，其背后的方案各有特色：

• 視頻會議與直播應用：Zoom、Microsoft Teams、Google Meet等提供了虛擬背景、更換背景和背景模糊功能。這類實時會議通常在CPU或移動設備上運行，采用輕量級人體分割+摳像 方案。例如Zoom據報道使用了基于深度學習的人體語義分割模型，將人像從背景中分離。Google Meet和移動端微信視頻號等則集成了Google的MediaPipe SelfieSegmentation （一種MobileNet基礎的人像分割模型），在移動端以實時性能獲得較好效果 。這些方案實際輸出二值mask或模糊過渡邊緣，雖然細節不如高級摳圖，但勝在計算開銷小 。近年來，隨著RVM等高效模型出現，有些應用開始嘗試更精細的方案。例如NVIDIA的Maxine SDK和Broadcast軟件采用了AI綠幕功能，推測使用了類似RVM的方案在GPU上實時摳像，實現發絲級背景替換。Zoom在新版本中也引入AI模型提高背景替換質量，并提供錄制后的人物突出功能。總體來說，視頻會議產品為了兼顧普適硬件，多采用分割為主、摳圖為輔 的策略：先快速分割出人像區域，再對邊緣進行一定程度的細化（可能通過小型摳圖網絡或濾波處理），這樣在保證實時性的同時盡量提升視覺質量。

• 短視頻與社交平臺：TikTok（抖音）、Instagram、Snapchat等平臺廣泛提供人像背景替換、虛擬綠幕特效。這些功能背后多由人像摳圖模型 實現。以TikTok/抖音為例，其“摳像換背景”特效很早就上線，早期版本可能使用較簡單的人體分割+Color Matting混合法；而據業內推測，字節跳動在RVM論文發表前后已將其部署在剪映（CapCut）等產品中用作高品質摳像工具。CapCut的視頻編輯應用提供“一鍵摳像”功能，可以離線對錄像進行處理，很可能就調用了開源的RVM模型或其改進版，因為RVM正是字節團隊所做且公開提供 。Snapchat的AR濾鏡中也有背景分離濾鏡，Snap多年前收購了AI Segmentation公司以改進摳圖，如今應有定制的人像Matting模型在其Lens中運行。Facebook/Instagram的Reels允許創作者更換視頻背景，也使用AI分割摳像。這些短視頻平臺通常在服務器或高端手機端運行模型 ：發布濾鏡時要求模型足夠小、推理夠快，常采用自研的輕量模型。例如字節系可能使用MobileNet改進的摳圖網絡（類似RVM的架構），Snapchat則有可能用其自研的通用背景分割+細化模型。相較視頻會議，這類應用更加注重視覺效果 ，因為用戶愿意等待幾秒處理或使用云端算力，所以往往部署更復雜的模型以獲得更干凈自然的摳像（頭發絲清晰、不透明度平滑）。例如TikTok的綠幕特效能較好地保留發絲細節，背后推測是一個先分割定位人像再用摳圖卷積網絡細化alpha的兩階段方案，類似MODNet 。

• 移動端特效App：美圖秀秀、Faceu激萌、B612等主打自拍和短視頻特效的App普遍具備背景替換和人像分割功能。它們通常在手機SoC上獨立運行算法，因此極度強調模型輕量 和本地推理 。很多此類App采用了廠商提供的移動AI方案，如華為HiAI提供的人像分割模型，或者使用手機自帶深度攝像頭（如iPhone的人像景深）來輔助摳圖。近年一些App開始集成開源的輕量模型：有開發者將MODNet剪裁成移動端可用的7MB模型供這些App集成 ；MediaPipe的實時分割也在Snap相機、美顏相機類應用中作為基礎功能。雖然出于性能限制，這些App的摳圖效果相比云端或PC會稍顯粗糙（邊緣偶有鋸齒或毛發不完整），但已經能滿足大部分休閑用戶需求。在5G和終端NPU普及后，未來移動特效App也可能部署更高精度的模型，例如直接在高端手機上跑一個小型RVM，實時獲得媲美PC的效果。

• 影視后期與專業工具：電影電視制作長期依賴綠幕拍攝和人工摳像（Rotobrush）。近年來專業后期軟件也引入AI摳圖輔助。例如Adobe After Effects推出了基于AI的Rotobrush 2，可以自動跟蹤前景輪廓，實質是視頻對象分割技術的應用。達芬奇調色軟件中也有“Magic Mask”功能，可自動將人物與背景分離，同樣利用了深度學習人像分割+摳圖算法。在專業場景，由于素材分辨率極高且對結果要求接近完美，當前AI摳圖更多用作輔助而非一鍵成片。比如After Effects用戶常讓AI先自動處理，再手工修正殘留問題。不過也有純AI完成的實例：Netflix的《紙牌屋》曾使用AI摳像替換劇中背景，以避免補拍 (How Zoom leverages AI to provide the best videoconferencing …)。據悉Netflix結合了幀間一致的卷積網絡摳圖方法和人工校對，最后達到肉眼滿意的程度。在電影工業中，一些工作室研發了混合管線：先用分割模型預測前景區域，再用傳統算法（如Closed-Form）在縮小范圍內精細求解alpha，從而半自動獲得接近人工Rotoscoping質量的結果。隨著Matting算法進步，未來專業軟件可能集成更強大的模型，讓AI摳圖真正成為后期標配。

整體而言，各行業應用根據自身需求采用了不同折衷：注重實時 的場景傾向簡化算法，用分割或小模型保證速度；注重效果 的離線場景則敢用大模型甚至人工輔助以追求極致摳像。幸運的是，近年出現的RVM等技術提供了“魚與熊掌兼得”的可能，一些企業已開始把這些開源SOTA模型移植到產品中，提升用戶體驗。例如OBS Studio的虛擬背景插件從原來的TensorFlow人像分割升級為RVM模型，實現了更少瑕疵的直播摳像效果。可以預見，隨著硬件性能提升和算法優化，精細實時摳圖 將在越來越多應用中落地。

7. 工業落地可行性分析

要將視頻人像摳圖算法成功應用于工業產品，需要綜合考慮多方面的可行性指標：

• 算法精度與穩定性：在真實復雜場景下模型能否保持高精度和魯棒性是首要因素。工業環境中光照、背景、攝像畫質千差萬別，實驗室中的合成訓練可能不涵蓋所有情況。因此模型需有良好泛化能力，避免在非訓練分布上失效。這方面可以通過數據多樣性 提升和域適應 技術改進。例如引入真實視頻fine-tuning、利用不確定性估計判斷低信度區域。穩定性還指前景遮罩連貫 ：輸出不能忽閃忽現或局部丟塊。評價上需關注Connectivity和Temporal一致性指標。如果一種模型在公開數據上精度高但輸出mask經常局部不連貫或時間抖動，那么在產品中仍然不可用（用戶會明顯感覺到邊緣閃爍）。

• 實時性能與延遲：在直播、視頻通話等場景，摳圖算法需在毫秒級 完成每幀推理，典型要求≥30FPS并穩定低延遲。即使離線編輯場景，也希望盡快渲染結果。因此模型的推理時間 和效率 是重要指標。衡量上除了FPS外，還包括對CPU/GPU資源占用。如果占用過高會影響其他任務（如編碼傳輸）。工業部署傾向于小模型 ，如幾百萬參數量級，可以通過量化、蒸餾進一步加速。在移動端，模型必須適配移動GPU/NPU運行，以避免耗盡CPU導致卡頓。RVM之所以受歡迎正因為其以3.7M參數實現了4K 76fps的性能 。對于新模型，若參數過大（如Transformer類50M以上）則需剪枝或輕量化，否則難以嵌入終端或云端批處理。

• 跨平臺部署適配：工業應用環境多樣，需考慮模型在不同硬件和軟件平臺的可移植性。例如在服務器可用PyTorch TensorRT加速，而在瀏覽器需用WebAssembly或TensorFlow.js。在移動SoC上可能需要轉換為CoreML、TFLite格式并使用GPU/Vulkan或NPU加速。部署方案 要針對平臺優化，常見做法是：提供不同復雜度的模型以匹配設備性能（如高端設備用大模型，低端用小模型），或者在云端渲染結果后下發。隱私敏感時傾向本地運行，這要求模型更小更快。工程上需有一套模型壓縮和編譯流程 ，將訓練好的模型裁剪、量化到目標平臺，通過預先優化算子實現高效推理。例如MODNet作者提供了ONNX/TensorRT和甚至JS版本方便集成 。可行性分析需要確認模型在目標平臺上的實際速度，例如用真實設備profile性能，確保滿足產品幀率。

• 前后處理與系統集成：摳圖算法通常并非孤立運行，還需考慮輸入輸出接口。例如攝像頭采集可能有噪聲，需要先做降噪/白平衡，否則摳圖易受干擾。輸出的alpha需要與背景合成，為了視覺平滑可能要在邊緣做 feathering 或過渡。工業實現時往往加入前后處理 流水，如在alpha蒙版上應用形態學操作以去除噪點、用雙邊濾波平滑邊緣等。還需考慮與其他模塊的銜接，例如與人臉美顏、虛擬形象疊加等模塊協同工作，確保流程實時。系統層面還涉及內存管理（保持幀緩存供算法利用歷史信息）、多線程并發（解碼、推理、編碼并行）等。因此可行性不止看模型本身，也看整體方案是否易于集成。一個精度略低但流程簡單穩定的模型，有時比精度高但依賴復雜預處理的模型更容易落地。

• 隱私與安全：若方案涉及將視頻流上傳到云端GPU處理，則需要評估用戶隱私和數據安全風險。在許多國家/地區，個人視頻數據受法律保護，云端處理需取得用戶同意并做好加密存儲。為減輕隱私負擔，一些廠商選擇邊緣計算 ，即在用戶設備或本地網關完成摳圖，僅傳輸處理后的結果。這要求模型必須足夠高效以適配邊緣設備，屬于前述性能適配問題。同樣，如果訓練或改進模型需要收集用戶數據，也必須考慮隱私合規（如通過用戶同意的采集或使用經過匿名化的數據）。因此可行性分析中，要根據應用場景選擇本地推理 vs 云端推理策略，并滿足相應的隱私要求。一般來說，本地實時應用（直播、通話）傾向于設備端運行模型；云剪輯應用可接受服務器處理但要有完善的隱私政策。

• 成本和擴展性：從商業角度，部署大量摳圖服務需要考慮計算成本。云端部署要預估每路視頻耗費的GPU資源，及同GPU可并行處理多少路，以決定硬件投入。一個效率高的模型可以大幅降低云成本。例如RVM小巧且算力需求低，每張GPU可以跑非常多路1080p視頻，這對大規模應用（如云視頻會議服務）極具價值。相反，若用一個龐大模型每GPU只能跑一兩路，那擴展成本會很高，不利于可行性。此外，模型推陳出新很快，方案需要具備擴展性，方便后續替換更優模型。因此采用標準的深度學習部署框架（TensorRT, ONNX Runtime等）能提高未來升級的靈活性。可行性上，應盡量避免選用過于定制化、不可擴展的方案，以免后續維護困難。

綜合上述因素，在工業落地時往往需要折中 ：既要算法效果足夠用，又要系統整體簡單高效、安全可靠。在實踐中，可以通過A/B測試 不同方案，在真實業務環境下驗證他們的性能瓶頸與用戶感受，從而做出最優選擇。

8. 模型選型與應用場景推薦

根據不同應用場景的需求和限制，我們推薦相應的人像摳圖模型方案和部署方式：

• 短視頻直播（實時摳像，主播背景替換）：要求低延遲、高幀率和較好發絲效果。推薦方案 ：使用Robust Video Matting (RVM) 或其升級版（如MatAnyone輕量模型）。RVM在1080p下可輕松超30fps 且對復雜背景有魯棒性，無需輔助輸入 。部署時優先在本地GPU上運行，以避免云端傳輸延遲；如在手機端直播，可使用RVM的精簡版模型（裁剪通道或用MobileNetV2替換 backbone）并利用端側NPU加速，以實現端測實時。為進一步降低偶爾的抖動，可在RVM輸出后增加一層小的時序濾波。總體來說，RVM兼顧速度與效果，非常適合互動直播等實時性第一 的場景。

• 智能剪輯（離線處理，云端剪輯換背景）：此類場景可以犧牲一些速度換取更高畫質 。推薦方案 ：采用MODNet+細化 雙階段。具體做法是先用MODNet等快速模型在云端對視頻每幀做人像初步摳圖，然后對MODNet輸出的alpha邊緣區域再應用高精度的圖像摳圖模型（如使用Closed-Form matting或FBA Matting）做精細優化。這種方案利用MODNet減少了需要精細處理的像素區域，實現比全局精細摳圖快很多，同時最終效果接近高質量。這在剪映CapCut等應用中已有類似思路實踐，用戶上傳視頻到云，服務器并行處理后返回透明視頻。若希望完全不人工干預，也可嘗試One-Trimap Video Matting (OTVM)，由用戶在第一幀畫一個粗trimap，剩余幀模型自動完成。OTVM在影視剪輯中很有用：只需極少人工就可獲得遠優于純自動的方法。因此對于離線剪輯 這種可容忍幾秒處理 的場景，推薦組合“快速分割+精細摳圖” 的管線或者少量人工輔助+模型自動傳播的方式，以得到準專業級效果。

• 影視級后期（電影摳像，高分辨率高要求）：電影后期通常素材4K甚至8K，要求幾乎無瑕疵。推薦方案 ：優先還是實拍綠幕 （傳統做法）結合摳像軟件。但若無綠幕，可選Background Matting類方案：拍攝現場獲取空景背景，用Background Matting V2模型，它在4K下可實時并達到接近綠幕的質量。如果沒有背景輔助，則采用HDMatt結合人工修正 ：HDMatt可對4K逐幀摳圖得到細節豐富的alpha, 然后由后期藝術家檢查關鍵幀、修補局部錯誤，再用視覺特效軟件的插值功能確保幀間平滑。對于多人復雜鏡頭，可能需要先用實例分割區分各人物，再分別套用摳圖模型處理，以避免人物間混色。由于影視級鏡頭通常愿意投入人工和時間，為求穩妥，可將AI摳圖作為輔助工具 ：如用MatteFormer這種Transformer模型在大尺度下處理，然后人工微調，效率仍比全手工Rotobrush高很多。因此在影視后期 這種精度至上 場景，推薦背景輔助摳圖 （有條件時）或深度摳圖+人工校對 的混合方案，以滿足高分辨率、高保真的要求。

• 實時特效（前端小程序、AR濾鏡）：如網頁端虛擬試衣間、移動AR特效等，需要即拿即用且在受限環境運行。推薦方案 ：使用輕量級人像分割模型 作為基礎，輔以簡單摳圖Refinement。比如在微信小程序中，可采用TensorFlow.js加載一個2M大小的MobileNet人像分割模型，得到粗mask后，用JavaScript實現一個基于Matting Laplacian的快速細化算法（在mask邊緣5像素范圍內計算alpha過渡）。這種方案技術含量不高但易部署，能在中低端手機上以每秒幾幀運行，勉強滿足小程序短視頻的需求。如果需要更好效果，可以考慮將MODNet壓縮版部署在小程序后臺服務器 ：用戶錄制短視頻上傳，小程序調用云函數運行MODNet模型得到結果再下發。這種云端處理可利用高性能模型但用戶等待時間會增加。對于原生移動App（如Snap濾鏡）可以直接集成C++版的RVM或MODNet模型，通過NNAPI或Metal等接口加速。總之，前端受制于性能，優先保證能跑起來 ，所以推薦方案是“小模型分割+局部matting” 。等未來WebGPU成熟后，或許可以在瀏覽器直接跑更大的模型，到時再升級算法。而目前在小程序這類極端環境下，簡單可靠的方案勝過復雜優秀但無法部署的方案。

• 人像換背景特效（To C應用）：比如用戶自拍換背景的App，需要操作簡單、一鍵出效果，同時在大部分手機上都可用。推薦方案 ：選擇開源的MODNet移動模型 。MODNet作者已經給出了一個7MB大小的模型可在手機實時跑 。開發者可將其轉換為CoreML或TFLite格式，集成到App中調用手機GPU加速。實際測試表明，在中端手機上MODNet可達到每秒5-10幀，這對預覽來說足夠了。對于合成質量要求高的，可以在MODNet輸出后，對alpha邊緣做一點磨平處理，或者疊加背景時做模糊混合，以遮蓋可能的發絲瑕疵。相比之下，直接用MediaPipe分割雖然快但頭發邊緣鋸齒明顯，不夠美觀。因此像美顏App這類追求視覺愉悅 的場景，MODNet這種Trimap-Free細粒度模型較為適合。若部分用戶手機性能不足，可以檢測到低端機型時退而使用分割方案，做一個動態降級。但總體選型方向以MODNet為代表的輕量深度摳圖模型為佳，既保證了相當的細節，又能在移動端獨立運行。

最后需要強調，沒有萬能的模型能適配所有場景 。選型時應根據應用重點（實時 vs 質量 vs 通用性）決定取舍。有條件的情況下，也可以多模型組合 ：比如在后端同時部署RVM和MODNet，兩者作為不同服務提供，實時互動用RVM，離線高清用更重的模型，以實現一套系統多種能力 。隨著技術進步，我們預計未來模型將朝著統一高效 方向發展，即單一模型在多檔硬件上均表現良好，既能滿足實時又兼顧精細。但在目前階段，充分利用現有各類模型的長處、針對具體需求進行優化整合，才是視頻人像摳圖落地的明智之舉。