大家好,今天要和大家分享的項目是MatAnyone,與上一篇分享的SAM2LONG類似,不過上次的分享沒有提到如何在 MAC 上部署,后來有小伙伴私信說希望能出一個 MAC 版本的。那正好看到MatAnyone這個項目順手就寫下來。該項目基于SAM2同樣可以一鍵摳出視頻中的主體,快速輸出綠幕視頻或者是AlphaMask視頻。本篇會分享本地手動部署流程以及MatAnyone的使用方法。
以下是手動部署的步驟,也可以直接使用一鍵包進行部署。
手動部署
克隆代碼倉庫
git clone https://github.com/pq-yang/MatAnyone
cd MatAnyone
創建 Conda 虛擬環境
conda create -n matanyone python=3.10 -y
安裝依賴
pip install -e .
pip3 install -r hugging_face/requirements.txt
安裝FFmpeg
# macOS
brew install ffmpeg# Windows (通過 Chocolatey)
choco install ffmpeg# Ubuntu/Debian
sudo apt install ffmpeg
安裝pytorch
windows
安裝 CUDA 12.8 支持的 PyTorch 套件,啟用 GPU 加速。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
MAC
pip3 install torch torchvision torchaudio
MAC部署需要修改下matanyone_wrapper.py
第44行
device = torch.device("mps") if torch.backends.mps.is_available() else torch.device("cpu")mask = torch.from_numpy(mask).to("cpu")frames_np = [frames_np[0]]* n_warmup + frames_npframes = []phas = []for ti, frame_single in tqdm.tqdm(enumerate(frames_np)):image = to_tensor(frame_single).to("cpu").float()
運行
首次運行會自動下載模型
python hugging_face/app.py
使用教程
上傳需要處理的視頻
點擊加載視頻
點擊右邊的區域可以選擇蒙版
支持多選
選擇完成后點擊下方的視頻摳圖
最后輸出綠幕視頻以及Alpha視頻
配置需求
Windows
WindowsN卡需10G顯存
如果運行報錯,需要安裝cuda12.8
https://developer.nvidia.com/cuda-12-8-0-download-archive
支持50系顯卡
MAC
MAC Apple Silicon M1/M2/M3/M4 芯片
10G內存以上
關于速度
11秒視頻(每秒24幀)
4090完成花費60秒左右。
5090完成花費45秒左右。
MAC M1 MAX完成花費20分鐘左右。
整合包獲取
👇🏻👇🏻👇🏻下方下方下方👇🏻👇🏻👇🏻
夸夸夸盤:
https://pan.quark.cn/s/9160ab732d7b
度度度盤:
https://pan.baidu.com/s/1OKOTyzo-PW9Zd3HVK4QK0w?pwd=p7x3
制作不易,如果本文對您有幫助,還請點個免費的贊或關注!感謝您的閱讀!