??SAM 新用法，無需訓練，利用高質量負提示提升分割性能~

---

論文：SynPo: Boosting Training-Free Few-Shot Medical Segmentation via High-Quality Negative Prompts
代碼：https://liu-yufei.github.io/synpo-project-page/

---

0、摘要

??大型視覺模型（Large Vision Models，LVMs）為小樣本醫學圖像分割帶來了新機遇。然而，現有基于 LVMs 的無訓練方法未能有效利用負提示，在低對比度醫學圖像上表現不佳。（研究背景）

??為此，本文提出 SynPo，一種基于 LVMs（如 SAM）的無訓練小樣本分割方法，核心思想是提升負提示的質量。

??本文設計了置信圖協同模塊，融合 DINOv2 與 SAM 的優勢，生成更可靠的置信圖。基于該置信圖，選取前 k 個像素作為正提示點集，并基于高斯分布選取負提示點集，隨后分別對兩者進行 K-means 聚類。最終，這些高質量提示點被輸入 SAM 進行分割。大量實驗表明，SynPo 的性能可與當前最優的有訓練小樣本方法相媲美。

---

1、引言

1.1、研究意義與當前挑戰

??（1）利用 SAM 進行無訓練小樣本分割的流程可概括如 圖 1(1) 所示。該方法以支持-查詢圖像對及支持掩膜為輸入，首先通過強預訓練視覺編碼器（如 DINO）提取支持-查詢圖像對的特征圖，隨后利用余弦距離計算查詢特征與目標特征之間的二維置信圖，并將置信圖中的最大值作為點提示，引導 SAM 在查詢圖像上完成交互式分割；

??（2）置信圖的利用仍有改進余地： DINOv2 作為該范式中常用的特征提取器，在語義特征提取方面表現出色，但其采用相對位置編碼，削弱了對絕對空間位置的感知，可能導致正提示點選擇錯誤，如 圖 1(2) 左下 所示，這會影響解剖先驗的利用，進而導致分割結果在解剖結構上不一致；而同樣廣泛使用的 SAM-ViT 采用絕對位置編碼，具備更強的空間定位能力，能夠有效避免該問題，如 圖 1(2) 右上 綠框所示；

??（3）負提示的選擇策略較為粗糙： 導致分割性能下降。現有方法將置信圖中與目標區域相似度最低的像素作為負提示，使得大多數負提示集中在背景區域，而非解剖區域內，圖 1(3) 中的先導實驗表明，該方式違背直覺，效果不佳；
??
Figure 1 | 無訓練少樣本分割面臨的挑戰：(1) 無訓練小樣本點提示分割模型的通用流程；(2) 不同置信圖（C. Map）與真實標簽對比，DINOv2 特征生成的置信圖誤將右側無關區域識別為“相似”；SAM-ViT 特征的置信圖數值區分度較低，本文提出的協同置信圖融合兩者優勢，彌補各自不足；(3) 先導實驗：在解剖區域外設置負提示，即使正提示位置相同，分割性能仍低于在區域內設置負提示；

1.2、本文貢獻

??（1）提出了一種新穎的無訓練方法 SynPo，包含置信圖協同模塊與點提示選擇模塊；

??（2）借助 SAM 在低層空間信息捕捉方面的優勢，彌補 DINOv2 特征的不足，設計了置信圖協同模塊，該模塊融合 DINOv2 的高層語義特征與 SAM-ViT 的絕對空間信息，提升解剖結構的識別能力并優化分割邊界；

??（3）點提示策略模塊通過在解剖區域內啟發式地選擇負提示，提升了負提示的信息量，增強了提示引導效果，減少了冗余信息；

??（4）引入噪聲感知優化模塊，結合標準形態學操作與 SAM 對粗分割結果進行細化；

---

2、方法

2.1、總覽

??SynPo方法，如 圖 2 (1) 所示，由三個核心部分組成：置信圖協同模塊（CMSM）、點選擇模塊（PSM）和噪聲感知優化模塊（NRM）。給定一個支持-查詢對，首先使用預訓練的視覺模型（SAM-ViT 和 DINOv2）提取零樣本視覺特征。

??在 CMSM 中，特征圖與支持掩碼 ${\mathcal{M}}_S\in {\mathbb{R}}^{H\times W}$ 共同用于計算協同映射 $SynMap\in {\mathbb{R}}^{H\times W}$，并建模負置信度分布 $P_{neg}$，這些要素共同支撐提示信息的生成。

??在 PSM 中，協同映射中的像素按其置信度得分排序形成一個分級列表，該列表與置信度分布共同構成點提示選擇的關鍵決定因素。

??最后，生成的點提示和查詢圖像 $I_Q$ 被輸入到 SAM 中，以預測粗略掩碼 ${\mathcal{M}}_{coarse}\in {\mathbb{R}}^{H\times W}$，此外，設計了額外的 NRM 來對 ${\mathcal{M}}_{coarse}$ 進行細化。

??
Figure 2 | ：（1）SynPo 架構概述；（2）置信圖協同作用示意圖；（3）點選擇模塊圖示；

2.2、置信圖協同模塊（CMSM）

??如 圖 2 (2) 所示，CMSM 是一種創新方法，它包含兩個分支來生成協同圖，并附帶生成負置信度分布。對于上分支，使用 ${\mathcal{M}}_s$ 從 ${\mathcal{F}}_s$ 中提取與視覺概念中前景像素對應的支持特征：

??其中 ${\mathcal{T}}_S^i\in {\mathbb{R}}^{1\times c}$ ，$?$ 表示空間維度乘法運算。隨后，通過計算 ${\mathcal{T}}_S^i$ 與查詢特征 ${\mathcal{F}}_Q$ 之間的余弦相似度，為每個前景像素 $i$ 生成 $n$ 個置信度圖：

??接下來，采用平均池化方法來聚合所有 $n$ 個局部特征圖，從而獲得目標器官的整體置信度圖 $\mathcal{S}\in {\mathbb{R}}^{H\times W}$。

??在生成負置信度圖的下分支中，通過 ${\bar{\mathcal{M}}}_s$ 從 ${\mathcal{F}}_s$ 中裁剪出視覺概念內背景像素的支持特征，其中 ${\bar{\mathcal{M}}}_s$ 表示 ${\mathcal{M}}_s$ 的逆矩陣：

??其中 ${\mathcal{B}}_S^i\in {\mathbb{R}}^{1\times c}$ ，$?$ 表示空間維度乘法運算。隨后，將 ${\mathcal{B}}_S$ 視為 ${\mathcal{F}}_q$，并以相同方式計算負置信度圖 ${\mathcal{S}}_{neg}$。

??隨后，將 ${\mathcal{S}}_{SAM}$ 與 ${\mathcal{S}}_{DINO}$ 結合生成 $SynMap$：

??其中 $\odot$ 表示哈達瑪積，且 ${\delta }_{S?D}+{\delta }_S+{\delta }_D=1$。第一項捕捉了兩個矩陣之間的非線性相互作用，有效地放大了結果矩陣中的極端值。這增強了對兩個置信度圖中顯著偏差的敏感性，同時降低了中性或中等數值的影響。此外，后續項為每個矩陣的貢獻提供了受控權重。接下來，對 ${\mathcal{S}}_{neg}^{SAM}$ 和 ${\mathcal{S}}_{neg}^{DINO}$ 應用相同流程，生成融合表征，隨后將其展平以獲得 $SynMa{p}_{neg}\in {\mathbb{R}}^{(H\times W?1)\times 1}$：

??對于 $SynMa{p}_{neg}$，采用高斯概率密度函數對其中的每個像素值 $p_i$ 進行建模：

??其中 $\mu$ 和 $\sigma$ 通過最大似然估計得出。

2.3、點選擇模塊（PSM）

??將協同圖中的每個像素點 $p_i=(x_i,y_i,c_i)$ 按照該像素置信度分數 $c_i$ 進行降序排列，其中 $x_i$、$y_i$ 表示該像素的坐標位置。

??對于正樣本點，選取概率值 $p_i$ 的前 ${\gamma }_1?K_p$ 個點，其中 ${\gamma }_1$ 是聚類比例因子，$K_p$ 代表期望的正樣本點數量。所選點的坐標集合可表示為：

??其中 $p_i\in {\mathbb{R}}^2$。接下來，對這些坐標進行 K 均值聚類并選取 $K_p$ 個中心點，從而得到 ${\mathcal{P}}_{pos}$：

??其中 ${\mathcal{P}}_{pos}\in {\mathbb{R}}^{K_p\times 2}$代表坐標集合。

??對于負樣本點，最多從置信區域選取 ${\gamma }_2?K_n$ 個與感興趣區域更相關的像素點，其定義如下列方程所示：

??其中 $\mu$ 和 $\sigma$ 源自 $SynMa{p}_{neg}$，$\alpha$ 和 $\beta$ 是用戶定義的用于控制置信區間邊界的常數。隨后隨機選取 ${\gamma }_2?K_n$ 個像素點：

??隨后，將類似的聚類方法應用于正樣本點，得到 ${\mathcal{P}}_{neg}$：

??最終，取兩個集合的交集并為這些點分配標簽，從而得到該集合：

??其被輸入至 SAM 模型以生成粗分割結果 ${\mathcal{M}}_{coarse}$。

2.4、噪聲感知優化模塊（NRM）

??該模塊首先通過初始腐蝕操作來優化由 PSM 生成的原始粗糙掩膜 ${\mathcal{M}}_{coarse}$，以去除細小噪聲，隨后進行膨脹步驟以恢復主要結構區域。設 ${\mathcal{M}}_j$ 表示針對 ${\mathcal{M}}_{coarse}$ 第 $j$ 個連通區域 $C_j$ 所獲得的掩膜，通過 ${\mathcal{M}}_j$ 對查詢特征進行分割：

??其中 $|Cj|$ 表示 $C_j$ 區域內的總像素數。隨后，將 $T_{Q,Cj}$ 視作 $F_q$，并采用相同方式計算 $C_j$ 區域的置信度得分，得到 ${\mathcal{S}}_{C_j}$。接著在每個連通域內計算均值：

??選擇得分最高的連通區域作為 ${\mathcal{M}}_{refine}$，并將其作為掩碼提示輸入 PSM 模型。結合點提示，這有助于進一步細化分割結果。隨后再次通過相同步驟處理輸出，最終生成分割結果 ${\mathcal{M}}_{final}$。

---

3、實驗與結果

3.1、實驗設置

??（1）數據集與評價指標：Synapse-CT 數據集：30 例腹部 CT 三維掃描；CHAOSMRI 數據集：20 例 T2-SPIR 磁共振三維掃描；五折交叉驗證報告 Dice 系數的標準差；

??（2）實施細節：將圖像轉換為 256×256 大小的感興趣區域，使用 DINOv2 模型（Sinder）提取特征，得到一個空間尺寸為 64×64 的特征圖。接著應用 SAM 模型（Sam2.1 Hiera 大圖預測）獲取相同空間尺寸 64×64 的特征圖，分別對應高度和寬度。所有實驗都在 NVIDIA RTX-3090 上進行。至于超參數，對于 Synapse-CT 和CHAOS-MRI，${\delta }_{S?D}$、${\delta }_S$ 和 ${\delta }_D$ 均設定為 0.8、0.1 和 0.1；

3.2、與最先進方法的比較

??
Table 1 | 與最先進方法的比較：除 PerSAM 和 SynPo 外，數據均來自其原始論文；

??
Figure 3 | 不同方法的質量結果：

3.3、消融實驗

??
Table 2 | 消融模塊研究：
Table 3 | CHAOS 任務中負提示策略的消融研究：

??
Figure 4 | 參數 $\alpha$ 與 $\beta$ 的實驗，$\beta =\alpha ?1.5$：

---

??prompt 也很值得研究呀( ?? ω ?? )?