摘要

一 介紹

二 有關工作

三?提出的方法

圖2：我們的凝聚式深度關聯（CONDA）模型的整體流程圖。具體來說，凝聚式深度關聯（CONDA）模型首先利用圖像特征來計算超關聯。然后，全像素超關聯由對應誘導關聯凝聚（CAC）模塊進行凝聚，并輸入到聚合網絡中，以獲得深度關聯特征。這些特征隨后在特征金字塔網絡（FPN）解碼器過程中用于最終的預測。為簡潔起見，圖中僅展示了三張相關圖像。

問題一：這張圖的流程是什么？

這張圖展示的是 ??CONDA模型（Correspondence-induced Association Network for Dense Prediction）?? 的完整工作流程，其核心是通過 ??超關聯計算（HAC）→ 對應誘導關聯凝聚（C

AC）→ 聚合網絡（Agg）?? 的三階段處理，實現多圖像間的深度關聯特征提取與預測。

1. 輸入與特征提取??

• ??輸入圖像??：三張不同場景的圖像（如水果、室內、手部），尺寸統一為?H×W×3。

• ??特征提取??：

  • 通過共享權重的 ??骨干網絡??（如ResNet）提取多尺度特征：

    • 輸出特征圖?（淺層細節）和?（高層語義），尺寸分別為和?。

---

??2. 超關聯計算（HAC: Hyperassociation Calculation）??

• ??功能??：計算圖像內所有像素間的全局關聯矩陣，捕捉長程依賴關系。

• ??操作流程??：

  1. 對特征圖??和??分別展開為像素向量?（尺寸?N×C，N=HW/4?或?HW/16）。

  2. 通過矩陣乘法生成關聯矩陣?A（圖中標注?A5?和?A4）：

  3. 輸出多尺度超關聯圖?A5（來自??）和?A4（來自??）。

---

??3. 對應誘導關聯凝聚（CAC: Correspondence-induced Association Condensation）??

• ??功能??：對超關聯矩陣進行稀疏化凝聚，保留強關聯區域。

• ??子步驟??（對應下半部分詳解）：

  1. ??初始凝聚（Initial Condensation）??：對關聯矩陣?A?按行取Top-k值，生成稀疏矩陣?A′。

  2. ??最大相似性選擇（Max-Similarity Selection）??：篩選每行最大關聯值對應的像素對，形成初始關聯對集合?P。

  3. ??關聯誘導特征增強（Association-induced Feature Enhancement）??：對關聯對?P?的特征進行加權融合（圖中?⊕?表示逐元素加）：

  4. ??最終凝聚（Final Condensation）??：輸出優化后的稀疏關聯特征?F3??和?F4′?。

---

??4. 聚合網絡（Agg: Aggregation Network）??

• ??功能??：融合多尺度關聯特征，生成深度關聯表示。

• ??操作??：

  • 將?F3?、F4′??和原始特征?F2?、F4??通過跨尺度連接（圖中灰色箭頭）輸入聚合網絡。

  • 輸出統一的高維特征?Fagg?（尺寸?4H?×4W?×4C）。

---

??5. 預測生成（FPN Decoder & PAG）??

• ??FPN Decoder??：基于特征金字塔結構上采樣?Fagg?，逐步恢復空間分辨率至?H×W。

• ??PAG（聚合生成）??：通過跳躍連接融合淺層特征?F2?，生成最終預測圖（如云朵狀概率圖或白色輪廓掩碼）。

---

??6. 輸出與監督??

• ??輸出形式??：

  • 三張預測圖（與輸入對應），形式可能為：

    • 云朵狀概率圖（低置信度區域模糊化）。

    • 二值化輪廓掩碼（高置信度區域銳化）。

• ??損失函數??：結合交叉熵損失（CE）和Dice損失優化邊界精度。

---

??7. 關鍵設計亮點??

1. ??跨圖像關聯建模??：HAC和CAC模塊顯式建模像素級長程依賴，適用于多圖像協同分析。

2. ??動態稀疏化??：CAC通過Top-k選擇保留強關聯，提升計算效率。

3. ??多尺度融合??：Agg網絡整合不同層級特征，兼顧細節與語義。

---

??8. 圖示符號對照表?

3.1?漸進的協會生成

3.2 對應誘導的關聯凝結

3.3 對象感知周期的一致性損失