《DeepSeek-VL: Towards Real-World Vision-Language Understanding》

1. 摘要/引言

基于圖片問答（Visual Question Answering，VQA）的任務

2. 模型結構 和 三段式訓練

1）使用 SigLIP 和 SAM 作為混合的vision encoder，也就用的 對比學習 和Segment Anything（有監督學習）的混合vision encoder

2）Vision-Language Adaptor 負責將動態分塊后的圖像特征轉換為語言模型可處理的離散的token-ids