項目簡介與模型基本介紹

DOTS-VLM1 是由小紅書希實驗室（Rednote HiLab）開源的多模態視覺語言模型（Vision-Language Model, VLM），旨在推動視覺與語言理解的融合研究。DOTS-VLM1 采用主流的編碼-融合-解碼架構，支持圖片與文本的聯合理解與生成，適用于圖文問答、圖片描述、視覺推理等多種場景。

主要特性：

• 支持多模態輸入（圖片+文本），具備強大的視覺語言理解與生成能力
• 兼容主流視覺編碼器（如 ViT、ResNet）與語言模型（如 LLM、BERT）
• 開源訓練代碼與模型權重，易于復現與二次開發
• 支持多任務微調，適配多種下游應用

模型定位：

• 視覺語言基礎模型，面向開放領域的多模態理解與生成
• 適合學術研究、工業應用、AI Agent、輔助工具等場景

---

模型能力與應用場景

1. 圖文問答（Visual Question Answering, VQA）

• 能力：輸入圖片和自然語言問題，輸出準確答案
• 應用：智能客服、輔助醫療、教育問答、內容審核等

示例代碼：

from dotsvlm import VLM1model = VLM1.load_pretrained("dotsvlm1-base")
image = load_image("cat.jpg")
question = "這只貓是什么顏色？"
answer = model.vqa(image, question)
print(answer)  # "灰色和白色"

2. 圖片描述生成（Image Captioning）

• 能力：輸入圖片，自動生成自然語言描述
• 應用：無障礙輔助、內容檢索、社交媒體、自動標注等

示例代碼：

caption = model.caption(image)
print(caption)  # "一只灰白色的貓趴在沙發上"

3. 多模態推理與理解

• 能力：支持圖片與文本聯合推理，如判斷場景、推斷關系、理解復雜指令
• 應用：AI Agent、智能推薦、復雜任務自動化

示例代碼：

instruction = "請描述圖片中的動物，并判斷它是否適合家庭飼養。"
response = model.infer(image, instruction)
print(response)

4. 圖文檢索與匹配

• 能力：支持圖片與文本的相互檢索與匹配
• 應用：內容搜索、推薦系統、相似圖片查找

示例代碼：

results = model.search("一只貓在沙發上")
for img in results:show(img