6-langchang多模態輸入和自定義輸出
- 多模態數據輸入
- url
- base64
- url list
- 工具調用
- 自定義輸出: JSON, XML, YAML
- 如何解析 JSON 輸出
- json
- 如何解析xml
- YAML解析器
多模態數據輸入
這里我們演示如何將多模態輸入直接傳遞給模型。我們目前期望所有輸入都以與OpenAI 期望的格式相同的格式傳遞。對于支持多模態輸入的其他模型提供者,我們在類中添加了邏輯以轉換為預期格式。
在這個例子中,我們將要求模型描述一幅圖像。
url
import base64
import httpx
from langchain_core.messages import HumanMessagefrom langchain_openai.chat_models.base import BaseChatOpenAIimg_url =