---

一、下載

?

---

二、核心功能

?其中包括以下內容：

1. 從模型中返回結構化的數據
2. 使用模型調用工具
3. 流式可運行對象
4. 調試 LLM 應用

1、流式傳輸 streaming

?在大語言模型中，流式傳輸 streaming 通常指的是一種數據處理方式，其中數據是 連續不斷地 傳輸和處理，而不是一次性批量傳輸。這種方法有以下幾個關鍵特征和應用：

1. 實時處理，流式傳輸允許模型 實時處理輸入數據，而不是等待所有數據都傳輸完畢后再進行處理。這對于需要即時響應的應用非常重要，如在線翻譯、語音識別、實時聊天機器人等。
2. 減少延遲，通過流式傳輸，數據可以 分塊處理，每個塊的數據可以在接收到后立即進行處理，從而 減少整體延遲，提高響應速度。
3. 資源管理，流式傳輸可以更有效地利用資源，因為它 不需要在內存中一次性加載所有數據，適合處理大規模數據或內存受限的場景。
4. 適應動態數據，在一些應用中， 數據是 不斷變化和更新的，如社交媒體流、傳感器數據等。流式傳輸能夠動態適應這些數據的變化，提供持續的模型推理和輸出。

---

三、LCEL

?LCEL 是一種創建任意自定義鏈的方法。它基于 Runnable 協議。LCEL cheatsheet：快速概覽如何使用主要 LCEL 原語。

---

四、組成部分

1、Promp template

?提示模板負責將用戶輸入格式化為可以傳遞給語言模型的格式。

2、Example selectors (示例選擇器)

?示例選擇器負責選擇正確的幾個短示例傳遞給提示。

3、Chat models (聊天模型)

?聊天模型是一種較新的語言模型，可以接收消息并輸出消息。

4、Messages (消息)

?消息是聊天模型的輸入和輸出。它們有一些 content內容 和一個 role角色，描述了消息的來源。

5、LLMs (大語言模型)

?LangChain 所稱的 LLMs 是語言模型的 舊形式，它以字符串為輸入，以字符串為輸出。

• 如何緩存模型的相應
• 如何創建自定義LLM類
• 流式地傳輸響應回來
• 跟蹤令牌使用情況
• 使用本地LLM工作