1、大語言模型（LLM）應用開篇

??現在是2025年，DeepSeek憑借卓越的技術實力脫穎而出，Agent（智能體）工作流和專業垂直領域大模型的微調成為了最熱門的研究方向之一。

??大語言模型的幻覺（hallucination）：指通用大語言模型（LLM）在生成內容時，產生看似合理但實際上不準確或不符合事實的信息。這種現象是當前LLM面臨的重要挑戰之一。

??幻覺產生的原因：

• 大模型的生成機制，大語言模型基于大量數據訓練，并通過預測下一個詞的概率來生成文本，因此可能會產生語法通順但事實不準確的內容。
• 訓練數據的質量問題：如果訓練數據中包含錯誤或過時的信息，模型可能會學習并傳播這些錯誤，導致幻覺現象的出現。

??緩解 LLM 幻覺的方法，也是大模型的應用方式：

• 檢索增強生成（RAG）：通過從專業知識庫中檢索相關信息，結合用戶提問，讓大模型基于準確的數據生成符合事實的內容，從而減少幻覺現象。
• 微調（Finetune）：利用專業知識庫對大模型進行重新訓練，優化其在特定領域的理解和生成能力，使其能夠更準確地回答專業問題。

??幾個專業名詞：

• Eval：大模型評估（Evaluation），指對大模型性能、能力或效果的系統性測試與分析，是目前業界的一大難點。

• Agent：智能體，垂直大模型的應用程序，能夠解決某一方面的專業問題。

2、RAG技術

??RAG（Retrieval-Augmented Generation）（檢索，增強，生成）：從外部知識庫中檢索相關信息，作為用戶提問的上下文信息，一起輸入到LLM中，使LLM生成符合事實內容的方法技術。可以類比為：開卷考試。
??其中：

• 檢索：查詢數據庫
• 增強：擴充提示詞
• 生成：結合LLM生成文本內容

2.1 基于RAG實現知識庫問答系統的基本步驟

1. 創建知識庫：
   • 收集數據：收集PDF、MD等不同格式的數據
   • 數據清洗：去除噪聲、重復項和無關信息
   • 文本分割：將文本分割成較小的片段chunks
   • 文本向量化：使用文本嵌入（Embedding）模型。將文本片段轉成向量形式
   • 構建向量數據庫
2. 設計檢索模塊：
   • 問題向量化：使用文本嵌入模型，將用戶的提問轉成向量形式
   • 相似度檢索：計算問題向量和文本片段向量的向量相似度（使用余弦相似度），找到相應的文本片段向量
   • 上下文結合：將相應的文本片段向量和問題向量結合成為提示詞（prompt）
3. 生成內容：將提示詞輸入LLM中，生成相應的文本內容

2.2 RAG與其他技術的關系與區別

??RAG 與 LangChain 的關系與區別：
??使用 LangChain 技術可以構建以大語言模型為核心的工作流，可以使用 LangChain 技術實現 RAG 系統 。區別： RAG 是一個方法論，LangChain 是一個框架，LangChain 可以實現 RAG 系統，也可以實現其他圍繞 LLM 的工作流系統。

?? RAG 與 LlamaIndex 的關系與區別：
??LlamaIndex 可以將用戶提供的文檔轉化為結構化索引，支持快速語義搜索，為 RAG 提供高質量的外部知識輸入。