前言

本文搜集了一些開源的基于LLM的RAG（Retrieval-Augmented Generation）框架，旨在吸納業界最新的RAG應用方法與思路。如有錯誤或者意見可以提出，同時也歡迎大家把自己常用而這里未列出的框架貢獻出來，感謝~

RAG應用框架

1. RAGFlow

• 項目地址：https://github.com/infiniflow/ragflow

• 簡介：RAGFlow 是一款基于深度文檔理解構建的開源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以為各種規模的企業及個人提供一套精簡的 RAG 工作流程，結合大語言模型（LLM）針對用戶各類不同的復雜格式數據提供可靠的問答以及有理有據的引用。

• 特性：OCR、內置多種文檔切分模板、文檔切分可視化并且可修改、兼容多種文檔數據類型

• 架構：
  

• 硬件要求：CPU >= 4 核、RAM >= 16 GB、Disk >= 50 GB、Docker >= 24.0.0 & Docker Compose >= v2.26.1

2. QAnything

• 項目地址： https://github.com/netease-youdao/QAnything

• 簡介：QAnything ( Q uestion based on Anything ) 是貢獻支持任何格式文件或數據庫的本地知識庫問答系統，可斷網安裝使用。您的任何格式的本地文件都可以往里扔，即可獲得準確、快速、靠譜的問答體驗。

• 特性：支持離線安裝使用、跨語種問答、粗排和精排的二階段召回

• 架構：
  

• 硬件要求：最低CPU即可；使用GPU環境需要NVIDIA GPU Memory >= 4GB (use OpenAI API) & Docker Desktop >= 4.26.1（131620）

3. open-webui

• 項目地址：https://github.com/open-webui/open-webui

• 簡介：Open WebUI 是一個可擴展、功能豐富且用戶友好的自托管 WebUI，旨在完全離線操作。它支持各種 LLM 運行程序，包括 Ollama 和 OpenAI 兼容的 API。

• 特性：原生支持Ollama、支持安裝和卸載模型、支持多模態模型、支持切換模型、多用戶管理

• 架構：
  

• 硬件要求：最低CPU即可，使用GPU環境需要NVIDIA GPU Memory >= 4GB (取決于使用Ollama的模型大小)

4. FastGPT

• 項目地址：https://github.com/labring/FastGPT

• 簡介：FastGPT 是一個基于 LLM 大語言模型的知識庫問答系統，提供開箱即用的數據處理、模型調用等能力。同時可以通過 Flow 可視化進行工作流編排，從而實現復雜的問答場景！

• 特性：支持應用編排、免登錄分享、支持接入飛書、企業微信等應用

• 架構：
  

• 硬件要求：CPU >= 2 核、RAM >= 4 GB用于安裝數據庫，GPU取決于使用的模型

5. Langchain-Chatchat

• 項目地址：https://github.com/chatchat-space/Langchain-Chatchat

• 簡介：基于 ChatGLM 等大語言模型與 Langchain 等應用框架實現，開源、可離線部署的檢索增強生成(RAG)大模型知識庫項目。

• 特性：算是比較早期的RAG框架了，使用的基本全是python的框架。該項目是一個可以實現完全本地化推理的知識庫增強方案, 重點解決數據安全保護，私域化部署的企業痛點。支持市面上主流的本地大語言模型和Embedding模型，支持開源的本地向量數據庫。 本開源方案采用Apache License，可以免費商用，無需付費。

• 架構：
  

• 硬件要求：對GPU要求較高