平臺介紹:
LangChat是Java生態下企業級AIGC項目解決方案,集成RBAC和AIGC大模型能力,幫助企業快速定制AI知識庫、企業AI機器人。
支持的AI大模型:Gitee AI / 阿里通義 / 百度千帆 / DeepSeek / 抖音豆包 / 智譜清言 / 零一萬物 / 訊飛星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。
開源版本是langchat,商業版本為langchat pro,pro版本支持流程引擎。
模型管理:
模型基于ollama配置的qwen、deepseek等模型。Embedding模型由于不支持Xinference直接采用阿里百煉配置的云端模型。
向量庫管理:
向量庫支持Redis、Pgvector、Milvus共3個數據庫。這里基于pgvector作了測試。
知識庫管理:
數據導入支持主流格式的文件導入。文檔管理只能進行刪除操作。切片管理只可以進行刪除操作,不能進行編輯。向量搜索可以對知識庫進行召回測試。
AI應用管理配置:
新建一個政務問答的智能體,并進行提示詞、知識庫、模型等的配置。
知識庫問答測試:
回答的都是正確的。缺點是沒有對應文件的引用。
總結:
- 知識庫問答召回來看還是可以的,和dify差不多。
- 向量庫管理+知識庫管理,其實就是dify里面的知識庫管理。這樣分開設置也許也有優勢吧,暫時還沒體驗到。知識庫里面的分段設置、召回設置不像dify豐富。但是默認的chunk切分是優于dify的。
- 知識庫問答缺少文件出處引用。
- 免費版沒有流程引擎,pro版才會有。
- 支持api方式發布,發布方式沒有dify全面多樣,但是最核心的api方式有,主打夠用。
- 模型部署接入不支持xinference,這點還是很不友好。
- 知識庫遷移問題,應該基于PGSQL、redis就可以做到。
- 開源大平臺 vs 收費小平臺,商業化使用后續顛覆重來的問題。
參考鏈接:
https://github.com/TyCoding/langchat
LangChat如何接入DeepSeek-R1模型 | LangChat Docs