AnythingLLM內置 RAG、AI Agent、可視化/無代碼的 Agent 編排,支持多家模型與本地/云端向量庫,并提供多用戶與可嵌入的聊天組件,用來快速驗證“知識 + 模型 + 工具”拼成的 AI 應用。
1 AnythingLLM、Ollama準備
1)AnythingLLM
打開如下所示下載鏈接,選擇下載apple m1版本的AnythingLLM。
https://anythingllm.com/desktop
2)Ollama
假設本機已下載安裝ollama,并且下載qwen3:4b模型,具體過程參考
在mac m1基于ollama運行deepseek r1_mac m1 ollama-CSDN博客
在AnythingLLM中將LLM關聯到ollama:qwen3:4b,因為mac算力有限。
如下圖所示,AnythingLLM中Scrape websites agent默認谷歌,沒找到搜索引擎配置界面。
Websearch agent,可選擇bing、google等,但需要api key等信息。
2 知識庫問答探索
在問答前,將文檔提交給AnythingLLM,構建知識庫。
1)構建知識庫
這里以小說"長安的荔枝 - 馬伯庸.pdf"為例,pdf文件來自網絡。
具體流程如下。
創建workspace,上傳文件"長安的荔枝 - 馬伯庸.pdf";
?- 將文件移動到右側工作區;
?- 選擇工作區文件并點擊“保存并嵌入”,完成文檔分塊、向量化;
?- 點擊pinned將向量化后的文檔關聯到workspace。
?- 處理完成后,示例如下。
2)測試知識庫問答
構建完知識庫,就可以直接提問,LLM會自主關聯知識庫中的內容。
比如輸入"請評價楊國忠大人"
好的,用戶讓我評價楊國忠大人。首先,我需要回憶一下提供的上下文內容。上下文里提到李善德是武則時代的人物,被拽到天寶末年串場,還有關于荔枝采摘的風俗。但楊國忠可能和這些內容有關聯嗎?
在歷史中,楊國忠是唐朝安史之亂的重要人物,擔任過宰相,后來被安祿山叛亂所害。但用戶提供的上下文中并沒有直接提到楊國忠。可能需要結合上下文中的元素來推斷。
上下文里提到李善德是司農寺上林署令,可能負責皇家園林或物資管理。而楊國忠在歷史上可能與這樣的職位有關聯,或者在故事中被提及。但根據提供的文本,沒有直接信息,所以可能需要根據歷史知識來回答。
用戶可能希望了解楊國忠在故事中的角色,或者結合上下文中的元素進行評價。但根據現有信息,可能需要指出上下文中沒有直接提到楊國忠,因此需要依賴歷史知識。
需要確認用戶是否在詢問歷史中的楊國忠,還是故事中的角色。如果是在故事中,可能需要根據上下文中的線索,比如李善德和楊國忠是否有關聯,或者是否有其他暗示。但根據提供的文本,沒有直接關聯,所以可能需要說明這一點,并基于歷史知識進行評價。
可能用戶的問題需要結合上下文中的某些元素,比如李善德和楊國忠可能都是官僚人物,但具體評價需要歷史知識。因此,回答應指出上下文中未提及楊國忠,但根據歷史,楊國忠是唐朝權臣,與安史之亂相關,評價可能涉及他的政治手腕、權謀和最終的失敗。
需要確保回答準確,同時指出上下文中的信息不足,可能需要用戶澄清。但根據指示,必須基于給定的上下文,所以可能需要指出上下文中沒有相關信息,無法評價,但結合歷史知識進行回答。
---
根據提供的上下文內容,并未直接提及楊國忠的相關信息。因此,無法基于上下文內容對楊國忠進行評價。若結合歷史常識,楊國忠是唐朝安史之亂期間的重要權臣,曾任宰相,因與安祿山關系密切,最終在叛亂中被殺。他的政治生涯體現了唐代后期權臣的復雜性,但需注意這與上下文中提到的“李善德”等人物并無直接關聯。
---
隱藏引文
長安的荔枝 - 馬伯庸.pdf
qwen3:4b+RAG沒有有效回答問題,但deepseek官方網頁上傳PDF是可以有效回答這個問題的。
原因可能與文檔分塊、qwen3:4b歸納能力有關系。
reference
---
anything-llm
https://github.com/Mintplex-Labs/anything-llm
openslr
https://openslr.magicdatatech.com/
面向LLM的MCP開源方案調研
https://blog.csdn.net/liliang199/article/details/150021419
Deepseek
https://chat.deepseek.com/
《長安的荔枝》電子書
https://zhuanlan.zhihu.com/p/1904234264700121781