要實現基于llm的web訪問和交互,需支持對llm的訪問和對網絡搜索的調用。
這里使用ollama llm兼容openai sdk訪問;使用proxyless-llm-websearch模擬網絡搜索。
1 ollama本地部署
假設ollama已經部署,具體過程參考
在mac m1基于ollama運行deepseek r1_mac m1 ollama-CSDN博客
mac m1計算慢,所以使用4b的小模型。
ollama pull?qwen3:4b
ollama 支持openai sdk的訪問,具體參考
如何用OpenAI SDK調用Ollama LLM-CSDN博客
2 web資源訪問 & 交互
proxyless-llm-websearch無需代理,這里用于支持對web搜索引擎的調用。
1)下載proxyless-llm-websearch
git clone?https://github.com/itshyao/proxyless-llm-websearch.git
2)配置proxyless-llm-websearch
cd?proxyless-llm-websearch
由于本地使用ollama部署了qwen3:4b,所以支持使用openai api直接訪問qwen3:4b。
具體配置在.env
vim .env
修改后OPENAI相關配置結果如下,包括openai base和embedding。
OPENAI_API_KEY=xxx
OPENAI_BASE_URL=http://localhost:11434/v1
MODEL_NAME=qwen3:4bEMBEDDING_MODEL_NAME=bge-m3:latest
EMBEDDING_API_KEY=xxx
EMBEDDING_BASE_URL=http://localhost:11434/v1
3)安裝依賴
pip install -r requirements.txt
python -m playwright install
4)gradle示例
python gradio_demo.py
成功運行后,就可以通過瀏覽器訪問驗證了,鏈接如下
http://127.0.0.1:7860/
輸入“廣州的天氣”,經過一陣計算,結果如下。
mac m1速度慢,需要訪問網絡搜索,處理搜索結果,整體計算過程較長。
另外,小模型能力有限,最終整理結果相對偏離預期。
reference
---
ollama qwen3
https://ollama.com/library/qwen3
proxyless-llm-websearch
https://github.com/itshyao/proxyless-llm-websearch/tree/main
LLM_Web_search
https://github.com/mamei16/LLM_Web_search
DeepSeek R1本地化部署+web端訪問+LLM交互平臺
https://zhuanlan.zhihu.com/p/28344252876
LLM_Web_Search 項目安裝和配置指南
https://blog.csdn.net/gitblog_07214/article/details/142227878
🧠 無需代理的 LLM 網絡搜索引擎開源了!
https://zhuanlan.zhihu.com/p/1902806926141686494
agent-search
https://www.dongaigc.com/p/SciPhi-AI/agent-search
MCP server 開發半入門——"hello world"
https://zhuanlan.zhihu.com/p/1895767734287049432
model context protocol
https://github.com/modelcontextprotocol/python-sdk
MCP 協議關于tool 的幾個基礎問題
https://zhuanlan.zhihu.com/p/1898303391643448923
mcp-weather-sample
https://github.com/aobao32/mcp-weather-sample.git
搭建簡易本地MCP服務器
https://www.imooc.com/article/379905
大模型 RAG 基礎:信息檢索、文本向量化及 BGE-M3 embedding 實踐(2024)
https://arthurchiao.art/blog/rag-basis-bge-zh/