1. Ollama的搭建
基本介紹
Ollama是一個支持在Windows、Linux和MacOS上本地運行大語言模型的工具。它允許用戶非常方便地運行和使用各種大語言模型,比如Qwen模型等。用戶只需一行命令就可以啟動模型。
Ollama 下載:https://ollama.com/download
Ollama 官方主頁:https://ollama.com
Ollama 官方 GitHub 源代碼倉庫:https://github.com/ollama/ollama/
安裝完成之后,打開一個cmd命令窗口,輸入“ollama”命令,如果顯示ollama相關的信息就證明安裝已經成功了!
常見指令:
ollama serve #啟動ollama
ollama create #從模型文件創建模型
ollama show #顯示模型信息
ollama run #運行模型
ollama pull #從注冊表中拉取模型
ollama push #將模型推送到注冊表
ollama list #列出模型
ollama cp #復制模型
ollama rm #刪除模型
ollama help #獲取有關任何命令的幫助信息
2. 利用Ollama安裝DeepSeek
在dos窗口下,輸入:
ollama run deepseek-r1:8b
3. 安裝AnythingLLM
直接安裝以后,就可以看到
文檔上傳解析
4. Window安裝Milvus
Milvus簡介
Milvus是一款開源的向量數據庫,具有高度的靈活性、穩定可靠性以及高速查詢等特點。它支持針對TB級向量的增刪改操作和近實時查詢,適用于大規模向量數據的存儲和檢索。
Milvus集成了多種廣泛應用的向量索引庫,如Faiss、NMSLIB和Annoy等,并提供了簡單直觀的API,用戶可以根據不同場景選擇適合的索引類型。此外,Milvus還可以對標量數據進行過濾,進一步提高召回率,增強搜索的靈活性。
Milvus被廣泛應用于多個領域,包括圖像處理、機器視覺、自然語言處理、語音識別、推薦系統以及新藥發現等。它的源代碼托管在Github上,這使得社區可以輕松地訪問、使用和貢獻代碼。
官網:https://milvus.io/zh
安裝步驟
- 先安裝docker Desktop
- 然后下載milvus-standalone-docker-compose.yml
下載完成后得到的是一個milvus-standalone-docker-compose.yml文件,需要重命名為docker-compose.yml,然后將yml文件復制到工作路徑下:
- 然后打開命令行終端,cd到你的文件目錄下,運行下面代碼
docker-compose up -d
- 等待一段時間,就可以去查看doker,或者終端輸入
docker-compose ps
- 安裝客戶端工具attu
執行命令,加個 -d 在后臺運行
docker run -d -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.2.8
或者Window安裝,地址如下:
https://download.csdn.net/download/wu2374633583/90456544