前言
Ollama作為一個輕量級、易上手的工具,可以幫助你在自己的電腦上快速部署和運行大型語言模型,無需依賴云端服務。通過加載各種開源模型,比如LLaMA、GPT-J等,并通過簡單的命令行操作進行模型推理和測試。
此小結主要介紹使用ollama作為基礎平臺,并拉取對應的開源大模型后在本地搭設測試環境;
這樣子就可以直接在本機運行大模型;
此部分僅介紹命令行下的本地大模型部署,后續將會介紹如何封裝接口創建Web端以及移動端應用
關注ZhillerDev微信號,獲取文章Markdown&PDF文件,快速構建個人知識庫!!!
十分鐘快速部署本地DeepSeek大模型!
文章目錄
- 前言
- 基本部署
- 安裝ollama
- 安裝大模型
- 修改安裝地址
- 測試大模型
- 總結
基本部署
安裝ollama
Ollama 是一個開源工具,專門為開發者設計,用于簡化大語言模型(LLM)的本地化部署和管理。它的核心目標是將復雜的模型部署過程變得簡單易用,同時提供高效的推理服務。Ollama 不僅支持模型的加載和運行,還提供了模型管理、性能監控、參數配置等功能,幫助開發者在本地環境中快速搭建和優化大語言模型服務。
前往ollama官方網站下載,選擇對應的平臺下載安裝包后安裝即可
我這邊圖方便用的是windows,下載完成后會得到一個msi安裝包,打開后直接一路下一步即可完成安裝
安裝大模型
此部分將帶領你安裝最新的DeepSeek-R1:1.5b 大模型
點擊此鏈接前往ollama官網的模型搜索界面:點擊前往
直接搜索deepseek即可,我們這里要測試的大模型是deepseek-r1,點擊進去即可
為便于測試,這里直接就選擇一個最小的模型。
該模型是1.5b的,選擇完畢后點擊復制右側的命令
打開任意一個命令行(win+r打開運行界面,然后輸入cmd后回車運行即可)
輸入我們剛剛復制的命令然后運行即可下載對應的大模型了!
ollama run deepseek-r1:1.5b
修改安裝地址
當然,下載的模型默認存儲在C盤,這很不合理,你可以使用下面的代碼把模型下載地址更改為你想要的位置;
請注意,修改完畢后務必重新啟動ollama使得路徑生效;
set OLLAMA_MODELS="D:\your\custom\path"
下載完畢后我們使用該代碼看一下目前以及安裝了那些大模型:
加上我之前為了測試下載的tinyllama包括現在下載的deepseek,一共兩個大模型
ollama list
測試大模型
最后直接使用此方法在命令行運行大模型即可(千萬注意模型的名字必須和我們上面列出來的名字完全一致,特別是我這邊下載的是1.5b版本,如果不帶上這個后綴的話,那么ollama就會因為找不到模型而重新下載一個其他的模型!!!)
之后就可以愉快的開始對話了~
總結
主要介紹如何使用ollama搭設本地大模型平臺,快速使用DeepSeek-R1大模型