一、Ollama介紹
官方網頁:Ollama官方網址
中文文檔參考:Ollama中文文檔
相關教程:Ollama教程
Ollama 是一個開源的工具,旨在簡化大型語言模型(LLM)在本地計算機上的運行和管理。它允許用戶無需復雜的配置即可在本地部署和運行如Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2 和其他模型,適合開發者、研究人員以及對隱私和離線使用有需求的用戶。
二、核心功能
- 本地運行模型?
直接在個人電腦或服務器上運行模型,無需依賴云服務,保障數據隱私和離線可用性。 - ?多平臺支持?
支持 macOS、Linux、Windows,并提供 Docker 鏡像,方便跨平臺部署。 - ?模型管理?
通過命令行輕松下載、更新或刪除模型(如 ollama run llama2)。 - API 集成?
提供 RESTful API,便于與其他應用(如 Python 腳本、自定義工具)集成。 - 多模型支持?
兼容Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2 等,部分支持自定義模型加載。
三、Ollama安裝
1、硬件要求
內存至少 8GB RAM,運行較大模型時推薦 16GB 或更高。部分大模型需顯卡加速(如 NVIDIA GPU + CUDA)。
2、下載安裝
官方網站下載對應版本。
下載完成后,打開安裝程序并按照提示完成安裝。
安裝完成可以打開命令行管理器(CMD)或Powershell輸入下面指令驗證安裝是否成功
ollama --version
3、運行模型
ollama run llama3.2
執行以上命令如果沒有該模型會去下載 llama3.2 模型
ollama run deepseek-r1:7b
如果使用deepseekR1模型將命令替換為deepseek即可,7b是運行的模型大小
支持的模型訪問ollama模型
輸入內容實現與模型對話(示例為llama3.2模型)