前言
Ollama是一個強大的本地大語言模型管理工具,讓我們可以輕松地在本地部署和運行各種開源大模型。本文將詳細介紹Ollama的核心命令使用方法,幫助您快速上手本地AI模型的管理和使用。
1. 查看已安裝模型 - ollama list
基本用法
ollama list
功能說明
ollama list
命令用于查看當前系統中已經下載和安裝的所有模型。執行該命令后,系統會顯示:
- 模型名稱:已安裝模型的完整名稱
- 模型ID:每個模型的唯一標識符
- 大小:模型文件占用的磁盤空間
- 修改時間:模型最后更新的時間
輸出示例
NAME ID SIZE MODIFIED
llama2:latest e8a35b5937a5 3.8 GB 2 days ago
qwen:7b f02dd72bb242 4.1 GB 5 hours ago
codellama:python 8d8f99ba5077 3.8 GB 1 week ago
使用場景
- 檢查系統中有哪些可用模型
- 確認模型是否成功安裝
- 管理磁盤空間,了解模型占用情況
2. 下載和運行模型 - ollama run
基本語法
ollama run [模型名稱]
功能說明
ollama run
命令具有雙重功能:
- 如果指定的模型尚未下載,會自動從官方倉庫下載
- 啟動模型并進入交互式對話界面
實際使用示例
# 下載并運行 Llama2 模型
ollama run llama2# 下載并運行 Qwen 7B 模型
ollama run qwen:7b# 運行代碼專用模型
ollama run codellama:python
下載過程
當首次運行某個模型時,您會看到類似以下的下載進度:
pulling manifest
pulling e8a35b5937a5... 100% ▕████████████████▏ 3.8 GB
pulling 74a56173a4c1... 100% ▕████████████████▏ 1.4 KB
pulling c0b14696b9b1... 100% ▕████████████████▏ 136 B
verifying sha256 digest
writing manifest
removing any unused layers
success
3. 詳細輸出模式 - --verbose
參數
完整語法
ollama run [模型名稱] --verbose
功能特點
使用 --verbose
參數可以獲得詳細的運行信息,包括:
- Token統計:輸入和輸出的token數量
- 處理速度:每秒處理的token數量
- 響應時間:模型響應的總耗時
- 內存使用:模型運行時的內存占用情況
實際示例
ollama run qwen:7b --verbose
詳細輸出示例
>>> 你好,請介紹一下你自己
你好!我是Qwen,是阿里云開發的大語言模型...total duration: 2.847292875s
load duration: 892.583μs
prompt eval count: 12 tokens
prompt eval duration: 346.084ms
prompt eval rate: 34.67 tokens/s
eval count: 45 tokens
eval duration: 2.499750917s
eval rate: 18.00 tokens/s
性能指標解讀
- total duration: 總耗時
- load duration: 模型加載時間
- prompt eval count: 輸入提示的token數量
- eval count: 生成回復的token數量
- eval rate: 生成速度(tokens/秒)
4. 創建自定義模型 - ollama create
基本語法
ollama create [自定義名稱] -f [模型文件路徑]
模型文件(Modelfile)
在創建自定義模型之前,需要編寫一個Modelfile,定義模型的配置和行為。
Modelfile示例
# 基于現有模型
FROM qwen:7b# 設置系統提示詞
SYSTEM """
你是一個專業的Python編程助手,請用中文回答編程相關問題。
始終提供清晰的代碼示例和詳細的解釋。
"""# 設置模型參數
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER max_tokens 2048# 添加模板
TEMPLATE """{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
<|assistant|>
{{ end }}"""
創建自定義模型步驟
- 創建Modelfile
# 創建模型配置文件
nano my-python-assistant.modelfile
- 執行創建命令
ollama create my-python-assistant -f ./my-python-assistant.modelfile
- 驗證創建結果
# 查看新創建的模型
ollama list# 測試自定義模型
ollama run my-python-assistant
自定義模型的優勢
- 個性化配置:根據特定需求調整模型行為
- 專業化應用:為特定領域或任務優化
- 一致性體驗:確保模型在不同會話中保持相同的行為模式
5. 完整工作流程示例
以下是一個完整的Ollama使用流程:
# 1. 查看當前已安裝的模型
ollama list# 2. 下載并運行新模型(如果需要)
ollama run qwen:7b# 3. 使用詳細模式測試模型性能
ollama run qwen:7b --verbose# 4. 創建自定義模型配置文件
cat > my-assistant.modelfile << EOF
FROM qwen:7b
SYSTEM "你是一個helpful的AI助手"
PARAMETER temperature 0.8
EOF# 5. 基于配置文件創建自定義模型
ollama create my-assistant -f my-assistant.modelfile# 6. 驗證自定義模型
ollama run my-assistant
總結
Ollama提供了簡潔而強大的命令行界面來管理本地大語言模型:
ollama list
- 管理已安裝模型ollama run
- 下載運行模型--verbose
- 獲取詳細性能信息ollama create
- 創建個性化模型
通過這些命令,我們可以輕松地在本地環境中部署、測試和定制各種開源大語言模型,為AI應用開發提供強大的支持。無論是個人學習還是企業應用,Ollama都是一個值得推薦的本地AI模型管理工具。