在有網的機器下載ollama和模型

啟動服務

docker run  --rm  -it -v ./ollama:/root/.ollama -p 8000:11434 --name ollama ollama/ollama

下載模型

docker exec -it ollama ollama pull qwen:0.5b

將鏡像和ollama目錄復制到離線的機器中

docker啟動ollama服務

驗證

curl http://localhost:8000/v1/chat/completions     -H "Content-Type: application/json"     -d '{"model": "qwen:0.5b","messages": [{"role": "system","content": "You are a helpful assistant."},{"role": "user","content": "你好"}],"stream":true}'