本文記錄在 jetson orin nx 上使用 ollama 部署 deepseek 的過程
有用的網站及工具
- NVIDIA Jetson AI Lab
- Ollama官網
- Jtop 工具 ==> 用以查看jetson GPU/CPU/Memory 等占用情況的工具,安裝過程如下:
sudo apt-get install python3-pip
sudo -H pip3 install -U jetson-stats
- Nvidia 官網的 Ollama 教程
- 安裝 Ollama
curl -fsSL https://ollama.com/install.sh | sh
點擊 Deepseek-R1 進入 Deepseek 界面:https://ollama.com/library/deepseek-r1:1.5b
執行指令,會先下載模型庫到本地