不可商用！！僅僅提供學習使用！
先上視頻教學：
Ollama教程，本地部署大模型Ollama，docker安裝方法，僅供學習使用！
資料獲取? ?：
Ollama下載包和安裝文檔在這里：? 阿里云地址
![[打call]](https://img-blog.csdnimg.cn/img_convert/ab8169243eaf023b55a3a8d4ab31ecc4.webp?x-oss-process=image/format,png){kind=small}
![[星星眼]](https://img-blog.csdnimg.cn/img_convert/2683688196b477f0e07c675627bfbb08.webp?x-oss-process=image/format,png){kind=small}
https://www.alipan.com/s/ft9WkSX5zbH
點擊鏈接保存，或者復制本段內容，打開「阿里云盤」APP ，無需下載極速在線查看，視頻原畫倍速播放。???????
簡易教學
Ollama教程：本地部署大模型Ollama
一、Ollama簡介
Ollama是一個開源的大型語言模型服務工具，它幫助用戶快速在本地運行大模型。用戶可以通過簡單的安裝指令，在本地運行開源大型語言模型，如Llama 2等。
二、本地部署Ollama
- 下載Ollama
- 訪問Ollama官網（https://ollama.ai/download），根據你使用的系統下載相應版本。
- 截止到2024年2月16日，Ollama已經支持Windows系統。
- 安裝Ollama
- 在Linux系統中，可以通過執行以下命令進行安裝：curl https://ollama.ai/install.sh | sh
- 在Windows系統中，直接雙擊運行安裝文件即可。
- 使用Ollama
- 訪問Ollama的模型庫（https://ollama.ai/library），檢索并運行你想使用的模型。例如，運行Llama?2的命令為：
ollama run llama2
- 訪問Ollama的模型庫（https://ollama.ai/library），檢索并運行你想使用的模型。例如，運行Llama?2的命令為：
- 配置Ollama的模型路徑
- Ollama的模型默認會存儲在用戶文件夾下的
.ollama/models文件夾中。你可以通過配置環境變量OLLAMA_MODELS來指定模型路徑。
- Ollama的模型默認會存儲在用戶文件夾下的
- 下載和運行模型
- 以llama3模型為例，該模型有8B和70B兩個版本，分別代表80億和700億個訓練參數。你可以通過命令
ollama run llama3來默認安裝8B模型，或者使用ollama run llama3:8b來指定安裝8B模型。
- 以llama3模型為例，該模型有8B和70B兩個版本，分別代表80億和700億個訓練參數。你可以通過命令
Docker安裝Ollama方法
- 安裝NVIDIA Container Toolkit（如果使用NVIDIA GPU）
- 配置repository：
curl -s -L <https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo> | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo - 安裝NVIDIA Container Toolkit包：
sudo yum install -y nvidia-container-toolkit
- 配置repository：
- 配置Docker以使用NVIDIA驅動
- 執行命令：
sudo nvidia-ctk runtime configure --runtime=docker - 重啟Docker服務：
sudo systemctl restart docker
- 執行命令：
- 拉取和運行Ollama鏡像
- 使用CUDA運行：
docker run -d --restart=always --gpus=all -v /mydata/docker/local/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama - 使用AMD顯卡運行：
docker run -d --restart=always --device /dev/kfd --device /dev/dri -v /mydata/docker/local/ollama/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
- 使用CUDA運行：
- 運行模型
- 首次運行會拉取鏡像，之后可以直接運行。例如，運行Llama3 7B的命令為：
docker exec -it ollama ollama run llama3
- 首次運行會拉取鏡像，之后可以直接運行。例如，運行Llama3 7B的命令為：
以上是關于Ollama本地部署和Docker安裝方法的詳細教程。
補充
配置Ollama的模型路徑
配置Ollama的模型路徑通常涉及到設置環境變量，這樣Ollama就能知道在哪里查找和加載模型文件。以下是一般步驟來配置Ollama的模型路徑：
-
確定模型存儲位置：
首先，你需要確定你的模型文件存放在哪個目錄下。這個目錄可以是本地文件系統上的任何位置。 -
設置環境變量：
在Unix/Linux系統中，你可以使用export命令來設置環境變量。在Windows系統中，你可以通過“系統屬性”->“高級”->“環境變量”來設置。對于Unix/Linux系統，你可以打開你的shell配置文件（比如
~/.bashrc或~/.bash_profile），并添加以下行來設置環境變量：bash復制代碼export OLLAMA_MODELS=/path/to/your/models替換
/path/to/your/models為你的模型實際存放的目錄路徑。然后，你需要使這個更改生效。如果你已經打開了shell，你可以運行
source ~/.bashrc（或你的配置文件名）來加載新的環境變量。否則，你可以關閉并重新打開你的shell。對于Windows系統，你需要：
- 右鍵點擊“此電腦”或“計算機”，選擇“屬性”。
- 點擊“高級系統設置”。
- 在“高級”選項卡中，點擊“環境變量”。
- 在“系統變量”部分，點擊“新建”來創建一個新的環境變量。
- 輸入變量名
OLLAMA_MODELS和變量值（即你的模型路徑）。 - 點擊“確定”保存更改。
-
重啟Ollama：
如果你已經運行了Ollama服務，你可能需要重啟它以使新的環境變量設置生效。這通常可以通過停止服務并重新啟動來完成。 -
驗證配置：
在Ollama中運行一個命令來加載或列出模型，以確保Ollama能夠正確找到并加載模型文件。
注意，Ollama的確切配置方法可能會根據其版本和文檔有所不同。因此，建議參考Ollama的官方文檔或GitHub存儲庫中的README文件以獲取最準確的信息。此外，如果Ollama提供了一個配置文件或命令行選項來設置模型路徑，那么你也可以使用那些方法。
找不到環境變量在哪里？
當您提到找不到環境變量在哪里時，我理解您可能是在詢問如何在不同的操作系統中查看或設置環境變量。以下是在不同操作系統中查看和設置環境變量的清晰步驟：
Windows系統
- 查看環境變量：
- 右鍵點擊“此電腦”或“計算機”，選擇“屬性”。
- 點擊“高級系統設置”。
- 在“高級”選項卡中，點擊“環境變量”。
- 在這里，您可以看到“用戶變量”和“系統變量”兩個部分。用戶變量僅對當前用戶有效，而系統變量對所有用戶都有效。
- 設置環境變量：
- 在“用戶變量”或“系統變量”部分，點擊“新建”來創建一個新的環境變量。
- 輸入變量名（如
MY_ENV_VAR）和變量值（如C:\path\to\your\directory）。 - 點擊“確定”保存更改。
Linux系統
- 查看環境變量：
- 打開終端。
- 輸入
printenv命令查看所有環境變量。 - 或者，使用
echo $VARIABLE_NAME（將VARIABLE_NAME替換為您要查看的變量名）來查看特定環境變量的值。
- 設置環境變量（臨時，僅在當前終端會話中有效）：
- 在終端中，使用
export VARIABLE_NAME=value命令（將VARIABLE_NAME替換為您要設置的變量名，value替換為值）。
- 在終端中，使用
- 設置環境變量（永久）：
- 對于所有用戶，編輯
/etc/profile、/etc/environment或/etc/bash.bashrc文件（取決于您的系統和需求）。 - 對于當前用戶，編輯
~/.bashrc、~/.bash_profile、~/.profile或~/.zshrc文件（取決于您使用的shell）。 - 在文件的末尾添加
export VARIABLE_NAME=value。 - 保存文件后，重新加載配置文件（如
source ~/.bashrc）或重新登錄以使更改生效。
- 對于所有用戶，編輯
Mac系統
- 查看環境變量：
- 打開終端。
- 輸入
printenv命令查看所有環境變量。 - 或者，使用
echo $VARIABLE_NAME（將VARIABLE_NAME替換為您要查看的變量名）來查看特定環境變量的值。
- 設置環境變量（臨時，僅在當前終端會話中有效）：
- 在終端中，使用
export VARIABLE_NAME=value命令（將VARIABLE_NAME替換為您要設置的變量名，value替換為值）。
- 在終端中，使用
- 設置環境變量（永久）：
- 對于所有用戶，編輯
/etc/profile或/etc/launchd.conf文件（但請注意，/etc/launchd.conf在較新版本的macOS中可能不再使用）。 - 對于當前用戶，編輯
~/.bash_profile、~/.zshrc或~/.profile文件（取決于您使用的shell）。 - 在文件的末尾添加
export VARIABLE_NAME=value。 - 保存文件后，重新加載配置文件（如
source ~/.bash_profile或source ~/.zshrc）或重新登錄以使更改生效。
- 對于所有用戶，編輯
