1 Ollama的安裝及使用
1.1 什么是Ollama？
Ollama 是一個用于本地部署和運行大型語言模型的框架。 Ollama 的作用包括：
- 本地模型運行：Ollama 允許在本地機器上運行大型語言模型（如 LLaMA、DeepSeek 等），無需依賴云端服務。
- 隱私保護：所有數據處理都在本地進行，避免數據泄露風險。
- 低延遲：本地運行模型可以減少網絡延遲，提高響應速度。
- 模型管理：Ollama 提供了簡單的命令行工具，用于下載、加載和管理模型，方便在 Dify 中快速切換和實驗不同模型。
- API 支持：Ollama 提供 API 接口，Dify 可以通過這些接口與本地模型交互，完成文本生成、問答等任務。
1.2 安裝Ollama
- 進入官網Ollama官網鏈接
- 點擊Download下載
- 選擇適配你系統的安裝包
- 點擊install下載
- 在命令行輸入ollama，出現相關文字即安裝驗證成功
1.3 使用Ollama
-
查看已下載的模型
ollama list
-
下載以及運行模型
ollama run <模型名稱> -
刪除模型`ollama rm <模型名稱>
-
執行模型效果圖
-
可以在Ollama官網中查看支持的模型以及相關下載命令
2 DeepSeek的認識
前一章節已經通過Ollama安裝好了deepseek模型,這里對deepseek做個簡單介紹
-
DeepSeek 是一個開源的大型語言模型（LLM），專注于中文場景的優化，旨在為中文用戶提供高效、高質量的自然語言處理能力
-
應用場景：
文本生成：生成高質量的中文文章、故事、新聞等內容。
問答系統：構建智能問答機器人，回答用戶提出的問題。
機器翻譯：支持中英互譯以及其他語言的翻譯任務。
文本摘要：從長文本中提取關鍵信息，生成簡潔的摘要。
情感分析：分析文本的情感傾向，適用于評論分析、輿情監控等場景。
代碼生成：支持生成代碼片段，幫助開發者提高編程效率。 -
R1相對V3模型開放了思維鏈功能，并允許進行模型蒸餾
3 Docker的安裝與使用
3.1 Docker的認識
- Docker是一種用于構建、發布及運行應用程序的開源項目，他通過容器化技術簡化了應用程序的部署和管理
- Docker解決了產品多版本迭代之后，不同環境之間的兼容問題；Docker的出現使我們開發的軟件可以“帶環境安裝”，即安裝的時候，可以把原始環境一模一樣的復制過來，在自己的機器上可以運行，在別人的機器上也可以運行
3.2 Docker的安裝
-
開啟Hyper-V：Hyper-V 是微軟自家的虛擬化技術，和vmware，virtualbox一樣，都是主流的虛擬機工具。Hyper-V 優勢在于它 與 Windows 操作系統緊密集成，不需要額外安裝第三方虛擬化軟件
-
進入Docker官網下載Docker desktop
-
按照步驟安裝Docker desktop
-
命令行輸入
docker -v,驗證安裝
-
漢化Docker desktop，漢化github地址，選擇對應版本，按照指示進行漢化，如何查看版本號如圖所示。
-
設置鏡像加速地址，在設置里的Docker引擎中添加如下文本后，點擊Apply&Restart
"registry-mirrors": [ "https://uvrekl8r.mirror.aliyuncs.com", "https://docker.registry.cyou", "https://docker-cf.registry.cyou", "https://dockercf.jsdelivr.fyi", "https://docker.jsdelivr.fyi", "https://dockertest.jsdelivr.fyi", "https://mirror.aliyuncs.com", "https://dockerproxy.com", "https://mirror.baidubce.com", "https://docker.m.daocloud.io", "https://docker.nju.edu.cn", "https://docker.mirrors.sjtug.sjtu.edu.cn", "https://docker.mirrors.ustc.edu.cn", "https://mirror.iscas.ac.cn", "https://docker.rainbond.cc" ]
4 Docker部署Dify
4.1 Dify的認識
Dify 是一個開源的 LLM（大型語言模型）應用開發平臺，旨在幫助開發者快速構建基于大型語言模型的應用程序。它的核心功能包括：
- 可視化工作流設計：通過圖形化界面，用戶可以輕松設計和管理基于 LLM 的應用流程。
- 模型集成：支持集成多種大型語言模型（如 OpenAI、Hugging Face、Ollama 等），用戶可以根據需求選擇合適的模型。
- 數據處理與標注：提供數據管理工具，支持數據導入、標注和預處理。
- API 生成與部署：自動生成 API 接口，方便開發者將 LLM 應用集成到其他系統中。
- 多模型協作：支持多個模型的協同工作，例如將 DeepSeek 和 Ollama 結合使用，完成更復雜的任務。
- 在 Docker 中使用 Dify，可以快速搭建一個本地開發環境，方便實驗和部署 LLM 應用。
4.2 安裝Dify
-
下載Dify，Dify鏈接
-
進入docker-compose.yaml所在文件夾的終端中，運行命令：
docker compose up -d
-
安裝成功后，在 Docker Desktop 中應該能看到以 docker 命名的文件夾，即為安裝成功。
4.3 配置Dify
-
打開瀏覽器，訪問 http://127.0.0.1/，你會看到Dify的設置頁面
-
創建管理員賬戶：設置用戶名、郵箱和密碼
-
配置模型
3.1 首先點擊設置
3.2點擊模型供應商
3.3
選擇Ollama，模型名稱選擇你安裝的大語言模型，基礎URL默認是http://host.docker.internal:11434/
-
此時一切完成，可以開始創建你的第一個應用了
)
