一、概述
目的:實現一個本地化部署的大模型,通過工作流對圖像進行一些處理。基于此,我選擇了Docker+Dify+Ollama的部署。
具體實現邏輯:Docker來運行dify,dify用來繪制大模型的工作流或者rag等,Ollama用來部署本地大模型,dify調用Ollama部署的大模型進行推理。
二、Docker安裝部署
2.1 什么是Docker
Docker 是一項開源的容器化平臺,它徹底改變了軟件開發、部署和運行應用的方式。核心思想是:將應用及其所有依賴項打包在一個標準化的、輕量級的、可移植的“容器”中,從而確保應用可以在任何環境中以一致的方式運行。
Docker的核心概念包括鏡像、容器和倉庫,它們共同構成了Docker的生態系統。
- 鏡像(Image):用來創建容器的模板,它是一個特殊的文件系統。可以將鏡像理解為一個只讀的模板,包含了運行某個應用所需的一切:代碼、運行時環境、庫、環境變量和配置文件。
- 容器(Container):容器是鏡像的運行實例,它是獨立運行的,與其他容器相互隔離。容器可以被創建、啟動、停止、刪除和暫停。容器的存儲層與鏡像的只讀層相結合,形成了容器的文件系統。
- 倉庫(Repository):用來存儲和管理鏡像的服務。開發者通過倉庫實現鏡像的分享,可以將自己創建的鏡像推送到倉庫中,也可以從倉庫中拉取其他人分享的鏡像。
總結:Docker 是一個強大的容器化平臺,它通過將應用及其依賴打包成標準化的容器,解決了環境不一致、資源浪費、部署復雜等問題。它提供了輕量級、高效、可移植和隔離的運行環境,極大地提升了軟件開發和運維的效率,是現代云計算、微服務和 DevOps 實踐的核心技術之一。
2.2 windows系統下Docker的安裝
第一步:安裝:下載exe,然后雙擊運行
Windows/Mac建議使用Docker Desktop
官網鏈接:docker-desktop官網