Ollama 是一個開源的大型語言模型服務工具。它的主要作用是幫助用戶快速在本地運行大模型, 簡化了在 Docker 容器內部署和管理大語言模型(LLM)的過程。
1. 確保Ollama 已經啟動
# 查看幫助文檔
ollama -h# 自動下載并啟動
ollama run deepseek-r1:1.5b
2. 項目添加依賴
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>
3.?配置 yml 配置文件
spring:ai:ollama:base-url: http://127.0.0.1:11434 # 默認端口號chat:options:model: deepseek-r1:1.5b
4.?編寫代碼
@RestController
@RequestMapping("/ol")
public class OllamaController {@Resourceprivate OllamaChatModel chatModel;@RequestMapping("/chat")public String chat(String prompt) {String call = chatModel.call(prompt);System.out.println(call);return call;}
}