一、前言
上一篇文章圍繞 Spring AI 的 Chat Memory(聊天記憶)功能展開,先是通過代碼演示了不使用 Chat Memory 時,大模型因無狀態無法記住上下文(如用戶姓名)的情況,隨后展示了使用基于內存的 Chat Memory 后,大模型能關聯歷史對話的效果。同時,剖析了其實現原理 —— 通過攔截請求拼接歷史上下文發送給大模型,并介紹了 ChatMemory 接口及默認實現,還探討了將對話記錄持久化到 MySQL 的自定義方案及相關問題解決,為構建連續對話能力提供了思路。接下來,我們將繼續深入探索 Spring AI 的更多功能。
二、方法調用
1、簡介
方法調用,Tool Calling(或者說是Function Calling),允許大模型去調用一些我們的方法或者接口。例如:
1、信息檢索
此類工具可用于從外部來源檢索信息,例如數據庫、網絡服務、文件系統或網絡搜索引擎。其目的是擴充模型的知識儲備,使模型能夠回答原本無法回答的問題。因此,它們可應用于檢索增強生成(RAG)場景。舉例來說,工具可用于獲取特定地點的當前天氣、檢索最新的新聞文章,或查詢數據庫中的特定記錄。
2、執行操作
此類工具可用于在軟件系統中執行操作,例如發送電子郵件、在數據庫中創建新記錄、提交表單或觸發工作流。其目的是自動化那些原本需要人工干預或專門編程才能完成的任務。例如,工具可用于為與聊天機器人交互的客戶預訂航班、在網頁上填寫表單,或在代碼生成場景中基于自動化測試(TDD)實現 Java 類。
2、注意點
需要注意的是要想使用Tool Calling(Function Calling)需要大模型本身支持,如果模型不支持那無法實現。Spring 官網中為我們提供了一個表格,記錄了那些大模型支持函數調用。可以參考一下鏈接
https://docs.spring.io/spring-ai/reference/api/chat/comparison.html
三、代碼演示
遺憾的是DeepSeek暫時不支持Function Call,所以我們不得不換一個模型。這里我們使用阿里的Qwen3大模型來實驗,并且采用本地ollama部署。
1、引入依賴
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-ollama</artifactId></dependency>
2、編寫配置文件
說明一下:由于本項目中使用了多個模型Deepseek、Ollama(部署的是Qwen3),所以配置文件需要一定的調整。
server:port: 8080
spring:application:name: spring-ai-demodatasource:driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://${MYSQL_HOST:127.0.0.1}:${MYSQL_PORT:3306}/learn?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTCpassword: zaige806username: rootai:chat:memory:repository:jdbc:initialize-schema: alwaysplatform: mysqlschema: classpath:schema/schema-@@platform@@.sqlclient:enabled: false #這個為false則不會自動裝配ChatClientBuildermodel:chat: #這個參數為空,ChatModel則不會自動裝配
3、配置Chat Client
package com.cmxy.springbootaidemo.config;import com.cmxy.springbootaidemo.advisor.SimpleLogAdvisor;
import com.cmxy.springbootaidemo.memory.CustomChatMemoryRepositoryDialect;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.MessageChatMemoryAdvisor;
import org.springframework.ai.chat.memory.ChatMemory;
import org.springframework.ai.chat.memory.MessageWindowChatMemory;
import org.springframework.ai.chat.memory.repository.jdbc.JdbcChatMemoryRepository;
import org.springframework.ai.chat.memory.repository.jdbc.JdbcChatMemoryRepositoryDialect;
import org.springframework.ai.deepseek.DeepSeekChatModel;
import org.springframework.ai.deepseek.api.DeepSeekApi;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaApi;
import org.springframework.ai.ollama.api.OllamaModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jdbc.core.JdbcTemplate;/*** @Author hardy(葉陽華)* @Description* @Date 2025/7/28 15:10* @Modified By: Copyright(c) cai-inc.com*/
@Configuration
public class ChatClientConfig {@Beanpublic ChatClient deepSeekChatClient(JdbcTemplate jdbcTemplate) {DeepSeekChatModel chatModel = DeepSeekChatModel.builder().deepSeekApi(DeepSeekApi.builder().apiKey("替換成自己的").build()).build();//使用自定義方言final JdbcChatMemoryRepositoryDialect dialect = new CustomChatMemoryRepositoryDialect();//配置JdbcChatMemoryRepositoryfinal JdbcChatMemoryRepository jdbcChatMemoryRepository = JdbcChatMemoryRepository.builder().jdbcTemplate(jdbcTemplate).dialect(dialect).build();// 創建消息窗口聊天記憶,限制最多保存10條消息 (其實這里的10條配置已經沒有意義了,因為在dialect默認了50條)ChatMemory memory = MessageWindowChatMemory.builder().chatMemoryRepository(jdbcChatMemoryRepository).maxMessages(10).build();ChatClient.builder(chatModel).defaultAdvisors(MessageChatMemoryAdvisor.builder(memory).build(), new SimpleLogAdvisor()).build();return ChatClient.create(chatModel);}@Beanpublic ChatClient ollamaChatClient() {OllamaChatModel chatModel = OllamaChatModel.builder().defaultOptions(OllamaOptions.builder().model("qwen3:latest").build()).ollamaApi(OllamaApi.builder().baseUrl("http://w6584884.natappfree.cc").build()).build();return ChatClient.create(chatModel);}}
4、編寫測試接口
package com.cmxy.springbootaidemo.tool;import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.memory.ChatMemory;
import org.springframework.ai.chat.model.ChatModel;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;/*** @Author hardy(葉陽華)* @Description* @Date 2025/7/27 14:02* @Modified By: Copyright(c) cai-inc.com*/
@RestController
@RequestMapping("/tool")
public class ToolController {private final ChatClient client;public ToolController(@Qualifier(value = "ollamaChatClient") ChatClient ollamaChatClient) {this.client = ollamaChatClient;}@GetMapping("/chat")public String chat(String msg) {return client.prompt(msg).call().content();}
}
5、測試接口
我們問大模型今天的日期
然而筆者寫這篇文章的時候是2025-07-28,但是大模型告訴我今天是2023-10-15,很明顯他在亂回答。這是因為大模型是大量語料訓練出來的,他的知識只停留在了訓練截止到哪天。那么如何讓大模型能夠知道訓練語料之外的知識呢?
1、重新訓練大模型(費時費力)
2、微調(這個筆者還沒掌握,后續再說)
3、RAG(這個放到后續)
4、Function Calling:我們給大模型提供工具,讓大模型能夠調用外部的方法。
6、新增Function Call
package com.cmxy.springbootaidemo.tool;import java.time.LocalDateTime;
import lombok.extern.slf4j.Slf4j;
import org.springframework.ai.tool.annotation.Tool;
import org.springframework.context.i18n.LocaleContextHolder;/*** @Author hardy(葉陽華)* @Description* @Date 2025/7/28 15:46* @Modified By: Copyright(c) cai-inc.com*/
@Slf4j
public class DateTimeTools {@Tool(description = "獲取用戶所在時區當的日期",name = "getCurrentDateTime")String getCurrentDateTime() {log.info("方法被調用了");return LocalDateTime.now().atZone(LocaleContextHolder.getTimeZone().toZoneId()).toString();}
}
7、修改Client配置
package com.cmxy.springbootaidemo.tool;import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.memory.ChatMemory;
import org.springframework.ai.chat.model.ChatModel;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;/*** @Author hardy(葉陽華)* @Description* @Date 2025/7/27 14:02* @Modified By: Copyright(c) cai-inc.com*/
@RestController
@RequestMapping("/tool")
public class ToolController {private final ChatClient client;public ToolController(@Qualifier(value = "ollamaChatClient") ChatClient ollamaChatClient) {this.client = ollamaChatClient;}@GetMapping("/chat")public String chat(String msg) {return client.prompt(msg).tools(new DateTimeTools()).call().content();}
}
主要修改點在 toolNames(“getCurrentDateTime”)
8、再次測試
可以看到通過FunctionCalling (或者ToolCalling)大模型可以獲得更多的信息,下面我看下Function Call
簡單的說,大模型是一個有決策能力的中心,會根據需要求調用注冊到大模型內部的方法以便實現特定的功能。
四、實現Function Call的多種方式
1、基于Tool注解
上面的案例就是基于Tool注解,這里補充一點,如果需要參數,則可以通過@ToolParam注解來說明參數的含義,幫助大模型更好的理解調用的方法。例如:
@Tool(description = "Set a user alarm for the given time")void setAlarm(@ToolParam(description = "Time in ISO-8601 format") String time) {LocalDateTime alarmTime = LocalDateTime.parse(time, DateTimeFormatter.ISO_DATE_TIME);System.out.println("Alarm set for " + alarmTime);}
2、通過ToolCallBack
@Beanpublic ChatClient ollamaChatClient() {//定義ToolCallBackToolCallback[] toolCallbacks = ToolCallbacks.from(new DateTimeTools());OllamaChatModel chatModel = OllamaChatModel.builder().defaultOptions(OllamaOptions.builder().model("qwen3:latest").toolCallbacks(toolCallbacks).build()).ollamaApi(OllamaApi.builder().baseUrl("http://w6584884.natappfree.cc").build()).build();return ChatClient.create(chatModel);}
3、通過函數接口
1、編寫方法(錯誤寫法)
package com.cmxy.springbootaidemo.tool;import java.util.function.Function;/** * 這個是錯誤寫法!!!!!!不能使用基本數據類型* @Author hardy(葉陽華)* @Description* @Date 2025/7/28 16:51* @Modified By: Copyright(c) cai-inc.com*/
public class WeatherService implements Function<String,String> {@Overridepublic String apply(final String city) {return switch (city) {case "杭州" -> "晴天";case "上海" -> "陰轉多云";case "背景" -> "暴雨";default -> "不知道";};}
}
正確寫法:
package com.cmxy.springbootaidemo.tool;import com.cmxy.springbootaidemo.tool.WeatherService.WeatherRequest;
import com.cmxy.springbootaidemo.tool.WeatherService.WeatherResponse;
import java.util.function.Function;/*** @Author hardy(葉陽華)* @Description* @Date 2025/7/28 16:51* @Modified By: Copyright(c) cai-inc.com*/
public class WeatherService implements Function<WeatherRequest, WeatherResponse> {public WeatherResponse apply(WeatherRequest request) {return new WeatherResponse(30.0, Unit.C);}public enum Unit { C, F }public record WeatherRequest(String location, Unit unit) {}public record WeatherResponse(double temp, Unit unit) {}}
2、配置到客戶端
@Beanpublic ChatClient ollamaChatClient() {//天氣工具ToolCallback wetherToolCallback = FunctionToolCallback.builder("currentWeather", new WeatherService()).description("獲取指定位置的天氣").inputType(WeatherRequest.class).build();//日期工具:這里分開定義,因為是兩種類型,一個是FunctionToolCallback一個是MethodToolCallbackToolCallback[] dataTimeToolCallbacks = ToolCallbacks.from(new DateTimeTools());OllamaChatModel chatModel = OllamaChatModel.builder().defaultOptions(OllamaOptions.builder().model("qwen3:latest").toolCallbacks(wetherToolCallback).toolCallbacks(dataTimeToolCallbacks).build()).ollamaApi(OllamaApi.builder().baseUrl("http://w6584884.natappfree.cc").build()).build();ChatClient.builder(chatModel).defaultAdvisors(new SimpleLogAdvisor()).build();return ChatClient.create(chatModel);}
3、測試一下
注意點:
以下類型目前不支持作為用作工具的函數的輸入或輸出類型:
- 基本類型
- Optional 類型
- 集合類型(例如 List、Map、Array、Set)
- 異步類型(例如 CompletableFuture、Future)
- 響應式類型(例如 Flow、Mono、Flux)。
筆者在一開始就返回String,導致返回的時候提示JSON返序列化失敗
五、小結
本文圍繞 Spring AI 的方法調用(Tool Calling/Function Calling)功能展開,先是介紹了其能讓大模型調用外部方法實現信息檢索、執行操作等作用,強調了需大模型本身支持該功能,并給出了相關模型支持情況參考。
通過代碼演示,展示了借助 Qwen3 大模型(本地 ollama 部署)實現功能調用的過程,還說明了實現 Function Call 的多種方式及工具函數輸入輸出類型的限制。
總的來說,Function Calling 為大模型連接外部能力提供了有效途徑,合理運用能極大擴展其應用場景,后續可進一步探索更多實踐技巧。希望對你有所幫助!