Spring AI 與 Groq 的深度集成：解鎖高效 AI 推理新體驗

前言

在人工智能飛速發展的當下，AI 推理的效率和性能成為開發者關注的焦點。Groq 作為一款基于 LPU? 的超快速 AI 推理引擎，憑借其強大的性能，能夠支持各類 AI 模型，并提供對 Tool/Function Calling 的支持，同時還公開了兼容 OpenAI API 的終端節點，這為開發者帶來了全新的選擇和可能。而 Spring AI 作為 Spring 生態中用于人工智能開發的重要框架，通過巧妙地重用現有的 OpenAI 客戶端，實現了與 Groq 的集成，進一步拓寬了其應用場景。本文將深入探討 Spring AI 與 Groq 的集成過程、配置細節以及相關功能的使用，幫助開發者更好地利用這一組合，構建高效的 AI 應用。
在這里插入圖片描述

一、Spring AI 與 Groq 集成的前提條件

1. 創建 API 密鑰

要實現 Spring AI 與 Groq 的集成，首先需要獲取 Groq 的 API 密鑰。開發者可訪問指定鏈接創建 API 密鑰，隨后將獲取到的密鑰設置到 Spring AI 項目中定義的 spring.ai.openai.api-key 屬性，從而完成身份驗證，確保能夠正常訪問 Groq 的服務。

2. 設置 Groq URL

除了 API 密鑰，還需設置 Groq 的 URL。將 spring.ai.openai.base-url 屬性設置為 api.groq.com/openai，這一步驟明確了 Spring AI 與 Groq 進行通信的目標地址，為后續的數據交互奠定基礎。

3. 選擇 Groq 模型

Groq 提供了多種模型可供選擇，開發者可以根據具體的應用需求，通過 spring.ai.openai.chat.options.model=<model name> 屬性來指定所需的模型，如 llama3-70b-8192、mixtral-8x7b-32768 等。

此外，也可以通過導出環境變量的方式來設置這些配置屬性，示例如下：

export SPRING_AI_OPENAI_API_KEY=<INSERT GROQ API KEY HERE>
export SPRING_AI_OPENAI_BASE_URL=https://api.groq.com/openai
export SPRING_AI_OPENAI_CHAT_MODEL=llama3-70b-8192

4. 添加存儲庫和 BOM

Spring AI 的工件發布在 Maven Central 和 Spring Snapshot 存儲庫中。開發者需將這些存儲庫添加到構建系統，以確保能夠獲取到所需的依賴。同時，為了更好地進行依賴項管理，Spring AI 提供了 BOM（物料清單），將其添加到構建系統中，可保證項目中使用的 Spring AI 版本一致，避免因版本不兼容引發的問題。

二、Spring AI 與 Groq 集成的配置與功能

1. 自動配置

Spring AI 為 OpenAI Chat 客戶端提供了 Spring Boot 自動配置功能。若要啟用該功能，只需在項目的 Maven 的 pom.xml 或 Gradle 的 build.gradle 文件中添加 spring-ai-starter-model-openai 依賴。同時，在配置屬性方面，啟用和禁用聊天自動配置通過 spring.ai.model.chat 前綴的屬性進行控制。例如，設置 spring.ai.model.chat=openai 表示啟用（默認啟用），而 spring.ai.model.chat=none 則表示禁用。

2. 聊天屬性配置

（1）重試屬性

Spring AI 支持為 OpenAI 聊天模型配置重試機制，通過 spring.ai.retry 前綴的屬性進行設置。例如，spring.ai.retry.max-attempts 用于設置最大重試嘗試次數（默認 10 次）；spring.ai.retry.backoff.initial-interval 定義指數回退策略的初始休眠持續時間（默認 2 秒）等。這些屬性能夠有效應對網絡波動等異常情況，確保請求的可靠性。

（2）連接屬性

連接到 Groq 服務的相關屬性通過 spring.ai.openai 前綴進行配置，其中 spring.ai.openai.base-url 和 spring.ai.openai.api-key 是必須設置的關鍵屬性，分別對應 Groq 的服務地址和 API 密鑰。

（3）其他配置屬性

spring.ai.openai.chat 前綴的屬性用于為 OpenAI 配置聊天模型實現。例如，spring.ai.openai.chat.options.model 用于指定具體的模型；spring.ai.openai.chat.options.temperature 控制生成完成項的創造性程度；spring.ai.openai.chat.options.maxTokens 設置聊天完成中生成的最大令牌數等。開發者可以根據實際需求靈活調整這些屬性，以獲得更符合預期的結果。

3. 運行時選項

在運行時，開發者可以通過向 Prompt 調用添加特定于請求的運行時選項，對模型配置進行動態調整。例如，若要覆蓋特定請求的默認模型和溫度，可以使用以下代碼：

ChatResponse response = chatModel.call(new Prompt("Generate the names of 5 famous pirates.",OpenAiChatOptions.builder().model("mixtral-8x7b-32768").temperature(0.4).build()));

這種靈活的配置方式使得開發者能夠根據不同的輸入和需求，實時優化模型的輸出。

4. 函數調用

當選擇支持工具/函數的 Groq 模型時，Groq API 端點支持工具/函數調用。在 Spring AI 中，開發者可以使用 ChatModel 注冊自定義 Java 函數，使 Groq 模型能夠智能地選擇輸出包含參數的 JSON 對象，進而調用已注冊的函數。這一功能為連接 LLM 功能與外部工具和 API 提供了強大的技術支持，極大地拓展了應用的功能邊界。例如，在獲取天氣信息的示例中，當模型需要天氣數據時，會自動調用注冊的 weatherFunction 函數來獲取實時天氣信息。
在這里插入圖片描述

三、示例代碼演示

1. 簡單的函數調用示例

@SpringBootApplication
public class GroqApplication {public static void main(String[] args) {SpringApplication.run(GroqApplication.class, args);}@BeanCommandLineRunner runner(ChatClient.Builder chatClientBuilder) {return args -> {var chatClient = chatClientBuilder.build();var response = chatClient.prompt().user("What is the weather in Amsterdam and Paris?").functions("weatherFunction").call().content();System.out.println(response);};}@Bean@Description("Get the weather in location")public Function<WeatherRequest, WeatherResponse> weatherFunction() {return new MockWeatherService();}public static class MockWeatherService implements Function<WeatherRequest, WeatherResponse> {public record WeatherRequest(String location, String unit) {}public record WeatherResponse(double temp, String unit) {}@Overridepublic WeatherResponse apply(WeatherRequest request) {double temperature = request.location().contains("Amsterdam")? 20 : 25;return new WeatherResponse(temperature, request.unit);}}
}

在上述代碼中，當模型接收到詢問阿姆斯特丹和巴黎天氣的請求時，會自動調用 weatherFunction 函數，該函數根據預設的邏輯返回相應的天氣信息。

2. `ChatController` 示例

@RestController
public class ChatController {private final OpenAiChatModel chatModel;@Autowiredpublic ChatController(OpenAiChatModel chatModel) {this.chatModel = chatModel;}@GetMapping("/ai/generate")public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {return Map.of("generation", this.chatModel.call(message));}@GetMapping("/ai/generateStream")public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {Prompt prompt = new Prompt(new UserMessage(message));return this.chatModel.stream(prompt);}
}

ChatController 類展示了如何在 Web 應用中使用集成后的 OpenAiChatModel。通過定義 /ai/generate 和 /ai/generateStream 兩個接口，分別實現了普通文本生成和流式文本生成的功能，方便前端或其他客戶端進行調用。

3. 手動配置示例

var openAiApi = new OpenAiApi("https://api.groq.com/openai", System.getenv("GROQ_API_KEY"));
var openAiChatOptions = OpenAiChatOptions.builder().model("llama3-70b-8192").temperature(0.4).maxTokens(200).build();
var chatModel = new OpenAiChatModel(this.openAiApi, this.openAiChatOptions);ChatResponse response = this.chatModel.call(new Prompt("Generate the names of 5 famous pirates."));// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(new Prompt("Generate the names of 5 famous pirates."));

手動配置示例展示了如何直接創建 OpenAiChatModel 實例，并通過設置相關參數進行文本生成。這種方式適用于需要更精細控制模型創建過程的場景。

四、注意事項

需要注意的是，Groq API 與 OpenAI API 并非完全兼容，存在一定的兼容性約束，且目前 Groq 不支持多模式消息和媒體內容。開發者在使用過程中應充分了解這些限制，避免因兼容性問題導致開發工作受阻。

總結

通過以上對 Spring AI 與 Groq 集成的詳細介紹，我們可以看到，這一組合為開發者提供了一種高效、靈活的 AI 應用開發方式。借助 Groq 強大的 AI 推理能力和 Spring AI 便捷的開發框架，開發者能夠快速構建出功能豐富的 AI 應用。從集成的前提條件到各類配置屬性的設置，再到函數調用等核心功能的實現，以及通過示例代碼的直觀展示，都為開發者提供了全面的指導。盡管存在一些兼容性限制，但隨著技術的不斷發展和完善，Spring AI 與 Groq 的集成必將在 AI 開發領域發揮更加重要的作用，助力開發者創造出更多優秀的 AI 應用，推動人工智能技術在各個領域的廣泛應用和創新發展。