langchain4j介紹
官網地址:https://docs.langchain4j.dev/get-started
langchain4j可以說是java和spring的關系,spring讓我們開發java應用非常簡單,那么langchain4j對應的就是java開發ai的 “Spring”
他集成了AI應用的多種場景,并且抽象多種接口,讓我們開發AI應用非常簡單,下面介紹其常用功能,以及開發一個小的ai問答應用
AI應用的實現需求:支持對話、上下文對話、流式對話、對話數據隔離、對話數據持久化、Function Call實現特殊場景結合業務進行ai問答
為了降低模型的使用門檻,這里開發使用國內模型-阿里千問系列進行開發,登錄去控制臺獲取key就行
https://bailian.console.aliyun.com/
項目依賴引入
依賴需要引入兩個東西:langchain4j的依賴、對應的模型的依賴,但是如果通過starter的形式,只需要引入starter即可,具體可以看官方的文檔
https://docs.langchain4j.dev/integrations/language-models/dashscope
注意:需要使用jdk17環境,SpringBoot3.x系列
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.xujie</groupId><artifactId>langchain4j-demo</artifactId><version>1.0-SNAPSHOT</version><properties><maven.compiler.source>17</maven.compiler.source><maven.compiler.target>17</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><spring.boot.version>3.2.4</spring.boot.version><langchain4j.version>1.0.0-beta3</langchain4j.version></properties><dependencyManagement><dependencies><!-- Spring Boot Starter父依賴 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>${spring.boot.version}</version><type>pom</type><scope>import</scope></dependency><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-community-bom</artifactId><version>${langchain4j.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><dependencies><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j-community-dashscope-spring-boot-starter</artifactId></dependency><!-- Langchain4j自己的核心庫 --><dependency><groupId>dev.langchain4j</groupId><artifactId>langchain4j</artifactId><version>${langchain4j.version}</version></dependency><!-- Web依賴,以及Webflux依賴,實現流式響應 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-webflux</artifactId></dependency><!-- Redis的依賴,用于消息持久化 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-pool2</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId></dependency></dependencies>
</project>
功能體驗
首先我們先逐個體驗其功能,最后再統一集成
AI對話
Langchain4j將AI的功能封裝成一個Model,通過Model即可調用對應的AI功能,我們要使用千問的模型,new 一個千問的Model即可
這里有兩種方式,一種是通過SpringBoot的配置文件,將模型注入到IOC容器中,另一種就是通過代碼進行配置
ChatLanguageModel qwenModel = QwenChatModel.builder().apiKey("You API key here").modelName("qwen-max").build();
官方示例:
langchain4j.community.dashscope.api-key=<You API Key here>
langchain4j.community.dashscope.model-name=qwen-max
# The properties are the same as `QwenChatModel`
# e.g.
# langchain4j.community.dashscope.temperature=0.7
# langchain4j.community.dashscope.max-tokens=4096
langchain4j:community:dashscope:chat-model:api-key: ${Ali_AI_KEY} //通過環境參數model-name: qwen-max
這里我們就使用注入的方式
/*** @author Xujie* @since 2025/4/19 21:44**/
@Slf4j
@SpringBootTest
public class TestAi {@Resourceprivate ChatLanguageModel qwenChatModel;@Testpublic void test() {String response = qwenChatModel.chat("你好呀");log.info(response);}
}
控制臺輸出:
2025-04-19T21:47:29.593+08:00 INFO 12660 --- [ main] com.xujie.TestAi : 你好!有什么可以幫助你的嗎?
這里說明成功了
文生圖
我們再來體驗一下文生圖的功能,這里用的阿里 wanx2.1-t2i-turbo 模型,大家也可以去阿里的模型廣場看看有哪些支持圖片生成的模型,調用即可,這里我們就通過手動構造的模式去構成圖片模型
@Value("${langchain4j.community.dashscope.chat-model.api-key}")private String apiKey;@Testpublic void testGeneratePicture() {WanxImageModel.WanxImageModelBuilder builder = WanxImageModel.builder();WanxImageModel wanxImageModel = builder.apiKey(apiKey).modelName("wanx2.1-t2i-turbo").build();Response<Image> imageResponse = wanxImageModel.generate("生成一只剃了毛的黑色拉布拉多");log.info(imageResponse.toString());}
Java HotSpot(TM) 64-Bit Server VM warning: Sharing is only supported for boot loader classes because bootstrap classpath has been appended
2025-04-19T21:54:42.892+08:00 INFO 31912 --- [ main] com.xujie.TestAi : Response { content = Image { url = "https://dashscope-result-wlcb-acdr-1.oss-cn-wulanchabu-acdr-1.aliyuncs.com/1d/e3/20250419/b0fe3396/15a89e1c-f792-4156-bff2-5d2ccb80561e3378775189.png?Expires=1745157281&OSSAccessKeyId=LTAI5tKPD3TMqf2Lna1fASuh&Signature=m3QvlCGR4aGwVyI7Vj1IFnVY95Y%3D", base64Data = null, mimeType = null, revisedPrompt = "寫實寵物攝影,一只黑色拉布拉多犬在戶外草地上。它全身毛發被修剪得非常短,露出光滑的黑皮膚。狗狗四肢強健,肌肉線條明顯,正抬頭望向鏡頭,眼神機警靈動。背景是大片綠色草地和藍天白云,陽光灑在狗身上形成自然光影效果。高清彩色攝影,近景側面捕捉狗狗優雅姿態。" }, tokenUsage = null, finishReason = null, metadata = {} }
可以看見,這里也是成功的生成圖片了,效果一般,也有可能是我Promot的問題
文生語音
同樣,我們去模型廣場看看哪些支持生成語音的模型,這里就使用cosyvoice-v1模型
@Testpublic void testGenerateVoice() {SpeechSynthesisParam param = SpeechSynthesisParam.builder().apiKey(apiKey).voice("longxiaochun").model("cosyvoice-v1").build();SpeechSynthesizer speechSynthesizer = new SpeechSynthesizer(param,null);ByteBuffer call = speechSynthesizer.call("你好,給我唱一首生日快樂歌");// Maven項目標準資源目錄File file = new File("src/main/resources/response.mp3");// 確保目錄存在file.getParentFile().mkdirs();try(FileOutputStream fileOutputStream = new FileOutputStream(file)) {fileOutputStream.write(call.array());} catch (Exception e) {throw new RuntimeException(e);}}
然語音文件的路徑實在resources下面,也是成功了
對話上下文
首先,我們理解一下什么是對話上下文,我們要清楚,AI的服務是不會記錄我們對話的記錄,我們每一次請求都是獨立的返回,不會關聯我們之前的問題,那么我就要實現上下文,就只能將之前的對話記錄一起加上這一次的提問,一起請求給AI,這才實現了上下文的功能
我們進行驗證一下,AI是否會自動記錄上下文:
我們簡單改造一下第一個用例
@Testpublic void test() {String response1 = qwenChatModel.chat("你好呀,我是XJ");String response2 = qwenChatModel.chat("我是什么名字");log.info(response1);log.info(response2);}
Java HotSpot(TM) 64-Bit Server VM warning: Sharing is only supported for boot loader classes because bootstrap classpath has been appended
2025-04-19T22:14:23.835+08:00 INFO 38908 --- [ main] com.xujie.TestAi : 你好,XJ!很高興認識你。我是Qwen,由阿里云開發的超大規模語言模型。我在這里可以幫助你解答問題、提供信息或者進行各種話題的交流。有什么我可以幫到你的嗎?
2025-04-19T22:14:23.835+08:00 INFO 38908 --- [ main] com.xujie.TestAi : 您好!您并沒有告訴我您的名字,所以我無法直接知道您的名字是什么。如果您愿意分享的話,可以告訴我您的名字或者您想讓我怎么稱呼您。
可以看到,兩次回復都是毫無關聯的;
既然這樣我們如何實現上下文呢,那最簡單暴力的方式就是將前面的請求和響應一起發給AI,如下
@Testpublic void test() {UserMessage userMessage1 = new UserMessage("你好呀,我是XJ");ChatResponse chatResponse1 = qwenChatModel.chat(userMessage1);AiMessage aiMessage = chatResponse1.aiMessage();// 拿到ai的響應UserMessage userMessage2 = new UserMessage("我是什么名字");ChatResponse chatResponse2 = qwenChatModel.chat(userMessage1,aiMessage,userMessage2);log.info(chatResponse1.aiMessage().text());log.info(chatResponse2.aiMessage().text());}
兩次相應如下
Java HotSpot(TM) 64-Bit Server VM warning: Sharing is only supported for boot loader classes because bootstrap classpath has been appended
2025-04-19T22:18:23.274+08:00 INFO 40264 --- [ main] com.xujie.TestAi : 你好,XJ!很高興認識你。有什么我可以幫助你的嗎?或者你想聊些什么?
2025-04-19T22:18:23.274+08:00 INFO 40264 --- [ main] com.xujie.TestAi : 你剛才告訴我你的名字是XJ。如果你有其他的名字或者昵稱,也可以告訴我哦!
可以發現,AI對話已經具有的上下文的功能,但是這樣是不是太復雜?
沒當發現一個東西復雜的時候,總會有對應的不復雜的情況,如果沒有,那就自己造,如果要我們自己實現,那其實也是很簡單,將請求AI的接口封裝一下,并且內部維護對話記錄,每次請求,將歷史的記錄攜帶即可。
但是框架Langchain4j的已經幫我們實現了,具體是采用動態代理的模式實現的
public interface AiChat{String chat(String text);TokenStream tokenStream(String text);}@Testpublic void test() {AiChat aiChat = AiServices.builder(AiChat.class).chatLanguageModel(qwenChatModel).chatMemory(MessageWindowChatMemory.withMaxMessages(10))//限制10上下文.build();String response1 = aiChat.chat("我的名字是小徐");String response2 = aiChat.chat("我的名字是什么");log.info(response1);log.info(response2);}
Java HotSpot(TM) 64-Bit Server VM warning: Sharing is only supported for boot loader classes because bootstrap classpath has been appended
2025-04-19T22:30:34.652+08:00 INFO 32428 --- [ main] com.xujie.TestAi : 你好,小徐!很高興認識你。有什么我可以幫助你的嗎?
2025-04-19T22:30:34.652+08:00 INFO 32428 --- [ main] com.xujie.TestAi : 你的名字是小徐。如果你還有其他問題或需要幫助,隨時告訴我哦!
通過返回可以看的,確實是具有的上下文的能力
回話隔離
我們與ai進行回話,通常是具有對此回話的,每一次的回話主題都不一樣,需要進行隔離,那我們來看看Langchain4j如何實現的回話隔離,上面我們實現了回話的上下文,跟最初一樣,我們理解一下如何實現回話隔離呢?
那肯定是通過什么ID或者其他的唯一標識來區分
而且,也確實是這樣實現的
我們只需要每一次對話傳入ID即可
相比上面加了一個注解以及id字段,這個注解是Langchain4j提供的,在代理中通過注解去拿到對應的值
public interface AiChat{String chat(@MemoryId Long id, @UserMessage String text);}@Testpublic void test() {AiChat aiChat = AiServices.builder(AiChat.class).chatLanguageModel(qwenChatModel).chatMemoryProvider(memoryId -> MessageWindowChatMemory.builder().maxMessages(10).id(memoryId).build()).build();String response1 = aiChat.chat(1L,"我的名字是小徐");String response2 = aiChat.chat(1L,"我的名字是什么");log.info(response1);log.info(response2);log.info("======");response2 = aiChat.chat(2L,"我的名字是什么");log.info(response2);}
2025-04-19T22:39:18.264+08:00 INFO 40528 --- [ main] com.xujie.TestAi : 你好,小徐!很高興認識你。有什么我可以幫助你的嗎?
2025-04-19T22:39:18.264+08:00 INFO 40528 --- [ main] com.xujie.TestAi : 你的名字是小徐。如果有其他問題或需要幫助的地方,隨時告訴我哦!
2025-04-19T22:39:18.264+08:00 INFO 40528 --- [ main] com.xujie.TestAi : ======
2025-04-19T22:39:19.739+08:00 INFO 40528 --- [ main] com.xujie.TestAi : 您好!您并沒有告訴我您的名字,所以我無法知道您的名字是什么。如果您愿意,可以告訴我您的名字,我很樂意用您的名字來稱呼您。
可以看的兩個回話,確實是隔離了,第二個回話并不清楚我第一個回話的內容
Function Call
Function Call 就是我們提前預設一些場景,然后用戶在進行AI問答時,如果ai覺得當前對話符合某一個場景,便會去調用預設的函數,獲取函數的返回值,然后結合用戶的提問,去回答用戶
比如:我數據庫中存儲今天的香蕉價格是10元一斤
并且預設場景:水果的價格
那么用戶提問:今天的香蕉多少錢一斤
那么就會提取到水果的名稱:香蕉,去數據庫查詢香蕉的價格,為10元,然后結合用戶的提問,進行回答
@Testpublic void testFuncCall() {class FuncCallService{final Map<String,Integer> map = Map.of("香蕉",10,"蘋果",12);@Tool("水果的價格")public Integer fruitsPrice(@P("水果名字") String fruitName) {return map.getOrDefault(fruitName,-1);}}AiChat aiChat = AiServices.builder(AiChat.class).chatLanguageModel(qwenChatModel).tools(new FuncCallService()).chatMemoryProvider(memoryId -> MessageWindowChatMemory.builder().maxMessages(10).id(memoryId).build()).build();String response1 = aiChat.chat(1L, "香蕉多少錢一斤");String response2 = aiChat.chat(2L, "蘋果多少錢一斤");String response3 = aiChat.chat(3L, "栗子多少錢一斤");log.info(response1);log.info(response2);log.info(response3);}
2025-04-19T22:49:48.799+08:00 INFO 40704 --- [ main] com.xujie.TestAi : 香蕉的價格是10元一斤。
2025-04-19T22:49:48.799+08:00 INFO 40704 --- [ main] com.xujie.TestAi : 蘋果的價格是12元一斤。
2025-04-19T22:49:48.799+08:00 INFO 40704 --- [ main] com.xujie.TestAi : 對不起,當前的查詢工具中沒有栗子的價格信息。我建議您可以去附近的市場或者在線購物網站上查看最新的價格。如果您需要查詢其他水果的價格,也可以告訴我,我會盡力幫您查詢。
可以看到,確實是結合我們預設的內容去執行了Func Call
綜上,結合Langchain4j確實可以很方便引入AI的功能,讓我們的應用具有AI的功能
項目實戰放在下一篇文章中