java Springboot使用扣子Coze實現實時音頻對話智能客服

一、背景

? ? ? ? 因公司業務需求，需要使用智能客服實時接聽顧客電話。

? ? ? ? 現在已經完成的操作是，智能體已接入系統進行對練，所以本文章不寫對聯相關的功能。只有coze對接～

????????扣子提供了試用Realtime WebSocket，點擊右上角setting配置好智能體token之后就可以試用了

注意：只有扣子專業版支持實時音視頻，所以需要開通專業版，開發測試階段可以先充值1元買1000資源點對接測試，注意超額會單獨收費哦，

二、準備工作

1、發布智能體為AI服務

? ? ? ? a.登陸扣子平臺注冊賬號

扣子扣子是新一代 AI 大模型智能體開發平臺。整合了插件、長短期記憶、工作流、卡片等豐富能力，扣子能幫你低門檻、快速搭建個性化或具備商業價值的智能體，并發布到豆包、飛書等各個平臺。https://www.coze.cn/home? ? ? ? b. 在左側導航欄中選擇工作空間，并在頁面頂部空間列表中選擇個人空間或團隊空間

? ? ? ? c. 在項目開發頁面，新建智能體

? ? ? ?d.創建智能體完成之后，點擊右上角的發布，在發布頁面，選擇API選項，然后點擊發布

? ? c.獲取智能體ID,后續開發要用

? ? ? ? 點開工作空間->項目開發->你的智能體，點進新建的智能體，鏈接地址后的數字則為智能體ID

2、獲取訪問令牌

因公司業務需要經過對比我們選用了JWT方式，開發測試階段也可以選擇個人訪問令牌? ? ? ?

????????a.在扣子API頁面，進入授權-> Oauth應用頁面->創建新應用，注意客戶端類型為服務端應用

? ? ? ?

? ? ? ? b.保存后進行下一步授權，將自動生成的公鑰復制保存好，自動下載的私鑰也要存儲好，后續接口認證會用到！

????????

3、安裝Java SDK，參考扣子官網

扣子扣子是新一代 AI 大模型智能體開發平臺。整合了插件、長短期記憶、工作流、卡片等豐富能力，扣子能幫你低門檻、快速搭建個性化或具備商業價值的智能體，并發布到豆包、飛書等各個平臺。https://www.coze.cn/open/docs/developer_guides/java_installation

三、實踐開發

1、添加maven依賴

 <dependency><groupId>com.coze</groupId><artifactId>coze-api</artifactId><version>0.3.0</version>
</dependency><!-- 以下非必須！！！！我把私鑰文件放到resources下了，所以打包需要加上這個類型->
<build><resources><resource><directory>src/main/resources</directory><includes><include>**/*.pem</include></includes><filtering>false</filtering></resource></resources>
</build>

2、獲取token

@Slf4j
@Component
public class CozeOAuth {/*** JWT鑒權token*/public String getJWTToken() {String token = "";try {// 獲取私鑰文件String jwtOauthPrivateKeyFilePath = "這里是你的私鑰文件地址";ClassLoader classLoader = this.getClass().getClassLoader();java.net.URL resourceUrl = classLoader.getResource(jwtOauthPrivateKeyFilePath);if (resourceUrl == null) {log.info("私鑰資源文件未找到，{}", jwtOauthPrivateKeyFilePath);return token;}String jwtOauthPrivateKey = new String(Files.readAllBytes(Paths.get(resourceUrl.toURI())), StandardCharsets.UTF_8);JWTOAuthClient oauth = new JWTOAuthClient.JWTOAuthBuilder().clientID("這里是你之前創建的OAuth應用Id").privateKey(jwtOauthPrivateKey).publicKey("這里是你的公鑰").baseURL(com.coze.openapi.service.config.Consts.COZE_CN_BASE_URL).build();// 獲取tokenOAuthToken resp = oauth.getAccessToken();System.out.println(resp);if (Objects.nonNull(resp)) {token = resp.getAccessToken();}} catch (Exception e) {log.error("獲取coze JWT token異常！", e);}log.info("獲取coze JWT token：{}", token);return token;}}

3、創建新類繼承WebsocketsChatCallbackHandler，接收扣子服務端返回消息并做業務處理

@Slf4j
public class MyWebsocketsChatCallbackHandler extends WebsocketsChatCallbackHandler {public void onChatCreated(WebsocketsChatClient client, ChatCreatedEvent event) {log.info("扣子服務端返回，對話連接成功,{}", JSON.toJSONString(event));}public void onChatUpdated(WebsocketsChatClient client, ChatUpdatedEvent event) {log.info("扣子服務端返回，對話配置成功,{}", JSON.toJSONString(event));}public void onConversationChatCreated(WebsocketsChatClient client, ConversationChatCreatedEvent event) {log.info("扣子服務端返回，對話開始,{}", JSON.toJSONString(event));}public void onConversationChatInProgress(WebsocketsChatClient client, ConversationChatInProgressEvent event) {log.info("扣子服務端返回，對話正在處理,{}", JSON.toJSONString(event));}public void onConversationMessageDelta(WebsocketsChatClient client, ConversationMessageDeltaEvent event) {log.info("扣子服務端返回，增量消息,{}", JSON.toJSONString(event));}public void onConversationAudioDelta(WebsocketsChatClient client, ConversationAudioDeltaEvent event) {log.info("扣子服務端返回，增量語音,{}", JSON.toJSONString(event));// TODO 處理實際業務，比如返回給用戶的語音}public void onConversationMessageCompleted(WebsocketsChatClient client, ConversationMessageCompletedEvent event) {log.info("扣子服務端返回，消息完成,{}", JSON.toJSONString(event));}public void onConversationAudioCompleted(WebsocketsChatClient client, ConversationAudioCompletedEvent event) {log.info("扣子服務端返回，語音回復完成,{}", JSON.toJSONString(event));}public void onConversationChatCompleted(WebsocketsChatClient client, ConversationChatCompletedEvent event) {log.info("扣子服務端返回，對話完成,{}", JSON.toJSONString(event));}public void onConversationChatFailed(WebsocketsChatClient client, ConversationChatFailedEvent event) {log.info("扣子服務端返回，對話失敗,{}", JSON.toJSONString(event));}public void onInputAudioBufferCompleted(WebsocketsChatClient client, InputAudioBufferCompletedEvent event) {log.info("扣子服務端返回，流式提交的音頻完成,{}", JSON.toJSONString(event));}public void onInputAudioBufferCleared(WebsocketsChatClient client, InputAudioBufferClearedEvent event) {log.info("扣子服務端返回，清除緩沖區音頻成功,{}", JSON.toJSONString(event));}public void onConversationCleared(WebsocketsChatClient client, ConversationClearedEvent event) {log.info("扣子服務端返回，上下文清除完成,{}", JSON.toJSONString(event));}public void onConversationChatCanceled(WebsocketsChatClient client, ConversationChatCanceledEvent event) {log.info("扣子服務端返回，智能體輸出中斷,{}", JSON.toJSONString(event));}public void onConversationAudioTranscriptUpdate(WebsocketsChatClient client, ConversationAudioTranscriptUpdateEvent event) {log.info("扣子服務端返回，用戶語音識別字幕,{}", JSON.toJSONString(event));}public void onConversationAudioTranscriptCompleted(WebsocketsChatClient client, ConversationAudioTranscriptCompletedEvent event) {log.info("扣子服務端返回，用戶語音識別完成,{}", JSON.toJSONString(event));}public void onConversationChatRequiresAction(WebsocketsChatClient client, ConversationChatRequiresActionEvent event) {log.info("扣子服務端返回，端插件請求,{}", JSON.toJSONString(event));}public void onInputAudioBufferSpeechStarted(WebsocketsChatClient client, InputAudioBufferSpeechStartedEvent event) {log.info("扣子服務端返回，用戶開始說話,{}", JSON.toJSONString(event));}public void onInputAudioBufferSpeechStopped(WebsocketsChatClient client, InputAudioBufferSpeechStoppedEvent event) {log.info("扣子服務端返回，用戶結束說話,{}", JSON.toJSONString(event));}public void onClosing(WebsocketsChatClient client, int code, String reason) {log.info("扣子服務端返回，onClosing,code：{}，reason：{}",code, reason);}public void onClosed(WebsocketsChatClient client, int code, String reason) {log.info("扣子服務端返回，onClosed,code:{},reason：{}", code,reason);}public void onError(WebsocketsChatClient client, ErrorEvent event) {log.info("扣子服務端返回，onError,event：{}", JSON.toJSONString(event));}public void onFailure(WebsocketsChatClient client, Throwable t) {log.info("扣子服務端返回，onFailure,event：{}", JSON.toJSONString(t));}public void onClientException(WebsocketsChatClient client, Throwable t) {log.info("扣子服務端返回，onFailure,event：{}", JSON.toJSONString(t.getMessage()));}
}

4、創建工具類

抽取跟業務無關的代碼到該類中

@Slf4j
@Component
public class WebSocketUtils {@Resourceprivate CozeOAuth cozeOAuth;/*** 更新對話配置 請求參數*/public ChatUpdateEventData initChatUpdateEventData() {// 對話配置ChatConfig chatConfig = new ChatConfig();chatConfig.setAutoSaveHistory(true);// 輸入音頻格式InputAudio inputAudio = new InputAudio("pcm", "g711a", 8000, 1, 16);PCMConfig pcmConfig = new PCMConfig(100,8000);// 輸出音頻格式OutputAudio outputAudio = new OutputAudio("pcm", pcmConfig, null, null, null);// 轉檢測配置// server_vad 模式下，VAD 檢測到語音之前要包含的音頻量，單位為 ms。默認為 600ms。// server_vad 模式下，檢測語音停止的靜音持續時間，單位為 ms。默認為 500msTurnDetection turnDetection = new TurnDetection("server_vad", 300, 500);return cChatUpdateEventData.builder().inputAudio(inputAudio).outputAudio(outputAudio).chatConfig(chatConfig).turnDetection(turnDetection).build();}public CozeAPI getCozeApi(){return new CozeAPI.Builder().baseURL(Consts.COZE_CN_BASE_URL).auth(new TokenAuth(cozeOAuth.getJWTToken())).readTimeout(10000).build();}
}

5、使用websocket雙向流式對話

我們用到了第三方的用戶進線傳輸，直接sip協議拿包，將包傳輸給扣子，之后再將扣子的增量語音返回給第三方就行。所以選擇了websocket的方式

        byte[] buffer = new byte[1500];CozeAPI cozeAPI = webSocketUtils.getCozeApi();WebsocketsChatClient websocketsChatClient = cozeAPI.websockets().chat().create(new WebsocketsChatCreateReq("這里是你的智能體ID", new MyWebsocketsChatCallbackHandler()));// 更新對話配置               websocketsChatClient.chatUpdate(webSocketUtils.initChatUpdateEventData());// 此處可以根據實際業務接收語音流byte[] audioData = Files.readAllBytes(Paths.get("/音頻.pcm"));// 流式上傳音頻片段websocketsChatClient.inputAudioBufferAppend(audioData);