本文以CSK6 大模型開發板+串口觸摸屏為例,實操講解觸摸一體機怎樣快速增加大模型語音交互功能,使用戶能夠通過語音在一體機上查詢信息、獲取智能回答及實現更多互動功能等。
在本文方案中通過CSK6大模型語音開發板采集用戶語音,將語音數據傳輸到大模型進行處理,再將大模型生成的回答轉換為語音輸出和在觸摸一體機屏幕上顯示文字結果。
一、硬件準備
- 語音交互模塊:CSK6大模型語音開發板(接入自定義的私有大模型知識庫,生成和接入方式可以參考前面發布的文章)
- 觸摸一體機:用淘晶馳X2七寸串口觸摸屏模塊代替演示
二、硬件連接
- 串口觸摸屏模塊和CSK6大模型開發板各自使用5V2A獨立供電
- 將 CSK6 大模型開發板引腳與觸摸一體機模塊的串口接口進行連接。確保連接線路穩定且正確,開發板 PA00引腳連接觸摸一體機模塊的 RX 端(黃色線),PA01引腳連接觸摸一體機模塊的 TX 端(橙色線),同時開發板的GND與串口屏的GND互聯(紅色線杜邦線)。
- 語音交互模塊配置
1、下載聆思官方開放的SDK后做完初始化和更新,在 LLM_pic 目錄下打開 prj.conf,增加以下配置項并保存:
CONFIG_UART_DISP_EN=y
- 編譯固件(如不方便編譯,想先體驗可以使用演示固件,下載地址:https://docs2.listenai.com/z/217.zip
- 燒錄到開發板上即可 (此處省略實操內容,詳細操作步驟請參考官方上手文檔固件下載與燒錄 | 聆思文檔中心)
- 觸摸一體機(串口觸摸屏模塊)設置
串口觸摸屏官方提供有可視化編輯工具, 可以聯系串口屏提供方要下載程序,安裝好后參考以下步驟實現語音交互文字和指令的接入。
- 在官方出廠示例下方增加【滑動文本】模塊,w設置為600、h設置為50,文本框、文字顏色、排版特效和互動方式都可以自定義配置,詳情參考控件說明。
【友情提醒】不要修改objname的值,該值被CSK6 大模型開發板關聯,修改會導致文字不能顯示。
- 配置utf-8支持,由于開發板輸出的中文是utf-8格式,需要手動增加到串口屏的支持字庫。
- 下載utf-8字庫文件,下載地址:https://docs2.listenai.com/z/216.zi
-
- 點+導入utf-8字庫,可以看到導入后的字庫ID為:7
-
- 更改【滑動文本】模塊使用 ID為 7 的utf-8字庫,然后保存。
- 完成以上配置后,點擊輸出生產文件,然后通過tf卡更新串口屏幕程序,重啟即可。
- 【重點提醒】CSK6開發板接串口屏后,只能使用csk_usb口供電,且dap_usb口不能接電腦,否則串口屏不會顯示聊天文字
- CSK6大模型開發板SDK的串口屏相關代碼
可以在下載的大模型語音交互SDK中查看修改串口屏相關的代碼以實現不同的串口交互功能,串口屏代碼文件路徑:\duomotai_ap\apps\LLM_pic\src\app_ui\uart_disp_ui\uart_disp.c
觸摸一體機通過串口接入CSK6大模型開發板,不僅可以實現聊天文字實時顯示,還可以借助CSK6大模型開發板的AI能力在觸摸一體機上實現更多功能,同時還降低了方案開發難度和工作量,更快速的驗證產品功能可行性。
聆思CSK6 大模型開發板詳細信息可參考線上文檔套件簡介 | 聆思文檔中心,解鎖更多玩法、例如更換大模型、添加私有知識庫、自定義流程、控制設備等請參考之前發布的博客,也可以私信、評論或在技術群交流。