實操給觸摸一體機接入大模型語音交互

本文以CSK6 大模型開發板+串口觸摸屏為例,實操講解觸摸一體機怎樣快速增加大模型語音交互功能,使用戶能夠通過語音在一體機上查詢信息、獲取智能回答及實現更多互動功能等。

在本文方案中通過CSK6大模型語音開發板采集用戶語音,將語音數據傳輸到大模型進行處理,再將大模型生成的回答轉換為語音輸出和在觸摸一體機屏幕上顯示文字結果。

一、硬件準備

  1. 語音交互模塊:CSK6大模型語音開發板(接入自定義的私有大模型知識庫,生成和接入方式可以參考前面發布的文章)

  1. 觸摸一體機:用淘晶馳X2七寸串口觸摸屏模塊代替演示

二、硬件連接

  1. 串口觸摸屏模塊和CSK6大模型開發板各自使用5V2A獨立供電

  1. 將 CSK6 大模型開發板引腳與觸摸一體機模塊的串口接口進行連接。確保連接線路穩定且正確,開發板 PA00引腳連接觸摸一體機模塊的 RX 端(黃色線),PA01引腳連接觸摸一體機模塊的 TX 端(橙色線),同時開發板的GND與串口屏的GND互聯(紅色線杜邦線)。

  • 語音交互模塊配置

1、下載聆思官方開放的SDK后做完初始化和更新,在 LLM_pic 目錄下打開 prj.conf,增加以下配置項并保存:

CONFIG_UART_DISP_EN=y

  1. 編譯固件(如不方便編譯,想先體驗可以使用演示固件,下載地址:https://docs2.listenai.com/z/217.zip
  2. 燒錄到開發板上即可 (此處省略實操內容,詳細操作步驟請參考官方上手文檔固件下載與燒錄 | 聆思文檔中心

  • 觸摸一體機(串口觸摸屏模塊)設置

串口觸摸屏官方提供有可視化編輯工具, 可以聯系串口屏提供方要下載程序,安裝好后參考以下步驟實現語音交互文字和指令的接入。

  1. 在官方出廠示例下方增加【滑動文本】模塊,w設置為600、h設置為50,文本框、文字顏色、排版特效和互動方式都可以自定義配置,詳情參考控件說明。

【友情提醒】不要修改objname的值,該值被CSK6 大模型開發板關聯,修改會導致文字不能顯示。

  1. 配置utf-8支持,由于開發板輸出的中文是utf-8格式,需要手動增加到串口屏的支持字庫。
    1. 下載utf-8字庫文件,下載地址:https://docs2.listenai.com/z/216.zi

    1. 點+導入utf-8字庫,可以看到導入后的字庫ID為:7

    1. 更改【滑動文本】模塊使用 ID為 7 的utf-8字庫,然后保存。

  1. 完成以上配置后,點擊輸出生產文件,然后通過tf卡更新串口屏幕程序,重啟即可。

  1. 【重點提醒】CSK6開發板接串口屏后,只能使用csk_usb口供電,且dap_usb口不能接電腦,否則串口屏不會顯示聊天文字

  • CSK6大模型開發板SDK的串口屏相關代碼

可以在下載的大模型語音交互SDK中查看修改串口屏相關的代碼以實現不同的串口交互功能,串口屏代碼文件路徑:\duomotai_ap\apps\LLM_pic\src\app_ui\uart_disp_ui\uart_disp.c

觸摸一體機通過串口接入CSK6大模型開發板,不僅可以實現聊天文字實時顯示,還可以借助CSK6大模型開發板的AI能力在觸摸一體機上實現更多功能,同時還降低了方案開發難度和工作量,更快速的驗證產品功能可行性。

聆思CSK6 大模型開發板詳細信息可參考線上文檔套件簡介 | 聆思文檔中心,解鎖更多玩法、例如更換大模型、添加私有知識庫、自定義流程、控制設備等請參考之前發布的博客,也可以私信、評論或在技術群交流。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/68196.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/68196.shtml
英文地址,請注明出處:http://en.pswp.cn/web/68196.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

深入解析 FFmpeg 的 AAC 編解碼過程

深入解析 FFmpeg 的 AAC 編解碼過程 —— 技術詳解與代碼實現 AAC(Advanced Audio Coding) 是一種高效的有損音頻壓縮格式,因其高壓縮效率和良好的音質而被廣泛應用于流媒體、廣播和音頻存儲等領域。FFmpeg 是一個強大的多媒體處理工具,支持 AAC 的編碼和解碼。本文將詳細…

RabbitMQ 從入門到精通:從工作模式到集群部署實戰(一)

#作者:閆乾苓 文章目錄 RabbitMQ簡介RabbitMQ與VMware的關系架構工作流程RabbitMQ 隊列工作模式及適用場景簡單隊列模式(Simple Queue)工作隊列模式(Work Queue)發布/訂閱模式(Publish/Subscribe&#xff…

探索 Spring Cloud Alibaba:開啟微服務架構新時代

一、引言 在當今數字化浪潮中,軟件系統的規模和復雜度不斷攀升,傳統的單體架構逐漸難以滿足快速迭代、高并發處理以及靈活擴展的需求。微服務架構應運而生,它將一個大型的應用拆分成多個小型、自治的服務,每個服務專注于特定的業務…

Linux基礎命令之Nginx中的rewrite功能(重新)

一、什么是Rewrite Rewrite也稱URL Rewrite,即URL重寫,就是把傳入Web的請求重定向到其他URL的過程。 1. URL Rewrite最常見的應用是URL偽靜態化,是將動態頁面顯示為靜態頁面方式的一種技術。比如http://www.123.com/news/index.php?id123 使…

anaconda使用

anaconda配置鏡像源: 引用:https://zhuanlan.zhihu.com/p/17776864328 # 顯示所有的鏡像源 conda config --show channels # 設置鏡像源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add c…

DeepSeek 闡述 2025年前端發展趨勢

預測2025年前端的發展趨勢。首先,我需要考慮當前的前端 技術發展情況,以及近幾年的變化趨勢。比如,框架方面,React、Vue、Angular這些主流框架的更新方向和社區活躍度。可能用戶想知道未來哪些技術會更流行,或者需要學…

RK3568平臺開發系列講解(ConfigFS篇)ConfigFS核心數據結構

??返回專欄總目錄 文章目錄 一、數據結構二、結構體關系三、案例3.1、configfs_subsystem 實例3.2、config_group 實例化四、屬性和方法五、config_item實例化沉淀、分享、成長,讓自己和他人都能有所收獲!?? 理解 ConfigFS 的核心數據結構對于深入使用和定制 ConfigFS 非…

【實戰篇】巧用 DeepSeek,讓 Excel 數據處理更高效

一、為何選擇用 DeepSeek 處理 Excel 在日常工作與生活里,Excel 是我們頻繁使用的工具。不管是統計公司銷售數據、分析學生成績,還是梳理個人財務狀況,Excel 憑借其強大的功能,如數據排序、篩選和簡單公式計算,為我們提供了諸多便利。但當面對復雜的數據處理任務,比如從…

微信小程序案例1——制作貓眼電影底部標簽導航欄

文章目錄 一、項目步驟1 新建一個無AppID的movie項目2將準備好的底部標簽導航圖標拷貝到movie項目下面(將圖標文件夾image放到項目文件夾里)3 打開App.json配置文件,在pages數組里添加4個頁面路徑:電影“pages/movie/movie”、影院“pages/cinema/cinema…

CSS 偽類(Pseudo-classes)的詳細介紹

CSS 偽類詳解與示例 在日常的前端開發中,CSS 偽類可以幫助我們非常精準地選擇元素或其特定狀態,從而達到豐富頁面表現的目的。本文將詳細介紹以下偽類的使用: 表單相關偽類 :checked、:disabled、:enabled、:in-range、:invalid、:optional、…

docker多個容器的相互通信

在同一臺宿主機上運行多個 Docker 容器時,容器之間可以通過以下幾種方式實現通信: 1. 使用 Docker 默認網絡(Bridge 網絡) Docker 默認會為每個容器分配一個 bridge 網絡,容器可以通過 IP 地址或容器名稱互相通信。 …

Elasticsearch 開放推理 API 增加了 Azure AI Studio 支持

作者:來自 Elastic Mark Hoy Elasticsearch 開放推理 API 現已支持 Azure AI Studio。在此博客中了解如何將 Azure AI Studio 功能與 Elasticsearch 結合使用。 作為我們持續致力于為 Microsoft Azure 開發人員提供他們選擇的工具的一部分,我們很高興地宣…

基于Bootstrap + Java + Oracle實現的電商平臺

以下是基于Bootstrap Java Oracle實現的電商平臺開發方案(簡化版): 一、系統架構設計 前端:Bootstrap 5 jQuery 后端:Java Spring Boot 數據庫:Oracle 19c 自動化:Spring Scheduler Oracle…

JUC學習筆記02

文章目錄 JUC筆記2練習題:手寫線程池代碼解釋:AdvancedThreadPool 類:WorkerThread 內部類:AdvancedThreadPoolExample 類: 線程池的思考CPU密集型IO密集型 練習題:手寫自動重試機練習題:手寫定…

【Unity】從父對象中獲取子對象組件的方式

1.GetComponentInChildren 用于獲取對與指定組件或游戲對象的任何子級相同的游戲對象上的組件類型的引用。 該方法在Unity腳本API的聲明格式為: public T GetComponentInChildren(bool includeInactive false) includeInactive參數(可選&#xff09…

Redis性能優化

1.是否使用復雜度過高的命令 首先,第一步,你需要去查看一下 Redis 的慢日志(slowlog)。 Redis 提供了慢日志命令的統計功能,它記錄了有哪些命令在執行時耗時比較久。 查看 Redis 慢日志之前,你需要設置慢…

baigeiRSA

baigeiRSA 打開附件有兩個: 1.import libnumfrom Crypto.Util import numberfrom secret import flag?size 128e 65537p number.getPrime(size)q number.getPrime(size)n p*q?m libnum.s2n(flag)c pow(m, e, n)?print(n %d % n)print(c %d % c)??2.n…

【csp-j學習完C++語法后,如何進階學習C++算法和數據結構?】

在掌握了 CSP - J 的 C 語法基礎后,接下來的進階學習需要系統地掌握各類算法和數據結構知識,并通過大量練習來鞏固和提高應用能力。以下是一份詳細的進階學習規劃: 第一階段:基礎算法學習(1 - 2 個月) 排…

QT中解決使用QCustomplot繪制高速大量數據時頻譜圖卡頓問題

[!!!核心方法!!!] 使用帶參數的replot()函數繪制m_pCustomPlot>replot(QCustomPlot::rpQueuedReplot) 1. replot() 方法 void QCustomPlot::replot(QCustomPlot::RefreshPriority refreshPriority rp…

【AI】卷積神經網絡CNN

不定期更新,建議關注收藏點贊。 目錄 零碎小組件經驗總結早期的CNN 零碎小組件 全連接神經網絡 目前已經被替代。 每個神經元都有參與,但由于數據中的特征點變化大,全連接神經網絡把所有數據特征都學習了,故效果不好。感受野&…