一、什么是螢石AI對話智能體?
如何讓設備聽得到、聽得懂?這次螢石發布的AI對話Agent,讓設備能進行自然、流暢、真人感的AI對話智能體,幫助開發者打造符合業務場景的AI對話智能體能力,實現全雙工、實時打斷、可擴展、對話效果自然的設備互動。
1. 音視頻高效采集與智能處理技術
AI對話智能體,通過設備大量海康/螢石設備自帶的螢石自研ERTC實現音視頻數據的高效采集、自定義處理和超低時延傳輸,并結合海康研究院的3A硬件音頻處理技術,設備端集成3A降噪、回聲消除、音頻增強等能力。
2.?云端智能音視頻處理與語音交互技術
在云端,提供了智能音視頻處理模塊,包括云端AI打斷、智能降噪等能力。并在云端深度整合語音識別(ASR)、語音合成(TTS)、多廠家大模型(deepseek/通義千問等),簡化語音到文本及文本到語音的轉換過程,提供強大的智能對話、自然語言處理和語音交互能力,端到端延遲降低到2秒以內,并提供AI VAD模塊,實時打斷。
3.?企業向量知識庫與硬件AI智能體構建
提供企業向量知識庫(RAG),幫助開發者快速搭建屬于企業自己的硬件AI智能體,應用到各行各業場景中。
IoT+智能體
讓海康/螢石/三方硬件聰明起來:基于S10開放的英語助教、基于RK3開放的智能養老管家、基于SP4開放的智能公寓助手,都是典型的IoT+智能體應用,同時螢石開放平臺還提供了SDK開放,開發者集成的很多AI玩具都可以直接實現AI玩具+智能體的應用。
二、螢石AI對話智能本次發布功能一覽
功能一:設備集成聰明的智能體
通過支持語音對話的設備,比如S10、RK3、C6C ultra等設備,開發者可以在控制臺創建智能體后,下發給設備,用戶即可喚醒智能體并進行對話。
如圖,通過將繪本故事、開放平臺智能客服、多語言翻譯等智能體下發給設備,用戶就可以在家里使用智能體,與對應的智能體進行通話。
功能二:控制臺提供Agent管理
那么,如何創建這些智能體呢?
進入開放平臺控制臺,即可看到已經創建的智能體,點擊新建,選擇大模型、提示詞、選擇技能。
輸入對應選項后,即可體驗。
調試后,即可發布。發布后,即可關聯設備。即可在設備端進行對話。
功能三:自定義企業知識庫
注:目前只有灰度,請聯系小助手開放
三、為什么選擇開放平臺AI對話智能體?
1.?持續更新的硬件資源
任何接入螢石云的RTC設備,都可以一鍵開啟智能體應用。同時,開放平臺還提供各類LinuxSDK,搭配音頻對話模組,可以讓你的硬件變的更聰明
2.?靈活的流程設計
開放平臺智能體的工作流功能可以用來處理邏輯復雜,且有較高穩定性要求開放平臺智能體務流。例如只需要通過提示詞模板設置、選擇不同的大模型,輸入不同的語言音色,就可以搭建一個熟悉多國語言的助教,并能直接下發到螢石屏類設備上,一鍵開啟多語言翻譯。
3.?標準且支持擴展的能力集
開放平臺智能體集成了豐富的插件工具,極大地拓展智能體的開放平臺智能體邊界。例如使用智能家居插件,打造一個可以控制家庭燈、窗簾等設備開關的AI助理。
四、 IoT + Agent 應用場景
1. 在線教育
在線教育場景中,實時互動和反饋是提升學習效果的關鍵。依托 AI 實時對話 + 智能體,開發者可以創建虛擬教學助手并遠程與學生完成實時遠程助教。
課外,虛擬教學助手可以根據不同學生的進度和需求,提供個性化的輔導建議和學習資源,并針對學生的作業、提問提供響應式反饋,以更自然親和的方式陪伴學生。相比大段的文字解析,對話式的講解可以更有效地引導學生,便于學生理解。
2. 監控中心
在監控中心,通過搭建智能體應用:比如查詢xx車牌過往足跡,xx天內車輛數量等,就能與AI智能體實現快速的監控數據查詢,不用輸入任何文字,就能獲取對應監控歷史數據。效果更佳。
3.?醫療輔助
依托 AI 硬件+AI智能體,在導診、問診等場景中,患者可以通過語音咨詢提問,獲取實時且個性化的建議,提升導診溫度,并且在社區醫院等場景里,可以提高患者的親和度。
4. AI陪伴
火熱的AI玩具,螢石已經開放了Linux SDK,可以在自己的音頻模組中快速集成。集成后可實現陪小孩英語對話、咨詢問題等各類場景支撐。螢石同時也在對外開放模組+RTC的方案,歡迎硬件廠家咨詢合作。