一、什么是螢石AI對話智能體？

如何讓設備聽得到、聽得懂？這次螢石發布的AI對話Agent，讓設備能進行自然、流暢、真人感的AI對話智能體，幫助開發者打造符合業務場景的AI對話智能體能力，實現全雙工、實時打斷、可擴展、對話效果自然的設備互動。

1. 音視頻高效采集與智能處理技術

AI對話智能體，通過設備大量海康/螢石設備自帶的螢石自研ERTC實現音視頻數據的高效采集、自定義處理和超低時延傳輸，并結合海康研究院的3A硬件音頻處理技術，設備端集成3A降噪、回聲消除、音頻增強等能力。

2.?云端智能音視頻處理與語音交互技術

在云端，提供了智能音視頻處理模塊，包括云端AI打斷、智能降噪等能力。并在云端深度整合語音識別（ASR）、語音合成（TTS）、多廠家大模型（deepseek/通義千問等），簡化語音到文本及文本到語音的轉換過程，提供強大的智能對話、自然語言處理和語音交互能力，端到端延遲降低到2秒以內，并提供AI VAD模塊，實時打斷。

3.?企業向量知識庫與硬件AI智能體構建

提供企業向量知識庫（RAG），幫助開發者快速搭建屬于企業自己的硬件AI智能體，應用到各行各業場景中。

IoT+智能體

讓海康/螢石/三方硬件聰明起來：基于S10開放的英語助教、基于RK3開放的智能養老管家、基于SP4開放的智能公寓助手，都是典型的IoT+智能體應用，同時螢石開放平臺還提供了SDK開放，開發者集成的很多AI玩具都可以直接實現AI玩具+智能體的應用。

二、螢石AI對話智能本次發布功能一覽

功能一：設備集成聰明的智能體

通過支持語音對話的設備，比如S10、RK3、C6C ultra等設備，開發者可以在控制臺創建智能體后，下發給設備，用戶即可喚醒智能體并進行對話。

如圖，通過將繪本故事、開放平臺智能客服、多語言翻譯等智能體下發給設備，用戶就可以在家里使用智能體，與對應的智能體進行通話。

功能二：控制臺提供Agent管理

那么，如何創建這些智能體呢？

進入開放平臺控制臺，即可看到已經創建的智能體，點擊新建，選擇大模型、提示詞、選擇技能。

輸入對應選項后，即可體驗。

調試后，即可發布。發布后，即可關聯設備。即可在設備端進行對話。

功能三：自定義企業知識庫

注：目前只有灰度，請聯系小助手開放

三、為什么選擇開放平臺AI對話智能體？

1.?持續更新的硬件資源

任何接入螢石云的RTC設備，都可以一鍵開啟智能體應用。同時，開放平臺還提供各類LinuxSDK，搭配音頻對話模組，可以讓你的硬件變的更聰明

2.?靈活的流程設計

開放平臺智能體的工作流功能可以用來處理邏輯復雜，且有較高穩定性要求開放平臺智能體務流。例如只需要通過提示詞模板設置、選擇不同的大模型，輸入不同的語言音色，就可以搭建一個熟悉多國語言的助教，并能直接下發到螢石屏類設備上，一鍵開啟多語言翻譯。

3.?標準且支持擴展的能力集

開放平臺智能體集成了豐富的插件工具，極大地拓展智能體的開放平臺智能體邊界。例如使用智能家居插件，打造一個可以控制家庭燈、窗簾等設備開關的AI助理。

四、 IoT + Agent 應用場景

1. 在線教育

在線教育場景中，實時互動和反饋是提升學習效果的關鍵。依托 AI 實時對話 + 智能體，開發者可以創建虛擬教學助手并遠程與學生完成實時遠程助教。

課外，虛擬教學助手可以根據不同學生的進度和需求，提供個性化的輔導建議和學習資源，并針對學生的作業、提問提供響應式反饋，以更自然親和的方式陪伴學生。相比大段的文字解析，對話式的講解可以更有效地引導學生，便于學生理解。

2. 監控中心

在監控中心，通過搭建智能體應用：比如查詢xx車牌過往足跡，xx天內車輛數量等，就能與AI智能體實現快速的監控數據查詢，不用輸入任何文字，就能獲取對應監控歷史數據。效果更佳。

3.?醫療輔助

依托 AI 硬件+AI智能體，在導診、問診等場景中，患者可以通過語音咨詢提問，獲取實時且個性化的建議，提升導診溫度，并且在社區醫院等場景里，可以提高患者的親和度。

4. AI陪伴

火熱的AI玩具，螢石已經開放了Linux SDK，可以在自己的音頻模組中快速集成。集成后可實現陪小孩英語對話、咨詢問題等各類場景支撐。螢石同時也在對外開放模組+RTC的方案，歡迎硬件廠家咨詢合作。