隨著AI時代來臨.通話設備的環境噪音抑制也進入AI降噪算法時代.? AI神經網絡降噪技術是一款革命性的語音處理技術,他突破了傳統單麥克風和雙麥克風降噪的局限性,利用采集的各種日常環境中的噪音樣本進行訓練學習.讓降噪算法具有自適應噪聲抑制功能,可以根據實際情況自動調整噪聲抑制等級.
??? 降噪芯片內置AI降噪引擎,采集數十萬種日常生活環境噪音樣本.比如極端天氣的狂風和暴雨環境,海面的海浪和大小河流的流水,繁忙交通場景的汽車喇叭各種噪音,酒吧聚會場所的喧囂人聲.還有各種野外動物的叫聲,還有像室內環境中的像嬰兒的哭聲,敲擊桌子,凳子突然倒地,玻璃杯打碎,裝修時的砸墻,鉆地等類似的突然發生的噪音.可以有效減少外界噪聲的干擾,可以更好地捕捉人們的聲音,從而讓語音質量更加優質。
AI降噪芯片架構
1.2 硬件功能
內置的Tensilica DSP具有可編程MIPS(高達300 MIPS)
可編程LDO,汽車用1.0V(0.95~1.05V),可穿戴設備用0.8V(0.75~0.85V)
PLL(1MHZ~300MHz),用于MIPS
配備512KB ROM,使Fortemedia的VIPTower基礎得以實現:VOS、AIE和same
320KBIRAM(指令RAM):896KB DRAM(數據RAM)
內置人工智能引擎,擁有32組16/32 MAC并行計算
多套音頻接口包括多達8個通道的PDM輸入,3套TDM,I2S和雙通道PDM輸出。
1.3軟件功能
VOS(語音操作系統)以方便應用程序進入NR2049
內置 HAL庫的語音流基礎設施,以實現應用程序的可移植性多個NR2049、智能麥克風和VID之間的芯片間通信能力可編程語音檢測和語音觸發
全面的語音處理,涵蓋波束形成、噪聲抑制和回聲消除。
ITU-TP.1100/P.1110/P.1120/P.1140/P.1150(雙向)標準合規性
1.4 高級功能
VOS
VOS是一個實時固件框架,它允許輕松配置數據路徑管理,促進內部和第三方處理算法的集成。
人工智能引擎
AIE在NR2049上支持高達32個8位x8位的MAC(MAC代表乘積累加器),適用于當今高速深度神經網絡(DNN)應用。AIE還提供專有的智能深度壓縮,以節省DNN權重表中的內存空間,在有限功耗下達到高效的高計算要求。使用AI引擎的SSA將提高區分語音和噪聲的準確性,尤其是在VR性能方面。
1.5 典型應用
智能話筒系統。
汽車語音輸入處理
汽車內置免提系統、藍牙免提和AVN便攜式導航設備(PND)、平板電腦和其他移動設備的手持免提語音通信系統高質量免提語音通信和識別的經濟高效解決方案。
2.特點
2.1 Tensilica Fusion DSP
帶有浮點運算單元約32位DSP
高達300MIPS的時鐘速率
總計IM字節 I/DRAM,最小配置尺寸為64KB
負載代碼接口:從屬SPI
用于調試的JTAG接口(與從/主SPI端口共享引腳)。
3.引腳配置(TQFP-48)