Mnn3dAvatar 3D數字人框架是基于阿里巴巴開源的輕量級深度學習推理框架MNN（Mobile Neural Network）開發的全新3D數字人框架。Aibot親測這是一個可以在本地運行、完全離線、支持多模態實時交互的智能數字人App。可以在本地私有部署。感興趣的同學可以拿來玩玩。

與傳統的Live2D技術不同，Mnn3dAvatar專注于3D虛擬角色的實時面部捕捉與動畫映射，能夠將用戶面部表情實時同步到3D虛擬角色上，呈現出更加立體、逼真的效果。即便沒有復雜的建模經驗，開發者也可以快速制作出精美的3D數字人。

Mnn3dAvatar 3D數字人的發布不僅是阿里開源生態的一次重要擴展，也標志著3D數字人技術邁向更加普惠和多樣化的新階段。未來，隨著更多開發者加入這一生態，3D數字人將在更多領域展現其無限潛力。

特色功能一覽

• 本地聊天機器人：基于本地運行的LLM，實時與數字人暢聊

• 語音識別更智能：內置ASR模型，即說即轉文字

• 隨心所欲合成語音：TTS模型，讓你的數字人發聲自然真實

• 聲音驅動表情動作：A2BS技術，通過聲音自動生成數字人豐富的面部表情和動作

• 實時神經渲染：讓數字人表情細膩逼真，互動感更強

• 100%離線運行：完全本地運行，守護隱私更放心

?

應用場景

帶貨直播：主播可在3D虛擬角色的狀態下直播，增加趣味性與互動性，降低真人出鏡率，適用于電商平臺打造差異化內容。

虛擬展示與娛樂：可實現虛擬偶像、游戲角色動畫、虛擬會議場景下的沉浸式視覺體驗。

教育培訓：教育機構可以通過它創建虛擬講師，提升在線授課的互動性和吸引力。

?

技術亮點?

實時面捕：深度學習可以精準捕獲用戶表情，并快速映射到3D角色上，適用于直播、虛擬會議等場景。

輕量化部署：在MNN框架的優化驅動下，Mnn3dAvatar不需要高端硬件即可在眾多設備之間高效演算，大大降低了開發門檻。

多模態支持：除了面部捕捉，還支持文本生成、圖像生成等任務，為開發者帶來靈活的接口。

開源生態：作為阿里開源生態的一部分，包含豐富的API及工具，可以無縫嵌入安卓、iOS等平臺應用。

硬件要求

由于需要將多個模型同時運行在手機上，需要性能高的芯片和內存足夠大：

• 旗艦芯片級性能：高通驍龍8 Gen 3或聯發科天璣9200以上級別

• 內存至少8GB

• 手機存儲需至少5GB空間用于存放模型文件

• ARM64架構

?? 性能不足的設備可能會遇到卡頓、聲音斷續或功能受限哦。

開源地址：

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md