產品經理的大語言模型課 04 -模型應用的云、邊、端模式對比

算力部署方式的影響因素

最近和人工智能從業者進行了非常廣泛的溝通，嘗試對模型應用的云、邊、端模式進行對比。

2015 年前后語音和圖片相關的人工智能應用逐漸興起，目前在不少通用場景下，都已經有了比較成熟的 AI 應用服務，例如人臉比對、車牌識別等。

而人工智能的落地離不開“計算能力”，或者說算力。考慮到業務場景下各種因素的影響，算力部署的位置選擇就有所不同。

數據量

在很多應用場景中，尤其是與物聯網終端設備相關的場景下，設備采集的數據非常龐大，如果將所有原始數據上傳云端再進行處理，帶寬費用可能遠超計算成本。
以 200 萬像素攝像機為例，即便采用最新的 H.265 編碼，一臺攝像機一天的錄像空間也要 20G 以上。如果所有視頻都進行實時上傳，占用的帶寬就是 2Mb/s，公有云一年的帶寬費用就超過 1000 元。

這時，我們通常會考慮在邊緣側，也就是在設備上，或者局域網內，完成數據的初步篩選和處理，減少上傳云端的數據量。

計算難度

當面臨復雜的計算任務，如人工智能訓練、科學模擬或密碼學運算時，需要強大的算力支持。這導致對高性能硬件的需求增加，如GPU、TPU或高性能CPU集群。
舉個例子，如果你希望部署 DeepSeek R1 滿血版，根據某些供應商提供的部署方案，需要兩張 H20 的顯卡，整體部署費用達到 300 萬以上。
絕大多數的項目都沒有這么充足的預算。

但是有一些簡單的任務，例如圖像識別中的目標標定、文字識別、基本人臉比對等，算法成熟，算力要求也不高，這些任務可能只需要 2T，甚至是 0.5T 的算力。
市面上能夠提供這種能力的芯片供應商則非常多，我們可以選用一些性價比更高的設備。而這些設備放在專業的機房里，占用帶寬資源的同時，又無法提供足夠的計算價值，通常難以為公有云提供商帶來豐厚的利潤，所以他們也無意做這樣的事情。
所以我們可以把這些低算力的設備，部署在邊緣側。

前期投入

正如許多餐飲店由于不知道后續經營效果如何，所以在開店早期，對大部分貴重的設備采用租賃的方式。
當提到通過人工智能降本增效時，絕大多數企業主對服務的效果是不明確的，他們自然希望能夠小成本驗證效果。所以租賃模式就是他們的首選。
而邊緣設備，尤其是存在綁定關系的邊緣設備，其租賃、回收的難度均較大，這類的供應商往往不存在；而云端租賃正是公有云的成熟商業模式，相對容易實現。

數據隱私

在處理醫療、監管、金融等敏感數據時，算力部署必須符合嚴格的安全標準和法規要求。很多項目要求數據不能上傳公網。
同樣因為數據隱私的問題，模型訓練的數據往往不是公開的，這也意味著市面上難有公開訓練的模型，如果客戶自己有充足的數據，自己進行模型的訓練和部署。
那么在這些時候，邊緣化部署就是唯一的選擇。

應用規模與泛化能力

2015 年開始，圖像類的人工智能算法就已經開始發展和商業化嘗試，但十年過去了，我們看到的通用的圖像類人工智能算法并沒有很多。
其中一個重要原因正是標注數據的缺失，導致算法訓練的效果一般，檢出率及檢準率不足，導致難以商用。換言之，除非場景足夠通用、數據量足夠大，都難以訓練出一個有效的算法模型。

由于使用人群較小，需求并發少，云端租賃的商業邏輯不成立，云服務商不愿意提供此類服務。實際上找 ISV 協助開發難度也較大。
同時訓練數據量小，模型泛化能力不足，一種可行的思路是針對特定的場景，進行模型微調訓練，并進行針對性部署，每個場景下的模型都是進行過訓練的。

因此針對使用人群較小、數據量不足的場景，邊緣化部署就變成了更合理的選擇。

云、邊、端部署的特點和對比

人工智能算法落地的算力部署，往往有云、邊、端三種方式：

云端：將計算資源（如CPU、GPU、存儲、網絡等）集中部署在遠程的數據中心，通過互聯網向用戶提供計算服務
邊緣：計算資源部署在靠近數據源或用戶終端的邊緣節點上，這些邊緣節點可以是小型數據中心、基站、路由器、網關等設備，和終端設備在同一個局域網內
終端：計算資源部署在用戶終端設備上，如智能手機、平板電腦、智能攝像頭、物聯網設備等

特性	云端	邊緣	終端
算力	強大，無限制	中等，4T-200T，通常只支持 INT8	較弱，通常小于 4T，通常只支持 INT8，設置 INT4
資源部署	靈活，支持租賃	靈活	固定
模型定制	缺乏	支持	支持
算力浪費	較少	較少	潛在較多
并發處理	難處理	好處理	無并發問題
網絡費用	高	低	無網絡費用
數據隱私	有風險	安全	安全

典型場景舉例

社區人臉門禁

社區人臉門禁場景是一個典型的智能安防應用，它利用人臉識別技術，實現對社區出入口的智能化管理。可以實現以下功能：

業主刷臉直接進出小區、單元門
訪客在線填寫信息，錄入人臉，
記錄家政、快遞、外賣等人員的出入情況，并進行有效管理

同時我們需要兼顧：

小區業主人臉數據屬于個人隱私數據，在采集、存儲、使用上，需要注意
社區里通常有個機房，機房里已經部署了服務器，作為小區監控、社區服務的載體
如果寬帶供應商除了問題，不應該影響小區業主的使用

為了實現這些功能：

首先需要采集人臉數據，并形成人臉庫
在小區大門、單元門等地，安裝人臉采集設備（門禁等），可以識別人臉
人臉采集后，我們需要通過算法進行人臉比對

因此比較合理的方案架構，可能就是：

云端：負責圖片的初步采集，支持業主、訪客等人員上傳人臉，并下發到社區邊緣計算設備，但不做圖片存儲
邊緣：
- 對人臉圖片進行編碼，形成特征值，并進行存儲，形成人臉庫
- 對于終端能力較弱的，可以由邊緣進行人臉比對
- 對人臉識別記錄進行存儲和匯總、分析
終端：
- 進行基本的人臉識別、人臉采集
- 較強的終端可以直接進行人臉比對，并上報識別結果給社區服務器（邊緣）

后廚老鼠識別

后廚是食品加工的關鍵場所，一旦出現鼠患，將極大地增加食品污染的風險。目前食品安全作為政府監管的重要方向，監管需求逐漸提升。
另一方面識別老鼠的行動軌跡，能夠幫助企業規范后廚管理，提升連鎖店運營能力，保護企業形象。

實現上，就是希望在后廚安裝攝像機，或利用原有的攝像機，完成監控畫面采集，并對畫面中有老鼠的畫面和視頻進行識別分析。實現后廚老鼠識別的難點在于：

由于涉及企業形象，公開的后廚老鼠數據往往是缺失的，因此目前老鼠識別算法并不成熟
老鼠目標較小，且形態較多，皮鞋、帽子、桌腿等都可能被識別為老鼠，檢出和檢準率難以同時保障
很多連鎖店無法為終端設備提供免費的網絡環境，需要借助物聯網卡，因此流量費較高

同時我們要綜合考慮終端設備和邊緣計算設備的成本及能力情況：

目前市面上具有老鼠識別功能的攝像機較少，且價格相對較高，而支持定制的能力較弱
具有邊緣計算能力的 AI 盒子供應商較多，產品價格相對較優，且內置 Linux 的系統，可以進行服務定制
以 4T 算力的邊緣盒子為例，可以對 4 路攝像機進行單個算法的視頻分析

所以目前比較合理的方案架構是：

終端（通常是 2-4 路攝像機）：
- 進行初步的篩查，例如移動偵測等
邊緣
- 作為視頻存儲介質
- 對鼠患高發時段（夜間）的視頻進行初步篩查，重在檢出而非檢準
- 將老鼠識別結果上報到云端
- 其他必要的本地管理能力
云端
- 作為連鎖經營統一管理平臺
- 對老鼠檢出結果進行進一步篩查，重在檢準
- 生成老鼠活動軌跡、老鼠識別報告等

這里做一些額外的延伸。后廚還有一些其他的人工智能應用，例如垃圾桶是否敞開、是否戴口罩、是否戴帽子、是否有抽煙等，都可以通過邊緣計算盒子來完成。
剛剛有提到 4T 算力的邊緣盒子可以對 4 路攝像機進行單個算法的視頻分析。那個如果涉及到多個算法，又不想更換算力更強（更昂貴）的設備該怎么辦？常見的做法有幾種：