零售行業正在探索應用 AI 升級客戶體驗，同時優化內部流程。面對多重應用場景以及成本優化壓力，團隊可采用成本相對可控的方案，來應對多重場景的前期項目預演和落地，避免短期內大規模投入造成的資源浪費。

客戶體驗 AI 場景的研究目前集中在?AI 客服，內部流程主要是?AI 營銷、合同生成、合規審查和供應鏈優化等。在項目研究和前期預演階段，采用?NVIDIA RTX? 系列的高性能GPU，進行本地化部署大模型，已經可以經濟又高效地應對多數的 AI 場景開發。

1、AI 客服場景與適配算力

很多零售企業在轉型中開始基于 DeepSeek 搭建客服，客服場景以對話交互為主，輸入與輸出較短，對并發、首字延遲有一定需求。接下來列舉幾個常用模型場景，以及我們所測試的算力方案數據。

• 選擇模型?DeepSeek-R1 32B（FP16），采用4卡?NVIDIA RTX? 5000 Ada（單卡32GB顯存）的方案，可以支持約64個用戶同時進行簡單問答，來保障首字時延控制大約在1秒以內；采用?8卡?NVIDIA RTX??5000 Ada 則可以支持至120多個并發，首字時延保持在2秒以內。

*測試數據來源：贊奇科技

*本表所列成本預估具有動態調整特性，如想及時了解最新價格可聯系文末小助手。

• 選擇模型?DeepSeek-R1 70B（FP16），采用?8卡?NVIDIA RTX? 5880 Ada（單卡48GB顯存）?的平臺方案，能夠應對80多個并發，首字時延控制在3秒以內。

*測試數據來源：贊奇科技

*本表所列成本預估具有動態調整特性，如想及時了解最新價格可聯系文末小助手。

• 通義千問 QWQ 32B?模型因其回答問題邏輯性強，逐漸被用戶所認可，性能直逼 DeepSeek 滿血版，采用4卡NVIDIA RTX? 5000 Ada?（單卡32GB顯存）時，并發數在100以內時，平均用戶吞吐率可以達到?14 tokens/s。

*測試數據來源：贊奇科技

*本表所列成本預估具有動態調整特性，如想及時了解最新價格可聯系文末小助手。

*數據測試環境：

4卡測試環境：CPU：Intel(R)Xeon(R) w5-3433，內存：256GB DDR5，硬盤：1TB。

8卡測試環境：CPU：英特爾? 至強? Silver 4314，內存：256GB DDR4，硬盤：3.84TB。

2、AI 營銷場景與適配算力

依托 DeepSeek 模型逐步開發企業自有的智能營銷工作流，可以極大地降本增效。該場景則以知識庫場景為主，需要流暢地對海量文檔、數據庫信息進行檢索和輸出內容，長輸入長輸出場景居多，對于并發、時延、吞吐率都有一定要求。

對于小型團隊來說，采用4卡?NVIDIA RTX 5000 Ada 的機型方案，可以應對基本的擴散模型訓練、文生圖、文生視頻等生成式 AI 設計需求，也能應對 AI 營銷文案制作、數據分析處理等應用，可預期達到的性能效果如下：

• 采用?DeepSeek-R1 32B（FP16）模型，長輸入、長輸出的場景中，能夠支持64個并發，保證流暢地信息檢索和輸出；
• 采用通義千問 QWQ 32B （FP16）模型，長輸入長輸出的場景里，能夠較好地支持到80個并發。

*測試數據來源：贊奇科技

*本表所列成本預估具有動態調整特性，如想及時了解最新價格可聯系文末小助手。

對于大型項目或團隊來說，搭載?8卡 NVIDIA RTX 5880 Ada?并行計算，預期的性能效果如下：

• 采用?DeepSeek-R1 32B（FP16）模型，長輸入、長輸出的場景中，能夠很好地支持80個并發；
• 采用?DeepSeek-R1 70B（FP16）模型，長輸入、長輸出的場景中，可以較好地支持16個并發。

*測試數據來源：贊奇科技

*測試環境同上

*本表所列成本預估具有動態調整特性，如想及時了解最新價格可聯系文末小助手。

生成式?AI?設計項目中，ComfyUI?工作流可以較好地幫助企業快速地制作產品營銷圖/視頻，更快地迭代營銷方案。所涉及的模型如?SDXL，Flux?等，在高 batch size 情形下的訓練和推理，GPU 顯存建議在24GB以上。我們測試了一些 batch size 模型訓練和推理的場景數據，供大家在 GPU 選型時做參考：

*以上數據使用電商數據集進行測試，數據來源于贊奇科技

*數據測試環境：

GPU: NVIDIA RTX 5000 Ada (32GB) *1 / NVIDIA RTX 5880 Ada (48GB) *1

CPU: Intel i5-12600KF (3.7GHz) *1，

內存：64GB，系統：win 11

在生成式 AI+三維可視化結合開發產品配置器、線上導購、數字人導購員等數字孿生場景中，NVIDIA RTX GPU 既可以進行 AI 訓練推理，又因為其具有?RT core，也可以用于支持圖形可視化場景，這是其獨到的優勢。這類數字孿生的營銷場景，需要由?NVIDIA RTX 5000 Ada 或 NVIDIA RTX 5880 Ada?來做助力，才能運行得起較為復雜的模型和高并發的場景。

3、其他 AI 應用場景

其他 AI 應用場景例如合同生成、合規審查、供應鏈優化、用戶行為分析等，需要實時處理大量數據，進行復雜的模型推理與分析，可采取四卡乃至八卡 NVIDIA RTX 5880 Ada?的方案，憑借高顯存與超強的并行計算能力來執行較為復雜的 AI 任務。例如合同生成，同樣也是大語言模型推理中，主要涉及長輸入、長輸出的場景，數據可參考上方 AI 營銷場景的數據。

供應鏈優化、用戶行為分析等場景，需具體依據用戶的數據庫、系統等信息來做判斷，贊奇目前開放免費為用戶咨詢評估，具體可復制下方鏈接登記。?

??rlzqlo1asm.feishu.cn/share/base/form/shrcnCbOVoltOXPQjFxveqrrIQbhttps://link.zhihu.com/?target=https%3A//rlzqlo1asm.feishu.cn/share/base/form/shrcnCbOVoltOXPQjFxveqrrIQb

以上數據均為測試得出，為用戶高效地選型提供參考。但涉及到用戶的多重場景和特殊需求，建議大家提前做機器測試，以調整至最優方案。下面列出上方提到的兩個型號顯卡的具體參數。

這兩個型號均為 NVIDIA RTX Ada Lovelace 架構的頂配顯卡，AI 能力與圖形性能都遠遠超過了上一代安培架構“卡皇”——NVIDIA RTX? A6000。

NVIDIA RTX 系列高性能顯卡參數概覽

*與NVIDIA產品相關的圖片或視頻（完整或部分）的版權均歸NVIDIA Corporation所有。