上期為大家分享了H20性能表現之Qwen3-Coder-480B(以下稱480B),今天,我為大家繼續帶來新的評測,這次,介紹的是?Qwen3-235B-A22B-Instruct-2507(以下稱235B),這也是阿里這陣子發布的桿把子模型了,其 benchmark 表現超過了 DeepSeek 及 Kimi K2。
顧名思義,235B總參數達到235B,同樣,只能在H20或A100這樣的機器上才能運行。來看看其在H20上的性能表現吧。
首先來看看普通問答能力,輸入128,輸出2K的表現,如下圖。
雖然235B的激活集也達到22B的規模,但其吞吐率還是不錯的。
單用戶達到82 token/s,雖然不及480B?92 token/s?的水平,但也比DeepSeek V3的31 token/s有164%的漲幅。
即使到128并發用戶,也能達到32 token/s,遠超480B的?21 token/s。
我們再來看長輸入的表現(輸入4K,輸出512),適合于知識庫或多次提問的場景。如下圖所示。
其吞吐率有明顯的下降,單用戶約77 token/s。隨著并發用戶的增加,其首字時延性能下降明顯。當并發用戶達到50時,首字時延也來到了10秒,不過,吞吐率仍然有27 token/s,相比480B的12秒及21 token/s也是好些的,并且遠超 DeepSeek V3 的?11 token/s。
總體而言,235B在H20表現還是不錯的,特別是在多用戶并發訪問方面來說,即使是壓力最大的知識庫應用或智能體應用,能達到50個并發用戶的同時,保持較好的用戶體驗,應該說性價比遠超 DeepSeek V3 了。