H20 性能表現之 Qwen3-235B

上期為大家分享了H20性能表現之Qwen3-Coder-480B(以下稱480B),今天,我為大家繼續帶來新的評測,這次,介紹的是?Qwen3-235B-A22B-Instruct-2507(以下稱235B),這也是阿里這陣子發布的桿把子模型了,其 benchmark 表現超過了 DeepSeek 及 Kimi K2。

顧名思義,235B總參數達到235B,同樣,只能在H20或A100這樣的機器上才能運行。來看看其在H20上的性能表現吧。

首先來看看普通問答能力,輸入128,輸出2K的表現,如下圖。

雖然235B的激活集也達到22B的規模,但其吞吐率還是不錯的。

單用戶達到82 token/s,雖然不及480B?92 token/s?的水平,但也比DeepSeek V3的31 token/s164%的漲幅。

即使到128并發用戶,也能達到32 token/s,遠超480B的?21 token/s

我們再來看長輸入的表現(輸入4K,輸出512),適合于知識庫或多次提問的場景。如下圖所示。

其吞吐率有明顯的下降,單用戶約77 token/s。隨著并發用戶的增加,其首字時延性能下降明顯。當并發用戶達到50時,首字時延也來到了10秒,不過,吞吐率仍然有27 token/s,相比480B的12秒及21 token/s也是好些的,并且遠超 DeepSeek V3 的?11 token/s

總體而言,235B在H20表現還是不錯的,特別是在多用戶并發訪問方面來說,即使是壓力最大的知識庫應用或智能體應用,能達到50個并發用戶的同時,保持較好的用戶體驗,應該說性價比遠超 DeepSeek V3 了。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/920251.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/920251.shtml
英文地址,請注明出處:http://en.pswp.cn/news/920251.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Diagnosing bias and variance|診斷偏差和方差

----------------------------------------------------------------------------------------------- 這是我在我的網站中截取的文章,有更多的文章歡迎來訪問我自己的博客網站rn.berlinlian.cn,這里還有很多有關計算機的知識,歡迎進行留言或…

前端性能優化:從指標監控到全鏈路落地(2024最新實戰指南)

前端性能優化:從指標監控到全鏈路落地(2024最新實戰指南) 引言:性能不是“可選項”,而是“生存線” 在前端開發中,“性能優化”常被視為“錦上添花”的工作——但數據告訴我們,它早已成為決定…

Kafka面試精講 Day 1:Kafka核心概念與分布式架構

【Kafka面試精講 Day 1】Kafka核心概念與分布式架構 在“Kafka面試精講”系列的第1天,我們將深入解析Apache Kafka最根本的基石——核心概念與分布式架構。作為大數據和后端開發領域面試中的“必考題”,諸如“Kafka是如何實現高吞吐量的?”、…

github copilot學生認證教程,免費使用兩年Copilot Pro!!(避免踩坑版)

先放結果,本人是先后申請了三次: 1、第一次直接用的學生證,打開對著電腦攝像頭直接拍了一張,失敗了,如下,理由是沒有開啟雙重認證!!,并且學生證內頁沒有學校名稱&#x…

Shiro介紹以及一個原始例子

目錄基本功能核心組件應用場景優勢Shiro 核心工作流程(以 Web 應用登錄為例)一個例子【驗證,授權]:Shiro 是一個強大且易用的 Java 安全框架,提供了 身份驗證、授權、加密和會話管理等功能,可幫助開發人員輕松確保應用…

AI-調查研究-59-機器人 行業職業地圖:發展路徑、技能要求與薪資全解讀

點一下關注吧!!!非常感謝!!持續更新!!! 🚀 AI篇持續更新中!(長期更新) AI煉丹日志-31- 千呼萬喚始出來 GPT-5 發布!“快的…

LeetCode算法日記 - Day 22: 提莫攻擊、Z字形變換

目錄 1. 提莫攻擊 1.1 題目解析 1.2 解法 1.3 代碼實現 2. Z字形變換 2.1 題目解析 2.2 解法 2.3 代碼實現 1. 提莫攻擊 495. 提莫攻擊 - 力扣(LeetCode) 在《英雄聯盟》的世界中,有一個叫 “提莫” 的英雄。他的攻擊可以讓敵方英…

Unity筆記(七)——四元數、延遲函數、協同程序

寫在前面:寫本系列(自用)的目的是回顧已經學過的知識、記錄新學習的知識或是記錄心得理解,方便自己以后快速復習,減少遺忘。主要是C#代碼部分。六、四元數歐拉角具有旋轉約定,也就是說,無論你調整角度的順序是什么&…

用大語言模型提升語音翻譯:一種全新的端到端方法

用大語言模型提升語音翻譯:一種全新的端到端方法 在語音翻譯領域,如何將說話內容快速準確地轉化為另一種語言,一直是研究者們關注的焦點。隨著大語言模型(LLM)的興起,我們迎來了一個全新的機遇:利用LLM的強大能力,來提升語音翻譯系統的性能。最近,一項名為“End-to-E…

freeModbus TCP收發數據一段時間后,出現掉線情況(time out問題)

話說這個是真難找啊。我僅僅發表我找到的問題。我在接收幾十到幾百次數據的時候,會出現連接超時,也就是time out。而且ping也ping不通。也就是說明lwip出了問題。首先我先介紹modbus的這個流程。首先是函數eMBTCPInit( MB_TCP_PORT_USE_DEFAULT )我們進入…

Linux Web環境一鍵安裝腳本集合(非docker)

?重磅!盹貓的個人小站正式上線啦~誠邀各位技術大佬前來探秘!? —— 專為開發者打造的寶藏基地,等你來探索! 這里有: 🔥 硬核技術干貨:編程技巧、開發經驗、踩坑指南,帶…

原生安卓#基于Android的愛好者分享論壇的設計與實現/基于Android在線論壇系統app/基于Android的論壇系統的設計與實現的設計與實現

原生安卓#基于Android的愛好者分享論壇的設計與實現/基于Android在線論壇系統app/基于Android的論壇系統的設計與實現的設計與實現

基于Android的超市購物系統的設計與實現、基于android的在線商城app/基于android的在線銷售系統app#android

基于Android的超市購物系統的設計與實現、基于android的在線商城app/基于android的在線銷售系統app#android

C++14 到 C++20 全面解析:語言新特性、標準庫演進與實戰案例

一、前言C 作為一門歷史悠久且不斷演進的編程語言,在 C11 之后進入了“現代化”的快車道。C11 被稱為 C 的第二次誕生,引入了 lambda 表達式、智能指針、右值引用、并發支持等革命性特性。然而,C 的標準化進程并沒有止步于此。C14、C17 和 C2…

HarvardX TinyML小筆記2(番外1:TFLite)

1 原理 tflite就是Tensorflow的輕量化模型,核心處理就是量化和剪枝。不過這部分目前是在Tensorflow中封裝了,所以這里也不會去看細節,主要就是看看原理和使用方法。 量化Quantization,其實就是把原來的float32換成int8。這樣一個…

向量庫Qdrant vs Milvus 系統詳細對比

Qdrant vs Milvus 系統詳細對比 一、它們是什么(定位) 兩者都是專門做向量相似搜索的數據庫:支持ANN(近似最近鄰)檢索、向量結構化過濾、REST/gRPC 接口與官方SDK;Milvus 官方也定位為"面向GenAI、可…

適配歐拉操作系統

背景 客戶指定服務器環境歐拉操作系統,版本:6.6.0-72.0.0.76.oe2403sp1.x86_64 需要把Java 應用以及各種中間件部署在歐拉操作系統上。 問題適配MySQL 1.1 編譯報錯 mysql-5.7.40-el7-x86_64.tar.gz版本在CentOS7環境安裝正常 當前歐拉環境直接使用CentO…

學習spring Bean的生命周期

完整項目結構 ├── pom.xml └── src/├── main/│ ├── java/│ │ └── com/│ │ └── zhang/│ │ ├── bean/│ │ │ ├── Address.java│ │ │ ├── MyBeanPostProcessor.java│ │ …

elasticsearch 7.17.23 使用spring data es實現高亮分頁,scroll查詢分頁查詢

一 介紹 1.1 工程結構 1.2 啟動elasticsearch服務 1.3 高亮分頁 DeepSeek 代碼 效果: 1.4 scroll分頁 代碼 2.效果 后臺日志 1.5 完整代碼 https://gitee.com/jurf-liu/es-2.17.x-demo.git

onlyoffice整合springboot+vue實現文檔在線編輯保存

項目上需要用到在線word、excel文檔編輯功能,通過游覽器在線打開一個遠程的word文檔編輯保存,這里記錄下整合思路。 onlyoffice簡介 ONLYOFFICE 是一款開源的辦公套件,提供了一系列在線文檔編輯和協作工具,適用于團隊和個人使用…