阿里云通義千問720億參數模型開源,適配企業級、科研級高性能應用

12月1日,阿里云舉辦通義千問發布會,開源通義千問720億參數模型Qwen-72B。Qwen-72B在10個權威基準測評創下開源模型最優成績,成為業界最強開源大模型,性能超越開源標桿Llama 2-70B和大部分商用閉源模型。未來,企業級、科研級的高性能應用,也有了開源大模型這一選項。

通義千問還開源了18億參數模型Qwen-1.8B和音頻大模型Qwen-Audio。至此,通義千問共開源18億、70億、140億、720億參數的4款大語言模型,以及視覺理解、音頻理解兩款多模態大模型,實現“全尺寸、全模態”開源。力度之大,業界無出其右。

業界最強開源模型,填補中國LLM開源領域空白

Qwen-72B基于3T tokens高質量數據訓練,延續通義千問預訓練模型一貫以來的強勢表現,在10個權威基準測評中奪得開源模型最優成績,在部分測評中超越閉源的GPT-3.5和GPT-4。

英語任務上,Qwen-72B在MMLU基準測試取得開源模型最高分;中文任務上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準,得分超越GPT-4;數學推理方面,Qwen-72B在GSM8K、MATH測評中斷層式領先其他開源模型;代碼理解方面,Qwen-72B在HumanEval、MBPP等測評中的表現大幅提升,代碼能力有了質的飛躍。

在10大權威測評中,通義千問720億參數模型獲得開源模型最優成績

通義千問720億開源模型部分成績超越閉源的GPT-3.5和GPT-4

Qwen-72B可以處理最多32k的長文本輸入,在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發團隊優化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游應用集成。比如,Qwen-72B搭載了強大的系統指令(System Prompt)能力,用戶只用一句提示詞就可定制AI助手,要求大模型扮演某個角色或者執行特定的回復任務。

用戶僅用一句提示詞就可創建自己的AI助手

此前,中國大模型市場還沒出現足以對標Llama 2-70B的優質開源模型。Qwen-72B填補了國內空白,以高性能、高可控、高性價比的優勢,提供不亞于商業閉源大模型的選擇。基于Qwen-72B,大中型企業可開發商業應用,高校、科研院所可開展AI for Science等科研工作。

從1.8B到72B,通義千問率先實現全尺寸開源

如果說Qwen-72B“向上摸高”,抬升了開源大模型的尺寸和性能天花板;發布會上的另一開源模型Qwen-1.8B則“向下探底”,成為尺寸最小的中國開源大模型,推理2K長度文本內容僅需3G顯存,可在消費級終端部署。

從18億、70億、140億到720億參數規模,通義千問成為業界首個“全尺寸開源”的大模型。用戶可在魔搭社區直接體驗Qwen系列模型效果,也可通過阿里云靈積平臺調用模型API,或基于阿里云百煉平臺定制大模型應用。阿里云人工智能平臺PAI針對通義千問全系列模型進行深度適配,推出了輕量級微調、全參數微調、分布式訓練、離線推理驗證、在線服務部署等服務。

阿里云是國內最早開源自研大模型的科技企業,8月以來開源了Qwen-7B、Qwen-14B和視覺理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單,得到中小企業和個人開發者的青睞,累計下載量超過150萬,催生出150多款新模型、新應用。發布會現場,多位開發者伙伴現身說法,分享了他們用Qwen開發專屬模型和特定應用的實踐。

阿里云CTO周靖人表示,開源生態對促進中國大模型的技術進步與應用落地至關重要,通義千問將持續投入開源,希望成為“AI時代最開放的大模型”,與伙伴們共同促進大模型生態建設。

通義千問基座模型持續進化,多模態探索業界領先

通義千問在多模態大模型領域的探索也領先業界一步,當天,阿里云首次開源音頻理解大模型Qwen-Audio。

Qwen-Audio能夠感知和理解人聲、自然聲、動物聲、音樂聲等各類語音信號。用戶可以輸入一段音頻,要求模型給出對音頻的理解,甚至基于音頻進行文學創作、邏輯推理、故事續寫等等。音頻理解能夠賦予大模型接近人類的聽覺能力。

通義大模型能“聽”也能“看”。通義千問8月開源出視覺理解大模型Qwen-VL,迅速成為國際開源社區最佳實踐之一。本次發布會又宣布了Qwen-VL的重大更新,大幅提升通用OCR、視覺推理、中文文本理解基礎能力,還能處理各種分辨率和規格的圖像,甚至能“看圖做題”。不論從權威測評成績還是真人體驗的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通義千問閉源模型也在持續進化,一個月前發布的通義千問2.0版閉源模型,最近已進階至2.1版,上下文窗口長度擴展到32k,代碼理解生成能力、數學推理能力、中英文百科知識、幻覺誘導抵抗能力分別提升30%、10%、近5%和14%。用戶可以在通義千問APP免費體驗最新版本的閉源模型。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/206815.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/206815.shtml
英文地址,請注明出處:http://en.pswp.cn/news/206815.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Spring Cloud + Vue前后端分離-第2章 使用Maven搭建SpringCloud項目

Spring Cloud Vue前后端分離-第2章 使用Maven搭建SpringCloud項目 Maven兩大核心功能: 依賴管理(Jar包管理) 構建項目(項目打包) 使用Eureka搭建注冊中心 使用spring initializr創建spring cloud項目 SpringCloud…

FastAPI之聲明請求參數示例數據

在Pydantic模型中添加額外的JSON模式數據 您可以聲明Pydantic模型的示例,這些示例將被添加到生成的JSON模式中。 示例代碼 from fastapi import FastAPI from pydantic import BaseModelapp FastAPI()class Item(BaseModel):name: strdescription: str | None …

(C語言實現)高精度除法 (洛谷 P2005 A/B Problem II)

前言 本期我們分享用C語言實現高精度除法,可通過該題測試點我點我,洛谷 p2005。 那么話不多說我們開始吧。 講解 大家還記不記得小學的時候我們是怎么做除法的?我們以1115為例。 我們的高精度除法也將采用這個思路進行,分別用兩…

在 TS 中解析 ipa 文件

在 TS 中解析 ipa 文件 ipa即Xcode打包出來的APP的安裝包,通過解析ipa中的文件,我們可以獲得APP的DisplayName、Version、BundleIdentifier等信息, 同時也可以獲取到APP證書的相關信息,包括APP的安裝環境、證書的有效期、APP開通…

Python-算術運算符詳解

運算符 算術運算符 關系運算符 邏輯運算符 賦值運算符 算術運算符:加減乘除 %求余 **平方 // 先算乘方,再算乘除,最后是加減。括號可以改變優先級 0不能作為除數(不論是整型0還是浮點0) 除法截斷:舍棄小…

UDP群聊

客戶端 import java.awt.BorderLayout; import java.awt.Dimension; import java.awt.EventQueue; import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader…

LeetCode738. Monotone Increasing Digits

文章目錄 一、題目二、題解 一、題目 An integer has monotone increasing digits if and only if each pair of adjacent digits x and y satisfy x < y. Given an integer n, return the largest number that is less than or equal to n with monotone increasing digi…

使用VBA快速統計詞組(單詞組合)詞頻

實例需求&#xff1a;產品清單如A列所示&#xff0c;現在如下統計詞組詞頻。想必各位小伙伴都指定如何使用字典對象實現去重&#xff0c;進而實現單個單詞的詞頻統計。 但是統計詞組詞頻就沒有那么簡單了&#xff0c;為了便于演示&#xff0c;此處的詞組只限于兩個單詞的組合。…

自動駕駛右向輔助功能規范

目 錄 Contents 目錄 1. 介紹 Introduction. 8 1.1 此文檔的范圍和目的 Scope and Purpose of This Document 8 1.2 參考文檔References. 9 1.3 文檔的維護 Maintenance of the Document 10 1.4 縮略詞Abbreviations. 10 1.5 文檔概述Document Overview.. 11 1.6 功能…

GoLong的學習之路,進階,Viper(yaml等配置文件的管理)

本來有今天是繼續接著上一章寫微服務的。但是這幾天有朋友說&#xff0c;再寫Web框架的時候&#xff0c;遇到一個問題&#xff0c;就是很多的中間件&#xff08;redis&#xff0c;微信&#xff0c;mysql&#xff0c;mq&#xff09;的配置信息寫的太雜了&#xff0c;很不好管理。…

【解決辦法】Pycharm中新添加或者導入項目文件名紅色!

提示&#xff1a;文章寫完后&#xff0c;目錄可以自動生成&#xff0c;如何生成可參考右邊的幫助文檔 文章目錄 一、問題描述二、問題原因三、解決辦法 一、問題描述 Pycharm的代碼中添加新的文件夾&#xff0c;發現文件夾下的文件名是紅色的&#xff0c;如下圖&#xff1a; …

jvm-sandbox-repeater 精簡版部署之standalone模式

jvm-sandbox-repeater 僅僅提供了錄制回放的能力&#xff0c;如果需要完成業務回歸、實時監控、壓測等平臺&#xff0c;后面須要有一個數據中心負責采集數據的加工、存儲、搜索&#xff0c;repeater-console提供了簡單的demo示例&#xff1b;一個模塊管理平臺負責管理JVM-Sandb…

設計模式——單例模式(Singleton Pattern)

概述 單例模式確保一個類只有一個實例&#xff0c;而且自行實例化并向整個系統提供整個實例&#xff0c;這個類稱為單例類&#xff0c;它提供全局訪問的方法。單例模式是一種對象創建型模式。單例模式有三個要點&#xff1a;一是某個類只能有一個實例&#xff1b;二是它必須自行…

矩陣基本操作算法

題目描述&#xff1a; 題目描述 根據主函數和頭文件提示&#xff0c;編寫子函數void matrixInput(int (*mat)[COL]); void matrixPrint(int *mat[ROW]); void matrixAddT(int *mat); ? 分別實現矩陣的輸入&#xff0c;輸出&#xff0c;與自身的轉置相加&#xff1a;void matr…

微信小程序開發中的圖片缺少后自動居中問題的解決,自動居中樣式,自適應圖片多少的寫法

下面是寫的wxml的view樣式類似于web開發中的HTML文件 home-grid是我創建的一個父樣式&#xff0c;采用子絕父相的定位方式 我在home-grid的父view&#xff08;類似于web中div&#xff09;中包含了三個小的子樣式分別是下述代碼中的class“yellowstar”&#xff0c;class“maint…

Java---線程講解(二)

文章目錄 1. Runnable接口2. 賣票案例3. 同步代碼塊解決數據安全問題4. 同步方法解決數據安全問題5. 線程安全的類6. Lock鎖 1. Runnable接口 1. 創建線程的另一種方法是聲明一個實現Runnable接口的類&#xff0c;之后重寫run()方法&#xff0c;然后可以分配類的實例&#xff0…

基于remix+metamask+ganache的智能合約部署調用

在我們部署合約時為了讓它更接近真實區塊鏈去中心化體驗&#xff0c;我們需要調用小狐貍&#xff08;Metamask&#xff09;來進行真實交易&#xff0c;而metamask里沒有內置虛擬測試幣&#xff0c;我們需要進行調用Ganache來添加帶有虛擬測試幣的賬號。以上就是三者的關系&…

從 MLOps 到 LMOps 的關鍵技術嬗變

本文整理自 2023 年 9 月 3 日 QCon 全球軟件開發大會 2023 北京站 —— 從 MLOps 到 LMOps 分論壇的同名主題演講。 本次分享的內容結構如下&#xff1a; 從 MLOps 到 LMOps&#xff1b; MLOps 概述、挑戰與解決方案&#xff1b; LMOps 實施挑戰與關鍵技術&#xff08;大模…

[FPGA 學習記錄] 快速開發的法寶——IP核

快速開發的法寶——IP核 文章目錄 1 IP 核是什么2 為什么要使用 IP 核3 IP 核的存在形式4 IP 核的缺點5 Quartus II 軟件下 IP 核的調用6 Altera IP 核的分類 在本小節當中&#xff0c;我們來學習一下 IP 核的相關知識。 IP 核在 FPGA 開發當中應用十分廣泛&#xff0c;它被稱為…

Java最全面試題專題---1、Java基礎知識(2)

筆者有七八年的面試者經驗&#xff0c;負責公司技術同學的社招和校招&#xff0c;近些年面試過三四百個技術同學&#xff0c;考慮接近年底這個時段&#xff0c;整理并更新一些以往的面試經驗&#xff0c;希望同學們跳槽能有個更好的工作&#xff0c;如有需要的同學可以關注下筆…