5 月 9 日,在通義大模型發布一周年之際,阿里云大模型生態迎來一次重大升級,主要有“四個最”:
- 通義千問 2.5 正式發布,“模型性能全面趕超 GPT-4 Turbo,成為地表最強中文大模型”;
- Qwen1.5-110B 參數開源模型在多個基準測評收獲最佳成績,超越 Llama-3-70B,成為開源領域最強中文大模型;
- ModelScope 魔搭成為中國最大的開源社區;
- 通義大模型通過阿里云服務企業超 9 萬,成最受中國企業歡迎大模型。
同時,阿里云對通義大模型的品牌也進行了升級,正式將“通義千問 APP”更名為“通義 APP”,集成通義大模型全棧能力,免費為所有用戶提供服務。阿里表示,通義 APP 將把通義實驗室前沿的文生圖、智能編碼、文檔解析、音視頻理解、視覺生成等能力“All in one”,成為每個人的全能 AI 助手。
大模型系列更新
從初代模型升級至 2.5 版本的路,阿里云僅僅走了一年。
去年 10 月底,阿里云 CTO 周靖人在 2023 年云棲大會上,發布了參數量提升到千億級別的通義千問 2.0。當時,阿里表示,目前通義千問的綜合性能已經超過 GPT-3.5,相比 4 月發布的 1.0 版本,通義千問 2.0 在復雜指令理解、文學創作、通用數學、知識記憶、幻覺抵御等能力上均有顯著提升。
如今,相比通義千問 2.1 版本,通義千問 2.5 的理解能力、邏輯推理、指令遵循、代碼能力分別提升了 9%、16%、19%、10%。在權威基準 OpenCompass 上,通義千問 2.5 得分追平 GPT-4 Turbo,這也是該基準首次錄得國產大模型取得如此出色的成績。
在多模態模型和專有能力模型方面,通義千問視覺理解模型 Qwen-VL-Max 在多個多模態標準測試中超越 Gemini Ultra 和 GPT-4V,目前已在多家企業落地應用。
通義還發布了最新款開源模型:1100 億參數的 Qwen1.5-110B,該模型在 MMLU、TheoremQA、GPQA 等基準測評中超越了 Meta 的 Llama-3-70B 模型。在 HuggingFace 推出的開源大模型排行榜 Open LLM Leaderboard 上,Qwen1.5-110B 沖上榜首。
“生態非常重要,我們會堅持開源體系、堅持我們的開源模式。”周靖人透露。
“現在已經是 2024 年了,我相信開源對整個全球技術領域的貢獻是毋庸置疑的。”周靖人說道,“阿里云不是簡簡單單的開源,我們是要開源最強的模型。”
去年 8 月,通義宣布加入開源行列,隨之啟動馬不停蹄的開源狂飆,沿著“全模態、全尺寸”開源路線陸續推出十多款模型。小尺寸模型如 0.5B、1.8B、4B、7B、14B,可便捷地在手機、PC 等端側設備部署;大尺寸模型如 72B、110B 能支持企業級和科研級的應用,都曾登頂 Open LLM Leaderboard 榜首。
“阿里云是全球唯一一家既持續做模型開發,又做大量模型開局模式的企業。”周靖人表示,Llama 3 等在一定程度上把競爭拉得很高。坦誠地講,不是所有閉源的公司都能做過開源模型。做閉源的,至少要能夠超過開源模型水準,才能今天有機會參與。另一方面,實踐中,大模型能力并不是越強越好,還要考慮成本等方面因素,所以阿里云希望把選擇權給到企業和開發者。
通義千問代碼大模型 CodeQwen1.5-7B 則是 HuggingFace 代碼模型榜單 Big Code 的頭名選手,具備優秀的代碼生成能力、長序列建模能力、代碼修改能力和 SQL 能力,還是國內用戶規模第一的智能編碼助手通義靈碼的底層模型。
現場,阿里還宣布推出通義靈碼的企業版,滿足企業用戶的定制化需求,幫助企業提升研發效率。
據介紹,通義靈碼熟練掌握 Java、Python、Go、JavaScript、TypeScript、C/C++、C# 等 200 多種編程語言,可以輔助寫代碼、讀代碼、查 Bug、優化代碼等。根據官方數據,2023 年 10 月發布至今,通義靈碼的插件下載量已超 350 萬,每日推薦代碼超 3000 萬次,被開發者采納的代碼超億行。
“最受中國企業歡迎的大模型”
根據阿里云公布的最新數據,通義大模型通過阿里云服務企業超 9 萬,通義開源模型累計下載量突破 700 萬。通義落地應用進程加速,現已進入 PC、手機、汽車、航空、天文、礦業、教育、醫療、餐飲、游戲、文旅等領域,成為最受中國企業歡迎的大模型。
周靖人表示,各行各業、各個企業都是特殊的,非常明確的就是讓基礎模型直接對接業務需求是很難的,因此現在的大模型落地一定要結合業務的場景。
小米旗下的人工智能助手“小愛同學”已與阿里云通義大模型達成合作,強化其在圖片生成、圖片理解等方面的多模態 AI 生成能力,并在小米汽車、手機等多類設備落地。此外,微博、眾安保險、完美世界游戲等企業也宣布接入通義大模型,將大模型應用于社交媒體、保險、游戲等領域。
更早之前,新東方、同程旅行、長安汽車、西部機場集團、親寶寶等企業也都與通義大模型達成合作。中國科學院國家天文臺人工智能組基于通義千問開源模型開發了新一代天文大模型“星語 3.0”,這是大模型首次應用于天文觀測領域;陜煤建新煤礦等十余座礦山推出由通義大模型支持的新型礦山重大風險識別處置系統,成為大模型在礦山場景的首次規模化落地。
截至目前,通義大模型通過阿里云服務企業超過 9 萬、通過釘釘服務企業超過 220 萬。與此同時,海內外大量中小企業和開發者以下載開源模型的方式使用通義,在 HuggingFace、魔搭 ModelScope 等開源社區,通義開源大模型的累計下載量超過了 700 萬。
在阿里云體系里,把模型能力和業務場景結合起來的紐帶就是百煉平臺。本次大會上,百煉升級成為阿里云承載云 +AI 能力的重要平臺,提供一站式、全托管的大模型定制與應用服務。開發者可通過“拖拉拽”5 分鐘開發一款大模型應用,幾小時“煉”出一個專屬模型,把精力專注于應用創新。
周靖人介紹,當下企業應用大模型存在三種范式:一是對大模型開箱即用,二是對大模型進行微調和持續訓練,三是基于模型開發應用,其中最典型的需求是 RAG,以企業數據對大模型進行知識增強。圍繞這些需求,百煉打造了模型中心和應用中心,提供最豐富的模型和最易用的工具箱。
百煉提供了提示詞模版、擁抱開源框架,包括提供開放靈活可配置的檢索增強應用服務、提供實時 API 等,此外還提供可視化流程,提供微調和評測。
此外,百煉集成了上百款大模型,除了通義、Llama、ChatGLM 等系列,還托管百川等系列三方模型,覆蓋國內外主流廠商,聯動魔搭開源社區,同時支持企業上架通用或行業模型,給開發者提供足夠多的模型選擇。
結束語
問世一年多來,通義大模型發展出了文生圖、智能編碼、文檔解析、音視頻理解等能力,企業客戶和開發者可以通過 API 調用、模型下載等方式接入通義,個人用戶可從通義 APP、官網和小程序免費使用通義家族全棧服務。
未來,阿里云的 AI 之路會走得如何,我們也拭目以待。
如何學習大模型 AI ?
由于新崗位的生產效率,要優于被取代崗位的生產效率,所以實際上整個社會的生產效率是提升的。
但是具體到個人,只能說是:
“最先掌握AI的人,將會比較晚掌握AI的人有競爭優勢”。
這句話,放在計算機、互聯網、移動互聯網的開局時期,都是一樣的道理。
我在一線互聯網企業工作十余年里,指導過不少同行后輩。幫助很多人得到了學習和成長。
我意識到有很多經驗和知識值得分享給大家,也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑,所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限,很多互聯網行業朋友無法獲得正確的資料得到學習提升,故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰學習等錄播視頻免費分享出來。
第一階段(10天):初階應用
該階段讓大家對大模型 AI有一個最前沿的認識,對大模型 AI 的理解超過 95% 的人,可以在相關討論時發表高級、不跟風、又接地氣的見解,別人只會和 AI 聊天,而你能調教 AI,并能用代碼將大模型和業務銜接。
- 大模型 AI 能干什么?
- 大模型是怎樣獲得「智能」的?
- 用好 AI 的核心心法
- 大模型應用業務架構
- 大模型應用技術架構
- 代碼示例:向 GPT-3.5 灌入新知識
- 提示工程的意義和核心思想
- Prompt 典型構成
- 指令調優方法論
- 思維鏈和思維樹
- Prompt 攻擊和防范
- …
第二階段(30天):高階應用
該階段我們正式進入大模型 AI 進階實戰學習,學會構造私有知識庫,擴展 AI 的能力。快速開發一個完整的基于 agent 對話機器人。掌握功能最強的大模型開發框架,抓住最新的技術進展,適合 Python 和 JavaScript 程序員。
- 為什么要做 RAG
- 搭建一個簡單的 ChatPDF
- 檢索的基礎概念
- 什么是向量表示(Embeddings)
- 向量數據庫與向量檢索
- 基于向量檢索的 RAG
- 搭建 RAG 系統的擴展知識
- 混合檢索與 RAG-Fusion 簡介
- 向量模型本地部署
- …
第三階段(30天):模型訓練
恭喜你,如果學到這里,你基本可以找到一份大模型 AI相關的工作,自己也能訓練 GPT 了!通過微調,訓練自己的垂直大模型,能獨立訓練開源多模態大模型,掌握更多技術方案。
到此為止,大概2個月的時間。你已經成為了一名“AI小子”。那么你還想往下探索嗎?
- 為什么要做 RAG
- 什么是模型
- 什么是模型訓練
- 求解器 & 損失函數簡介
- 小實驗2:手寫一個簡單的神經網絡并訓練它
- 什么是訓練/預訓練/微調/輕量化微調
- Transformer結構簡介
- 輕量化微調
- 實驗數據集的構建
- …
第四階段(20天):商業閉環
對全球大模型從性能、吞吐量、成本等方面有一定的認知,可以在云端和本地等多種環境下部署大模型,找到適合自己的項目/創業方向,做一名被 AI 武裝的產品經理。
- 硬件選型
- 帶你了解全球大模型
- 使用國產大模型服務
- 搭建 OpenAI 代理
- 熱身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地計算機運行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何優雅地在阿里云私有部署開源大模型
- 部署一套開源 LLM 項目
- 內容安全
- 互聯網信息服務算法備案
- …
學習是一個過程,只要學習就會有挑戰。天道酬勤,你越努力,就會成為越優秀的自己。
如果你能在15天內完成所有的任務,那你堪稱天才。然而,如果你能完成 60-70% 的內容,你就已經開始具備成為一名大模型 AI 的正確特征了。