本文主要描述阿里云人工智能大模型開源社區ModelScope提供的通義千問Qwen3開發部署。

與阿里云一起 輕松實現數智化 讓算力成為公共服務：用大規模的通用計算，幫助客戶做從前不能做的事情，做從前做不到的規模。讓數據成為生產資料：用數據的實時在線，幫助客戶以數據為中心改變生產生活方式創造新的價值。

---

Qwen3 亮點

Qwen3 是 Qwen 系列中最新一代的大規模語言模型，提供了一系列密集型和專家混合（MoE）模型。基于廣泛的訓練，Qwen3 在推理、指令執行、代理能力和多語言支持方面實現了突破性進展，具有以下關鍵特性：

在單一模型內無縫切換思考模式（用于復雜的邏輯推理、數學和編程）和非思考模式（用于高效的通用對話），確保在各種場景下的最佳性能。

顯著增強其推理能力，在數學、代碼生成和常識邏輯推理方面超越了之前的 QwQ（在思考模式下）和 Qwen2.5 指令模型（在非思考模式下）。

優越的人類偏好對齊，擅長創意寫作、角色扮演、多輪對話和指令執行，提供更加自然、吸引人和沉浸式的對話體驗。

在代理能力方面的專長，能夠在思考和非思考模式下與外部工具精確集成，并在復雜代理任務中達到開源模型中的領先性能。

支持 100 多種語言和方言，具有強大的多語言指令執行和翻譯能力。

---

模型概述

Qwen3-0.6B 具有以下特點：

類型：因果語言模型

訓練階段：預訓練 & 后訓練

參數數量：0.6B

非嵌入參數數量：0.44B

層數：28

注意力頭數（GQA）：Q 為 16，KV 為 8

上下文長度：32,768

---

開發環境搭建

ModelScope社區是阿里云通義千問開源的大模型開發者社區。

如上所示，安裝ModelScope社區大模型基礎庫開發框架的命令行參數，使用清華大學提供的鏡像地址

如上所示，在JetBrains PyCharm的項目工程終端控制臺中，安裝深度學習基礎庫開發框架pytorch

如上所示，在JetBrains PyCharm的項目工程終端控制臺中，安裝深度學習基礎庫開發框架tensorflow

如上所示，在JetBrains PyCharm的項目工程終端控制臺中，安裝ModelScope社區大模型基礎庫開發框架

如上所示，在JetBrains PyCharm的項目工程終端控制臺中，安裝ModelScope社區大模型多模態領域開發框架

如上所示，在JetBrains PyCharm的項目工程的測試代碼中，使用分詞器對原文執行分析操作，輸出分詞列表

---

運行千問大模型

https://www.modelscope.cn/models/Qwen/Qwen3-0.6B/files

如上所示，從ModelScope社區的模型倉庫下載開源的千問大模型到本地

如上所示，在代碼中引入預訓練的模型庫源文件，初始化分詞器以及模型實例

如上所示，在代碼中設置用戶的提問信息，使用分詞器的文本對話模版、設置文本對話模版的屬性，其中，包括開啟文本對話模版的思考模式，使用分詞器初始化用戶的輸入問題信息

如上所示，在代碼中使用模型實例對輸入的分詞列表執行生成操作，從大模型實例中獲取用戶問題的答復

如上所示，在代碼中使用分詞器對大模型的答復執行解碼操作，解碼包括思考部分的答復以及非思考部分的答復

---

阿里云人工智能大模型百煉運行部署

SGLANG_USE_MODELSCOPE=true python -m sglang.launch_server --model-path Qwen/Qwen3-0.6B --reasoning-parser qwen3

如上所示，使用開源SGLANG運行環境部署大模型的命令行

VLLM_USE_MODELSCOPE=true vllm serve Qwen/Qwen3-0.6B --enable-reasoning --reasoning-parser deepseek_r1

如上所示，使用開源VLLM運行環境部署大模型的命令行

---

切換思考模式和非思考模式

默認情況下，Qwen3 啟用了思考能力，類似于 QwQ-32B。這意味著模型將利用其推理能力來提高生成響應的質量。例如，在顯式設置 enable_thinking=True 或在 tokenizer.apply_chat_template 中使用默認值時，模型將進入思考模式。

如上所示，在代碼中使用思考模式，模型會生成用 <think>...</think> 的輸出標簽返回思考模式的生成內容

如上所示，在代碼中使用非思考模式，模型不會生成任何思考內容，并且不會包含 <think>...</think>輸出標簽

---

高級用法：通過用戶輸入切換思考模式和非思考模式

我們提供了一種軟開關機制，允許用戶在 enable_thinking=True 時動態控制模型的行為。具體來說，您可以在用戶提示或系統消息中添加 /think 和 /no_think 來逐輪切換模型的思考模式。在多輪對話中，模型將遵循最新的指令。

如上所示，在代碼中定義通用函數，用于加載模型、初始化分詞器、初始化模型實例、生成用戶問題的答復

如上所示，在代碼中使用默認的思考模式提問

如上所示，在代碼中使用非思考模式提問

如上所示，在代碼中使用思考模式提問

---

使用MCP協議代理集成

Qwen3在工具調用能力方面表現出色。我們推薦使用Qwen-Agent來最好地利用Qwen3的代理能力。Qwen-Agent內部封裝了工具調用模板和解析器，極大地減少了編碼復雜度。

要定義可用工具，您可以使用MCP配置文件、使用Qwen-Agent集成的工具，或者自行集成其他工具。

如上所示，在代碼中定義MCP代理服務器端的LLM開放接口服務，其中，包括服務器地址以及授權認證屬性信息

如上所示，在代碼中定義MCP代理服務器端提供的工具命令

如上所示，在代碼中使用MCP代理服務器端的工具命令實現對話功能