在傳統的數據開發工作中,企業用戶或者開發者常常需要進行繁瑣的配置、復雜的代碼撰寫、反復的性能調優和大量重復性的操作,才能實現數據開發、數據集成和數據治理等工作,效率十分低下。
近日,阿里云大數據開發治理平臺DataWorks基于MCP協議,正式發布DataWorks Agent,內置 DataWorks MCP Server V1.0,讓數據開發治理工作從Copilot輔助步入到AI Agent時代。
MCP(Model Context Protocol),模型上下文協議,就像AI領域的USB-C接口——正如USB-C為設備連接外設提供統一標準,MCP為大模型連接不同數據源和工具提供標準化方式。
使用DataWorks Agent,可以通過自然語言交互來自動化完成DataWorks上數據開發、數據治理的部分任務,例如數據集成、數據開發、任務運維等,包括支持通過自然語言指令自動化創建和啟動實時/離線數據同步任務;支持快速批量創建和修改數據開發節點;支持運行任務的智能分析等。
通過大模型的深度思考及規劃能力,Agent可以充分理解用戶的任務,對任務進行步驟分解并制定執行計劃,并調用MCP Server中的相關工具來自動化執行任務。DataWorks將持續豐富和迭代DataWorks MCP Server中的工具集,致力于為用戶提供更加智能和高效的數據開發治理產品體驗。
DataWorks MCP Server基本介紹
基本架構
DataWorks新版數據開發的個人開發環境,在阿里云原生的能力上搭建了用戶專屬的開發環境,環境中內置了VSCode客戶端,登錄DataWorks后可通過瀏覽器訪問,您可以選擇安裝MCP Client插件(如Cline),通過配置DataWorks開源的MCP Server,輸入指令即可完成DataWorks的數據開發運維等動作。
基本概念
- DataWorks個人開發環境:DataWorks提供的云原生開發環境,一個用戶專屬可控的安全的操作系統。
- alibabacloud-dataworks-mcp-server:DataWorks開源的MCP Server,實現了DataWorks OpenAPI的封裝。
- DataWorks OpenAPI:DataWorks各模塊提供的開放API,支持用戶完成對DataWorks上資源的管理。
如上圖所示,個人開發環境本質上是用戶在DataWorks上創建出來的一臺服務器,除了可以實現DataWorks的數據開發、數據集成等任務,還能安裝開源生態的各種插件,比如:
- 通過filesystem實現對文件的讀寫操作。
- 通過git實現對Git工作空間的git操作。
不局限于此,您可以添加各種開源的mcp servers到個人開發環境。
如何配置DataWorks MCP Server
1、沒有個人開發環境
- 安裝并啟動個人開發環境實例,鏡像選擇dataworks-mcp:py3.11-ubuntu22.04,參考地址:https://help.aliyun.com/zh/dataworks/user-guide/serveride/#a47aea58f20q0
安裝并啟動個人開發環境實例
2、已有個人開發環境升級
- 打開terminal,執行以下腳本:
wget https://nodejs.org/dist/v20.19.0/node-v20.19.0-linux-x64.tar.xz
tar xf node-v20.19.0-linux-x64.tar.xz
mv /etc/dsw/node /etc/dsw/node14
mv node-v20.19.0-linux-x64 /etc/dsw/nodebash <(curl -s https://dataworks-notebook-${REGION}.oss-${REGION}.aliyuncs.com/public-datasets/aone-release/dwcode-server/scripts/update.sh) 0.2.169
- 刷新頁面后,從VSCode的應用市場搜索Cline進行安裝
3、配置LLM APIKey,支持您配置使用不同的LLM模型(此處以阿里云百煉的API為例)
完成模型配置。
4、安裝MCP Server
通過界面打開DataWorks MCP Server的配置界面-Configure MCP Servers。
在配置界面填入如下配置,注意修改其中的REGION信息:
{"mcpServers": {"alibabacloud-dataworks-mcp-server": {"command": "npx","args": ["alibabacloud-dataworks-mcp-server"],"env": {"REGION": "cn-beijing","ALIBABA_CLOUD_CREDENTIALS_URI": "http://localhost:7002/api/v1/credentials/0","TOOL_CATEGORIES": "SERVER_IDE_DEFAULT"},"disabled": false,"autoApprove": [],"timeout": 60}}
}
看到如下加載成功的Tools可確認alibabacloud-dataworks-mcp-server已安裝成功:
在任務界面,您可以輸入“我有哪些工作空間?”開始測試
進階玩法:安裝其他MCP Servers進行探索
您可以參考mcp-servers安裝其他的MCP Servers到個人開發環境。參考地址:https://github.com/modelcontextprotocol/servers/
實操演示
DataWorks Agent支持安裝各類MCP Server,接下來我們演示如何使用DataWorks MCP Server和Hologres MCP Server來自動化完成數據集成實時數據同步任務開發和Hologres數據分析。
目前,使用DataWorks Data Studio最新版本即可體驗DataWorks Agent功能,歡迎體驗!
閱讀原文跳轉地址:https://help.aliyun.com/zh/dataworks/user-guide/dataworks-mcp-server-function-usage