文章目錄
- 整體說明
- 一、部署環境
- 二、版本號
- 三、部署方案
- 四、部署步驟
- 4.1、上傳部署包
- 4.2、創建外部數據庫
- 4.3、修改元數據庫配置
- 4.4、上傳MySQLl驅動程序
- 4.5、初始化外部數據庫
- 4.6、啟停服務
- 4.7、訪問頁面
- 五、常見問題及解決方式
- 5.1、時間不一致
- 5.2、異常終止
- 5.3、大量日志
- 5.4、數據源中心連接Hive失敗
- 5.5、SQL腳本使用Hive UDF
- 六、測試報告
- 6.1、 測試結論
- 6.2、兼容性要求及評估結果
- 6.3、性能指標及評估
- 6.4、安全指標及評估
- 6.4.1、測試指標
- 6.4.2、修復方法
- 6.4.3、 測試結論
摘要: Apache DolphinScheduler系列1-單節點部署及測試報告
關鍵詞: Apache DolphinScheduler、單節點部署、測試報告
整體說明
從部署環境的簡介,到部署方案的介紹,以及實際的部署步驟,到解決具體的常見問題,最后給出簡單的測試報告,簡單圖示如下:
一、部署環境
-
Java版本: 1.8.0_181
-
操作系統: CentOS Linux release 7.6.1810
-
MySQL庫版本: 5.7.22-22-log
-
MySQL驅動程序版本: 8.0.16
二、版本號
-
版本: 3.2.0
-
備注說明: DolphinScheduler 3.2.0 版本兼容更多類型數據庫,國產化支持Damen數據庫,項目中有國產化需求,所以選擇此版本
-
下載地址:https://dolphinscheduler.apache.org/zh-cn/download/3.2.0
三、部署方案
-
平臺只做數據質量監控、告警發送,不存在高并發相關需求場景,所以采用單機部署
-
因為該系統需要持續使用,所以要采用配置外部數據庫
四、部署步驟
官網部署步驟地址:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/guide/installation/standalone
4.1、上傳部署包
上傳程序到服務目錄,apache-dolphinscheduler-3.2.0-bin.tar.gz
解壓文件:
tar -xvzf apache-dolphinscheduler-3.2.0-bin.tar.gz
4.2、創建外部數據庫
創建外部數據庫實例、賬號,并對賬號授權庫的全部權限;
備注說明: 其中 user 和 passwd 為自己安裝好的數據庫的用戶名和密碼
mysql-uroot –p
mysql>CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULTCOLLATE utf8_general_ci;
mysql>GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIEDBY '{password}';
mysql>GRANT ALL PRIVILEGES ON dolphinscheduler.* TO