目錄
安裝調度器
?安裝執行器
?安裝管理器
?啟動服務
進入web管理端
創建數據源?
?編輯?添加表
?添加影子表增量
?節點監控
?DMETL工程流搭建實踐
?創建表/視圖
添加sql腳本
添加數據清洗與轉換模塊?
添加排序模塊?
創建輸出表?
連接各模塊并啟動?
查看驗證結果
監控管理
會話監控?
數據統計
流程統計?
安裝調度器
[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_scheduler_linux.x86_64.bin -i
Extract install files.........
1.英文(English)
2.簡體中文(簡體中文)
請選擇安裝語言[2.簡體中文(簡體中文)]:
2
1.免費試用達夢數據交換平臺
2.使用已申請的Key文件
驗證許可證文件[1.免費試用達夢數據交換平臺]:
1
免費試用Key文件限制信息如下:
有效日期:2024-05-17
用戶名稱:試用用戶
項目名稱:未知
發布類型:試用版
版本類型:大數據版
最大執行器數:4
硬件ID:無限制
最大數據源數:無限制
最大并發流程數:無限制
1.標準版
2.自定義
安裝類型[1.標準版]:
1
1.控制器
2.調度器
所需磁盤空間:1,084 MB
配置jdk:
1.使用軟件jdk
2.使用本機系統jdk
3.指定其他jdk
1
安裝目錄: [/opt/dmetl5]
/opt/dmdba/dmetl5/scheduler
正在安裝
正在創建快捷方式
安裝成功
1.使用內置數據庫
2.使用外置數據庫
數據庫類型:[1.使用內置數據庫]:
2
1.DM7
2.DM6
3.DM8
4.Oracle8
5.Oracle9
6.Oracle10
7.Oracle11
8.Oracle12
9.SQLServer2000
10.SQLServer2005
11.SQLServer2008
12.MySQL3
13.MySQL4
14.MySQL5
15.MySQL6
數據庫類型:[1.DM7]:
3
數據庫IP:localhost
數據庫端口:5236
數據庫名稱:默認
用戶名:SYSDBA
使用默認連接信息?[Y or N]
n
數據庫IP:[localhost]數據庫端口:[5236]數據庫名稱:[默認]用戶名:[SYSDBA]
DMETL
密碼:
初始化元數據庫[Y or N]:
N
控制器服務
服務名稱:[Dmetl5ControllerService]:顯示名稱:[Controller_127.0.0.1_20231117]:管理器地址:[http://localhost:8080]:1.自動
2.手動
啟動方式:[2.手動]
1
正在創建控制器服務
調度器服務
服務名稱:[Dmetl5SchedulerService]:顯示名稱:[Scheduler_127.0.0.1_20231117]:所屬控制器名稱:[Controller_127.0.0.1_20231117]:調度器端口:[1234]:管理器地址:[http://localhost:8080]:1.自動
2.手動
啟動方式:[2.手動]
1
正在創建調度器服務
達夢數據交換平臺 V5.0調度器 安裝完成
更多安裝信息，請查看安裝日志文件:
/opt/dmdba/dmetl5/scheduler/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#?安裝執行器
[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_manager_linux.x86_64.bin -i
Extract install files..........
1.英文(English)
2.簡體中文(簡體中文)
請選擇安裝語言[2.簡體中文(簡體中文)]:
2
1.管理器
所需磁盤空間:999 MB
配置jdk:
1.使用軟件jdk
2.使用本機系統jdk
3.指定其他jdk
1
安裝目錄: [/opt/dmetl5]
/opt/dmdba/dmetl5/manager
正在安裝
正在創建快捷方式
安裝成功
配置管理器ini文件
1.使用內置數據庫
2.使用外置數據庫
數據庫類型:[1.使用內置數據庫]:
2
1.dm
2.oracle
3.sqlserver
4.mysql
數據庫類型:[1.dm]:
1
數據庫IP:localhost
數據庫端口:5236
數據庫名稱:默認
用戶名:SYSDBA
使用默認連接信息?[Y or N]
n
數據庫IP:[localhost]數據庫端口:[5236]數據庫名稱:[默認]用戶名:[SYSDBA]
DMETL
密碼:
管理器服務
服務名稱:[Dmetl5ManagerService]:管理器端口[8080]:1.自動
2.手動
啟動方式:[2.手動]
1
正在創建管理器服務
達夢數據交換平臺 V5.0管理器 安裝完成
更多安裝信息，請查看安裝日志文件:
/opt/dmdba/dmetl5/manager/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#?安裝管理器
[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]# ./dmetl5_manager_linux.x86_64.bin -i
Extract install files..........
1.英文(English)
2.簡體中文(簡體中文)
請選擇安裝語言[2.簡體中文(簡體中文)]:
2
1.管理器
所需磁盤空間:999 MB
配置jdk:
1.使用軟件jdk
2.使用本機系統jdk
3.指定其他jdk
1
安裝目錄: [/opt/dmetl5]
/opt/dmdba/dmetl5/manager
正在安裝
正在創建快捷方式
安裝成功
配置管理器ini文件
1.使用內置數據庫
2.使用外置數據庫
數據庫類型:[1.使用內置數據庫]:
2
1.dm
2.oracle
3.sqlserver
4.mysql
數據庫類型:[1.dm]:
1
數據庫IP:localhost
數據庫端口:5236
數據庫名稱:默認
用戶名:SYSDBA
使用默認連接信息?[Y or N]
n
數據庫IP:[localhost]數據庫端口:[5236]數據庫名稱:[默認]用戶名:[SYSDBA]
DMETL
密碼:
管理器服務
服務名稱:[Dmetl5ManagerService]:管理器端口[8080]:1.自動
2.手動
啟動方式:[2.手動]
1
正在創建管理器服務
達夢數據交換平臺 V5.0管理器 安裝完成
更多安裝信息，請查看安裝日志文件:
/opt/dmdba/dmetl5/manager/install/log/install.log[root@localhost dmetl5_V5.03.11-Build(2022.07.18-111696)__Linux.x86_64_std]#?啟動服務
啟動調度器
/opt/dmdba/dmetl5/scheduler/scheduler/scheduler_service_restart.sh啟動執行器
/opt/dmdba/dmetl5/executor/executor_native/executor_native_service_restart.sh啟動管理器
/opt/dmdba/dmetl5/manager/manager/manager_service_restart.sh如果不是以root用戶安裝，則直接在對應的安裝目錄下用命令啟動
啟動調度器
/opt/dmdba/dmetl5/scheduler/scheduler/scheduler_ start.sh啟動執行器
/opt/dmdba/dmetl5/executor/executor_native/executor_native_ start.sh啟動管理器
/opt/dmdba/dmetl5/manager/manager/manager_ start.sh啟動控制器
/opt/dmdba/dmetl5/ scheduler /controller/controller_start.sh進入web管理端
輸入IP地址：8080即可登錄進管理端，賬號和密碼均為admin
概覽里面包含了調度器和本地執行器的狀態，以及啟停等信息。?
?
創建數據源?
數據源對象表示 DMETL 在進行數據讀取或寫入時，需要連接的外部數據存儲。DMETL 支持的數據源類型有：數據庫、WebService、MongoDB、Elasticsearch、Restful、鍵值緩存、Hadoop 數據源、Kafka、Hbase 數據源、Redis、文件源、Spark、Neo4j、GDM 等。本次創建DM8數據源
?
?
?添加表
展開【數據庫】節點，右鍵選擇【添加表】，彈出添加表對話框，如下圖所示，完成表的添加。
?
?添加影子表增量
影子表增量的運行機制，是以源表為基礎，創建一張影子表和一張影子增量表，通過比較源表與影子表的差異，將發生在源表的插入、刪除、更新等 DML 操作以增量數據的形式記錄在影子增量表中，再通過解析增量數據，將上述 DML 操作同步到目的表中，從而實現增量數據同步功能。
?
?節點監控
用于監視當前系統內存，CPU，JVM，磁盤，調度器和執行器JVM的運行情況；同時 CPU 使用率，內存使用率，JVM 使用率，磁盤使用率超過閾值且超過持續時間或者恢復正常都會發送相應的告警消息。
?DMETL工程流搭建實踐
流程目標：實現讀取已經存在數據源中的表，插入一條數據，進行數據清洗轉換將姓名中的一條數據前面加入前綴：達夢數據庫，隨后將數據按照姓名的中文拼音順序進行排序，并將結果輸出到一張新的表中。
流程步驟圖如下：
?創建表/視圖
首先在“數據讀取“大類下創建表/視圖，讀取之前添加的數據源，選中列信息
?
添加sql腳本
在當前模式下添加一條插入語句，注意要將上面創建的表和視圖模塊下面綠色箭頭牽引至該模塊，否則無法實現數據讀取
添加數據清洗與轉換模塊?
在數據清洗與轉換模塊中，添加規則：在上一步插入的名字前面添加達夢數據庫，選擇內容，選擇填寫需要搜索的字符，最后選擇在字符前添加，隨后可以預覽規則
添加排序模塊?
在排序模塊中，選擇按中文拼音升序排序，即可實現字段按照拼音的順序重新排列。
創建輸出表?
在數據裝載模塊中添加表作為輸出表，由于先前未創建表，因此在此處創建一張與原始數據表不相同的表名，字段與原始表保持一致。
連接各模塊并啟動?
各模塊需要在每個模塊的左下方綠色箭頭處指向下個模塊，否則流程不生效，隨后點擊保存并啟動
查看驗證結果
在新創建的表中，字段按照中文拼音的順序進行了重新排序，新添加的name也被改成了帶有達夢數據庫前綴的name，執行無報錯
監控管理
用于監視 DMETL 系統中正在運行的流程。包括調度執行和手動執行的流程。流程監控以樹型結構的方式，展示系統中正在執行的作業、轉換。展示的信息包括流程名稱、流程運行狀態、運行開始時間、運行結束時間、執行方式、下次調度時間、流程所在目錄，執行器等。在執行上述流程的時候，由于我刪除了第一次生成的數據表，第二次配置的時候沒有新建數據集，所以報錯兩次，其他流程無異常。
會話監控?
展示系統所有當前在線的用戶。可查看用戶的登錄信息，并對用戶的會話進行管理。用戶的信息包括用戶名、IP 地址、端口、登入時間、最近訪問時間、最近訪問 URL 等。在會話監控的操作欄，點擊注銷按鈕，即可進行注銷操作，關閉掉該用戶的會話。
數據統計
數據統計功能，主要為了展示工程在歷史執行過程中，各數據源、模式、表 產生的數據統計，如流程執行過程中，數據源、表所處理的記錄數，包括作為源表讀取的記錄數，作為目標表裝載的記錄數，以及刪除、更新的記錄數據統計
通過點擊左側邊欄的樹型目錄，選擇數據源、模式、表，右邊欄會根據當前選擇的節點進行過濾，展示對應的統計數據，也可以通過數據源、表名稱、模式名稱，開始時間、結束時間等過濾條件，查詢想要看到統計數據
?
流程統計?
流程統計功能，主要為了展示各工程、流程，在歷史執行過程中產生的統計數據。如各工程、流程執行的次數，包括錯誤的次數、正常的次數，支持查看統計記錄對應的詳細流程執行記錄，支持查看錯誤日志，流程節點日志，默認顯示當天執行的情況，也可以查看最近一周的執行情況，頁面會動態刷新，顯示最新統計記錄
?通過點擊左側邊欄的目錄，根據所選的節點，在右側顯示具體的內容信息，可以根據工程名稱、流程名稱、流程類型、狀態、時間范圍，以及左邊樹節點過濾需要查詢的統計數據。下面這出流程錯誤為先前沒有創建新表導致流程錯誤
達夢數據庫社區地址：達夢數據庫 - 新一代大型通用關系型數據庫 | 達夢在線服務平臺
https://eco.dameng.com/
