?

目錄

海豚調度架構dolphinscheduler

DAG(Directed Acyclic Graph)，

個人自用啟動服務

---

DS的架構(海豚調度)

海豚調度架構dolphinscheduler

注:需要先開啟zookeeper服務,才能進行以下操作

通過UI進行工作流的配置操作, 配置完成后, 將其提交執行, 此時執行請求會被API服務接收到, 接收到后, 隨機選擇一臺Master來完成任務的處理(DAG, 任務分配, 資源處理...)(底層最終是有對應schedule具體完成)(Master是去中心化的),完成分配后, 將對應執行的任務交給對應worker(從節點)來執行, worker對應有一個logger服務進行日志的記錄, 在執行過程中, 通過logger實時查看執行日志, 當執行完成后, 通知Master, Master進行狀態變更,同時告警服務實時監控狀態, 一旦發現狀態出現異常, 會立即根據所匹配的告警方案, 通知給相關的人員

創建自動化腳本?

?

DAG(Directed Acyclic Graph)，

中文名"有向無環圖"。"有向"指的是有方向，準確的說應該是同一個方向，"無環"則指夠不成閉環?

在DAG中，沒有區塊的概念，他的組成單元是一筆筆的交易，每個單元記錄的是單個用戶的交易，這樣就省去了打包出塊的時間。驗證手段則依賴于后一筆交易對前一筆交易的驗證，換句話說，你要想進行一筆交易，就必須要驗證前面的交易，具體驗證幾個交易，根據不同的規則來進行。這種驗證手段，使得DAG可以異步并發的寫入很多交易，并最終構成一種拓撲的樹狀結構，能夠極大地提高擴展性。

?hadoop 5個 hive2個 cm1個

全開的node1,17個服務

全開的node2 ,6個服務

個人自用啟動服務

datax-web啟動

cd /export/server/datax-web-2.1.2

?./bin/start-all.sh

海豚調度ds啟動

cd /export/server/dolphinscheduler/

./bin/start-all.sh

postgres 虛擬機使用pg數據庫服務

#psql -h 服務器 -p 端口地址 -d 數據庫 -U 用戶名????
psql -h 127.0.0.1 -p 5432 -d postgres -U postgres?

或者
psql -h hadoop01 -d postgres -U postgres
#密碼：itcast123

退出 \q

?