DolphinScheduler本地安裝部署與遠程任務調度管理實踐應用

文章目錄

    • 前言
    • 1. 安裝部署DolphinScheduler
      • 1.1 啟動服務
    • 2. 登錄DolphinScheduler界面
    • 3. 安裝內網穿透工具
    • 4. 配置Dolphin Scheduler公網地址
    • 5. 固定DolphinScheduler公網地址

前言

本篇教程和大家分享一下DolphinScheduler的安裝部署及如何實現公網遠程訪問,結合內網穿透工具實現公網訪問DolphinScheduler內網并進行遠程辦公,幫助開發人員進行遠程任務調度及管理,提高工作效率。

DolphinScheduler是一款開源的分布式任務調度系統,它可以幫助開發人員更加方便地進行任務調度和管理。DolphinScheduler支持常見的任務類型,包括Shell、Hadoop、Spark、Hive等,同時它也提供了可視化的任務編排和監控,使得任務管理變得更加簡單。DolphinScheduler的開發團隊源于支付寶的數據平臺團隊,經歷了多年的實踐和積累,已經成為了一個成熟的開源項目。

1. 安裝部署DolphinScheduler

前置條件:

需要安裝 Docker 1.13.1 以上版本,以及 Docker Compose 1.28.0 以上版本。

1.1 啟動服務

使用 standalone-server 鏡像

使用 standalone-server 鏡像啟動一個 DolphinScheduler standalone-server 容器應該是最快體驗 DolphinScheduler 的方法。通過這個方式 你可以最快速的體驗到 DolphinScheduler 的大部分功能,了解主要和概念和內容。

$ DOLPHINSCHEDULER_VERSION=3.2.0
$ docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -d apache/dolphinscheduler-standalone-server:"${DOLPHINSCHEDULER_VERSION}"

2. 登錄DolphinScheduler界面

啟動服務后,在瀏覽器中輸入http://localhost:12345/dolphinscheduler/ui 訪問DolphinScheduler.

默認的用戶名:admin 密碼:dolphinscheduler123

033a89e7e53e0e4f1dcae64e1c93caf

登錄成功后進入到DolphinScheduler的管理界面。

8ce631358b6cfe03c48132d7b754b83

3. 安裝內網穿透工具

完成DolphinScheduler的部署后,就可以安裝cpolar。要在ubuntu系統上安裝cpolar,可以使用簡便的一鍵安裝腳本進行安裝。只要在ubuntu的命令行界面輸入以下命令,就可以自動執行安裝程序(需要注意的是,可能有的ubuntu版本沒有安裝curl工具,因此最好先執行命令“sudo aptinstall curl”安裝curl工具)。

curl -L https://www.cpolar.com/static/downloads/install-release-cpolar.sh | sudo bash

Cpolar安裝完成后,就可以再輸入命令“sudo systemctl start cpolar”,啟動cpolar。

 sudo systemctl start cpolar

1dea9c95be75fa5bbf9401eabc1b741

當然,我們也可以不使用systemctl級別命令,而是輸入“cpolar version”

cpolar version

查詢本地cpolar的版本號,只要能顯示出版本信息,就說明cpolar安裝完成。

cced0680cde4be99c23458b0b445d75

為保證cpolar能在ubuntu系統上長期運行,以此保證數據隧道的穩定存續,最好將cpolar添加進ubuntu開機自啟列表。只要在ubuntu的命令行界面,輸入命令“sudo systemctl status cpolar”,就能將cpolar添加進自啟列表中。

sudo systemctl status cpolar

91dfd2231f70c9f12e373ce21b2682a

為保證每位用戶的數據安全,并為每位客戶創建單獨的數據隧道,cpolar以用戶密碼和token碼進行用戶驗證,因此我們在使用cpolar之前,需要進行用戶注冊。注冊過程非常簡單,只要在cpolar主頁右上角點擊“用戶注冊”,在注冊頁面填入必要信息,就能完成注冊。

官網地址:https://www.cpolar.com/

img

ab6f61e1f2c47b26731df28c783d555

完成cpolar用戶注冊后,我們就可以使用每位用戶唯一的token碼,激活cpolar的客戶端。只要在cpolar官網登錄后,就可以在“驗證”頁面(或是“連接您的賬戶”窗口),找到用戶唯一的token碼。

將這個token碼復制粘貼到ubuntu的命令行界面,cpolar客戶端就會將這個token碼寫入本地cpolar.yml文件中(token碼激活只需要進行一次即可),以此作為用戶數據隧道的識別信息。具體命令格式為“cpolar authtoken 用戶唯一的token碼”。

cpolar authtoken tokeb碼

cpolar安裝成功后,在外部瀏覽器上訪問9200端口,瀏覽器地址欄輸入localhost:9200,使用cpolar賬號登錄,登錄后即可看到cpolar web 配置界面,接下來在web 管理界面配置即可。

4. 配置Dolphin Scheduler公網地址

點擊左側儀表盤的隧道管理——創建隧道,創建一個Dolphin Scheduler的公網地址隧道!

  • 隧道名稱:可自定義命名,注意不要與已有的隧道名稱重復
  • 協議:選擇http
  • 本地地址:12345
  • 域名類型:免費選擇隨機域名
  • 地區:選擇China Top

點擊創建

e00c89e38881c5160b17560ee3ad66b

隧道創建成功后,點擊左側的狀態——在線隧道列表,查看所生成的公網訪問地址,有兩種訪問方式,一種是http 和https

8afd74ba640d7177d0ce56d554cdd44

注意,復制上面的cpolar https公網地址后面加上網站地址后面的路徑。例如:

http://22da3a53.r8.cpolar.top/dolphinscheduler/ui/login

在任意設備的瀏覽器進行訪問,即可成功看到DolphinScheduler登錄界面,這樣一個公網地址且可以遠程訪問就創建好了,使用了cpolar的公網地址,無需自己購買云服務器,即可發布到公網進行遠程訪問。

image-20231107170120563

5. 固定DolphinScheduler公網地址

由于以上使用cpolar所創建的隧道使用的是隨機公網地址,24小時內會隨機變化,不利于長期遠程訪問。因此我們可以為其配置二級子域名,該地址為固定地址,不會隨機變化【ps:cpolar.cn已備案】

注意需要將cpolar套餐升級至基礎套餐或以上,且每個套餐對應的帶寬不一樣。【cpolar.cn已備案】

登錄cpolar官網,點擊左側的預留,選擇保留二級子域名,設置一個二級子域名名稱,點擊保留,保留成功后復制保留的二級子域名名稱

保留成功后復制保留成功的二級子域名的名稱

image-20231107170642264

返回登錄cpolar web UI管理界面,點擊左側儀表盤的隧道管理——隧道列表,找到所要配置的隧道,點擊右側的編輯

image-20231107170748771

修改隧道信息,將保留成功的二級子域名配置到隧道中

  • 域名類型:選擇二級子域名
  • Sub Domain:填寫保留成功的二級子域名

點擊更新(注意,點擊一次更新即可,不需要重復提交)

image-20231107170842363

更新完成后,打開在線隧道列表,此時可以看到公網地址已經發生變化,地址名稱也變成了固定的二級子域名名稱的域名

image-20231107171008920

最后,我們使用固定的公網地址加網站地址后面路徑訪問,例如:

http://dolphinscheduler.vip.cpolar.cndolphinscheduler/ui/login

可以看到訪問成功,這樣一個固定且永久不變的公網地址就設置好了,隨時隨地都可以訪問DolphinScheduler內網并進行遠程辦公,幫助開發人員進行遠程任務調度及管理,提高工作效率!

image-20231107171147165

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/44245.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/44245.shtml
英文地址,請注明出處:http://en.pswp.cn/web/44245.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

自動駕駛AVM環視算法--540度全景的算法實現和exe測試demo

參考:金書世界 540度全景影像是什么 540度全景影像是在360度全景影像基礎上的升級功能,它增加了更多的攝像頭來收集周圍的圖像數據。通常,這些攝像頭分布在車輛的更多位置,例如車頂、車底等,以便更全面地捕捉車輛周圍…

無人機游學技術及前景分析

一、技術概述 無人機,即無人駕駛飛行器,通過遠程控制或自主飛行控制系統進行操作。隨著科技的快速發展,無人機技術日益成熟,不僅廣泛應用于軍事偵察、打擊等領域,也逐漸滲透到民用市場,包括農業植保、影視…

PostgreSQL17索引優化之支持并行創建BRIN索引

PostgreSQL17索引優化之支持并行創建BRIN索引 最近連續寫了幾篇關于PostgreSQL17優化器改進的文章,其實感覺還是挺有壓力的。對于原理性的知識點,一方面是對這些新功能也不熟悉,為了盡可能對于知識點表述或總結做到準確,因此需要…

華為認證試題有題庫嗎?華為認證題庫怎么領取?

在競爭激烈的就業環境下,若你擁有華為認證將可以提高個人綜合能力,更好的適應行業變化。相信大家都有聽說過想考取華為初級認證并不困難,因為它有專門的題庫供考生備考。 那么,到底華為認證試題有題庫嗎?華為認證題庫要怎么領取…

java并發編程之美-第1章 并發編程線程基礎-線程的創建與運行

文章目錄 1.什么是線程2. 線程創建和運行 1.什么是線程 進程是操作系統進行資源分配和調度的基本單位,線程是 CPU 分配的基本單位。 程序計數器用來記錄線程當前要執行的指令地址。CPU一般是使用時間片輪轉方式讓線程輪詢占用的,程序計數器是記錄線程…

【Django】報錯‘staticfiles‘ is not a registered tag library

錯誤截圖 錯誤原因總結 在django3.x版本中staticfiles被static替換了,所以這地方換位static即可完美運行 錯誤解決

callBack方式實現threejs點擊事件Raycaster

我用的的示例類發方式來初始化場景。 類里面定義點擊方法。 initMouse(fun) {window.addEventListener("click", (event) > {this.clickObject(event, fun);});}// 鼠標事件clickObject(event, fun) {// 計算點擊位置的歸一化設備坐標const mouse new THREE.Ve…

IO模型理論學習

1、什么是IO 計算機視角下的io AIO

“泰迪·曲靖師范學院數學與統計學院數據科學教學實訓平臺”工作室簽約揭牌儀式圓滿結束

為深化校企合作,實現應用型人才培養目標。泰迪智能科技攜手曲靖師范學院數學與統計學院共建“數據科學教學實訓平臺工作室”。 2024年7月10日,“?泰迪數學與統計學院數據科學教學實訓平臺”工作室揭牌儀式在曲靖師范學院舉行。泰迪智能科技昆明分公司院…

LPRNet 車牌識別部署 rk3588(pt-onnx-rknn)包含各個步驟完整板端代碼

雖然車牌識別技術很成熟了,但完全沒有接觸過。一直想搞一下、整一下、試一下、折騰一下,工作之余找了一個簡單的例子入個門。本博客簡單記錄一下 LPRNet 車牌識別部署 rk3588流程,訓練參考 LPRNet 官方代碼。 1、導出onnx ??導出onnx很容易…

EtherCAT設備配置:SCI EoeMacIp 文件與實際設備配置的比較過程

標題:EtherCAT設備配置:SCI文件與實際設備配置的比較過程 在工業自動化領域,EtherCAT(Ethernet for Control Automation Technology)作為一種高效的實時以太網協議,正在被廣泛應用。在EtherCAT網絡的配置過…

SW - 將面導出為dxf

文章目錄 SW - 將面導出為dxf概述筆記原點問題END SW - 將面導出為dxf 概述 在做PCB板框. 以前做過一個筆記,用autoCAD來制作導出dxf(cadence SPB17.4 - 用autoCAD2022畫一個PCB板框)。 不喜歡用autoCAD(相對麻煩), 還是喜歡用SW&#xff0…

異步日志:性能優化的金鑰匙

一、背景 2024 年 4 月的一個寧靜的夜晚,正當大家忙完一天的工作準備休息時,應急群里“咚咚咚”開始報警,提示我們余利寶業務的贖回接口成功率下降。 通過 Monitor 監控發現,該接口的耗時已經超過了網關配置的超時閾值(2s)&#…

Spring Cloud Alibaba整合Seata實戰

Spring Cloud Alibaba整合Seata實戰 1.啟動Seata Server 1.1 環境準備 1)指定nacos作為配置中心和注冊中心 修改registry.conf文件 注意:客戶端配置registry.conf使用nacos時也要注意group要和seata server中的group一致,默認group是&quo…

我的PHP8編譯日志

編譯命令在arm和x86架構上是一樣的,如果缺少依賴庫,按需要安裝: 登錄后復制 yuminstall libcurl libcurl-devel yum install openssl openssl-devel yum install pcre2 pcre2-devel yum install libxml2 libxml2-devel 1.2.3.4. 配置和編譯&…

Linux--生產消費模型

線程系列: Linux–線程的認識(一) Linux–線程的分離、線程庫的地址關系的理解、線程的簡單封裝(二) 線程的互斥:臨界資源只能在同一時間被一個線程使用 生產消費模型 生產消費模型是多線程編程和分布式系統中的一個經典概念&…

我們水冷使制動電阻功率密度成倍增加-水冷電阻設計工廠

先進陶瓷 我們后來發現工業應用中對占用空間最小的水冷電阻器的工業需求,推出了適用于中壓工業應用的水冷電阻器。它的特點是兩塊由具有特殊性能的先進陶瓷制成的板。 使用工業電驅動裝置的一個重要好處是,可靠的再生和動態制動系統可以補充或取代傳統…

Llama2 訓練指南

Llama2 是一個基于 Python 的機器學習框架,旨在幫助開發者快速構建和部署機器學習模型。下面是 Llama2 訓練指南,旨在幫助您了解如何使用 Llama2 訓練模型。 概述 Llama2 提供了多種方式來訓練模型,包括使用 Keras 和 TensorFlow。下面是在…

Laravel :如何將Excel文件導入數據庫

文章目錄 一、前提二、使用2.1、新建一個導入文件2.2、新建一個控制器和方法,調用導入文件2.3、 新建一個頁面,支持文件上傳 一、前提 想要將excel內容入庫,laravel有擴展可以使用,常用的擴展是maatwebsite/excel,安裝步驟參考上一篇&#x…

力扣 202快樂數

快樂數這題有兩個關鍵 一個是求n的 各個位上平方和 另一個是判斷是否為快樂數的依據是是否在哈希表中找到已經出現過的數 1求各個位上平方和方法 定義sum sum N除以十取余的平方和 n/10 循環終止條件是n0 2查找一個數是否出現,用哈希表unordered_set &…