文章目錄
- 前言
- 1. 安裝部署DolphinScheduler
- 1.1 啟動服務
- 2. 登錄DolphinScheduler界面
- 3. 安裝內網穿透工具
- 4. 配置Dolphin Scheduler公網地址
- 5. 固定DolphinScheduler公網地址
前言
本篇教程和大家分享一下DolphinScheduler的安裝部署及如何實現公網遠程訪問,結合內網穿透工具實現公網訪問DolphinScheduler內網并進行遠程辦公,幫助開發人員進行遠程任務調度及管理,提高工作效率。
DolphinScheduler是一款開源的分布式任務調度系統,它可以幫助開發人員更加方便地進行任務調度和管理。DolphinScheduler支持常見的任務類型,包括Shell、Hadoop、Spark、Hive等,同時它也提供了可視化的任務編排和監控,使得任務管理變得更加簡單。DolphinScheduler的開發團隊源于支付寶的數據平臺團隊,經歷了多年的實踐和積累,已經成為了一個成熟的開源項目。
1. 安裝部署DolphinScheduler
前置條件:
需要安裝 Docker 1.13.1 以上版本,以及 Docker Compose 1.28.0 以上版本。
1.1 啟動服務
使用 standalone-server 鏡像
使用 standalone-server 鏡像啟動一個 DolphinScheduler standalone-server 容器應該是最快體驗 DolphinScheduler 的方法。通過這個方式 你可以最快速的體驗到 DolphinScheduler 的大部分功能,了解主要和概念和內容。
$ DOLPHINSCHEDULER_VERSION=3.2.0
$ docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -d apache/dolphinscheduler-standalone-server:"${DOLPHINSCHEDULER_VERSION}"
2. 登錄DolphinScheduler界面
啟動服務后,在瀏覽器中輸入http://localhost:12345/dolphinscheduler/ui 訪問DolphinScheduler.
默認的用戶名:admin 密碼:dolphinscheduler123
登錄成功后進入到DolphinScheduler的管理界面。
3. 安裝內網穿透工具
完成DolphinScheduler的部署后,就可以安裝cpolar。要在ubuntu系統上安裝cpolar,可以使用簡便的一鍵安裝腳本進行安裝。只要在ubuntu的命令行界面輸入以下命令,就可以自動執行安裝程序(需要注意的是,可能有的ubuntu版本沒有安裝curl工具,因此最好先執行命令“sudo aptinstall curl”安裝curl工具)。
curl -L https://www.cpolar.com/static/downloads/install-release-cpolar.sh | sudo bash
Cpolar安裝完成后,就可以再輸入命令“sudo systemctl start cpolar”,啟動cpolar。
sudo systemctl start cpolar
當然,我們也可以不使用systemctl級別命令,而是輸入“cpolar version”
cpolar version
查詢本地cpolar的版本號,只要能顯示出版本信息,就說明cpolar安裝完成。
為保證cpolar能在ubuntu系統上長期運行,以此保證數據隧道的穩定存續,最好將cpolar添加進ubuntu開機自啟列表。只要在ubuntu的命令行界面,輸入命令“sudo systemctl status cpolar”,就能將cpolar添加進自啟列表中。
sudo systemctl status cpolar
為保證每位用戶的數據安全,并為每位客戶創建單獨的數據隧道,cpolar以用戶密碼和token碼進行用戶驗證,因此我們在使用cpolar之前,需要進行用戶注冊。注冊過程非常簡單,只要在cpolar主頁右上角點擊“用戶注冊”,在注冊頁面填入必要信息,就能完成注冊。
官網地址:https://www.cpolar.com/
完成cpolar用戶注冊后,我們就可以使用每位用戶唯一的token碼,激活cpolar的客戶端。只要在cpolar官網登錄后,就可以在“驗證”頁面(或是“連接您的賬戶”窗口),找到用戶唯一的token碼。
將這個token碼復制粘貼到ubuntu的命令行界面,cpolar客戶端就會將這個token碼寫入本地cpolar.yml文件中(token碼激活只需要進行一次即可),以此作為用戶數據隧道的識別信息。具體命令格式為“cpolar authtoken 用戶唯一的token碼”。
cpolar authtoken tokeb碼
cpolar安裝成功后,在外部瀏覽器上訪問9200端口,瀏覽器地址欄輸入localhost:9200,使用cpolar賬號登錄,登錄后即可看到cpolar web 配置界面,接下來在web 管理界面配置即可。
4. 配置Dolphin Scheduler公網地址
點擊左側儀表盤的隧道管理——創建隧道,創建一個Dolphin Scheduler的公網地址隧道!
- 隧道名稱:可自定義命名,注意不要與已有的隧道名稱重復
- 協議:選擇http
- 本地地址:12345
- 域名類型:免費選擇隨機域名
- 地區:選擇China Top
點擊創建
隧道創建成功后,點擊左側的狀態——在線隧道列表,查看所生成的公網訪問地址,有兩種訪問方式,一種是http 和https
注意,復制上面的cpolar https公網地址后面加上網站地址后面的路徑。例如:
http://22da3a53.r8.cpolar.top/dolphinscheduler/ui/login
在任意設備的瀏覽器進行訪問,即可成功看到DolphinScheduler登錄界面,這樣一個公網地址且可以遠程訪問就創建好了,使用了cpolar的公網地址,無需自己購買云服務器,即可發布到公網進行遠程訪問。
5. 固定DolphinScheduler公網地址
由于以上使用cpolar所創建的隧道使用的是隨機公網地址,24小時內會隨機變化,不利于長期遠程訪問。因此我們可以為其配置二級子域名,該地址為固定地址,不會隨機變化【ps:cpolar.cn已備案】
注意需要將cpolar套餐升級至基礎套餐或以上,且每個套餐對應的帶寬不一樣。【cpolar.cn已備案】
登錄cpolar官網,點擊左側的預留,選擇保留二級子域名,設置一個二級子域名名稱,點擊保留,保留成功后復制保留的二級子域名名稱
保留成功后復制保留成功的二級子域名的名稱
返回登錄cpolar web UI管理界面,點擊左側儀表盤的隧道管理——隧道列表,找到所要配置的隧道,點擊右側的編輯
修改隧道信息,將保留成功的二級子域名配置到隧道中
- 域名類型:選擇二級子域名
- Sub Domain:填寫保留成功的二級子域名
點擊更新
(注意,點擊一次更新即可,不需要重復提交)
更新完成后,打開在線隧道列表,此時可以看到公網地址已經發生變化,地址名稱也變成了固定的二級子域名名稱的域名
最后,我們使用固定的公網地址加網站地址后面路徑訪問,例如:
http://dolphinscheduler.vip.cpolar.cndolphinscheduler/ui/login
可以看到訪問成功,這樣一個固定且永久不變的公網地址就設置好了,隨時隨地都可以訪問DolphinScheduler內網并進行遠程辦公,幫助開發人員進行遠程任務調度及管理,提高工作效率!