分布式任務調度平臺XXL-JOB安裝及使用

簡介

XXL-JOB是一個分布式任務調度平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼并接入多家公司線上產品線,開箱即用。

源碼github地址

源碼gitee地址

中文文檔地址?

中央倉庫地址

<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
<dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>${最新穩定版本}</version>
</dependency>

?

特性

  • 1、簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;
  • 2、動態:支持動態修改任務狀態、啟動/停止任務,以及終止運行中任務,即時生效;
  • 3、調度中心HA(中心式):調度采用中心式設計,“調度中心”自研調度組件并支持集群部署,可保證調度中心HA;
  • 4、執行器HA(分布式):任務分布式執行,任務”執行器”支持集群部署,可保證任務執行HA;
  • 5、注冊中心: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務并觸發執行。同時,也支持手動錄入執行器地址;
  • 6、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務;
  • 7、觸發策略:提供豐富的任務觸發策略,包括:Cron觸發、固定間隔觸發、固定延時觸發、API(事件)觸發、人工觸發、父子任務觸發;
  • 8、調度過期策略:調度中心錯過調度時間的補償處理策略,包括:忽略、立即補償觸發一次等;
  • 9、阻塞處理策略:調度過于密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄后續調度、覆蓋之前調度;
  • 10、任務超時控制:支持自定義任務超時時間,任務運行超時將會主動中斷任務;
  • 11、任務失敗重試:支持自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支持分片粒度的失敗重試;
  • 12、任務失敗告警;默認提供郵件方式失敗告警,同時預留擴展接口,可方便的擴展短信、釘釘等告警方式;
  • 13、路由策略:執行器集群部署時提供豐富的路由策略,包括:第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;
  • 14、分片廣播任務:執行器集群部署時,任務路由策略選擇”分片廣播”情況下,一次任務調度將會廣播觸發集群中所有執行器執行一次任務,可根據分片參數開發分片任務;
  • 15、動態分片:分片廣播任務以執行器為維度進行分片,支持動態擴容執行器集群從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度。
  • 16、故障轉移:任務路由策略選擇”故障轉移”情況下,如果執行器集群中某一臺機器故障,將會自動Failover切換到一臺正常的執行器發送調度請求。
  • 17、任務進度監控:支持實時監控任務進度;
  • 18、Rolling實時日志:支持在線查看調度結果,并且支持以Rolling方式實時查看執行器輸出的完整的執行日志;
  • 19、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發布,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
  • 20、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
  • 21、命令行任務:原生提供通用命令行任務Handler(Bean任務,”CommandJobHandler”);業務方只需要提供命令行即可;
  • 22、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
  • 23、一致性:“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行;
  • 24、自定義任務參數:支持在線配置調度任務入參,即時生效;
  • 25、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;
  • 26、數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性;
  • 27、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址群發報警郵件;
  • 28、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
  • 29、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分布圖,調度成功分布圖等;
  • 30、全異步:任務調度流程全異步化設計實現,如異步調度、異步運行、異步回調等,有效對密集調度進行流量削峰,理論上支持任意時長任務的運行;
  • 31、跨語言:調度中心與執行器提供語言無關的 RESTful API 服務,第三方任意語言可據此對接調度中心或者實現執行器。除此之外,還提供了 “多任務模式”和“httpJobHandler”等其他跨語言方案;
  • 32、國際化:調度中心支持國際化設置,提供中文、英文兩種可選語言,默認為中文;
  • 33、容器化:提供官方docker鏡像,并實時更新推送dockerhub,進一步實現產品開箱即用;
  • 34、線程池隔離:調度線程池進行隔離拆分,慢任務自動降級進入”Slow”線程池,避免耗盡調度線程,提高系統穩定性;
  • 35、用戶管理:支持在線管理系統用戶,存在管理員、普通用戶兩種角色;
  • 36、權限控制:執行器維度進行權限控制,管理員擁有全量權限,普通用戶需要分配執行器權限后才允許相關操作;

安裝

環境依賴

  • Maven3+
  • Jdk1.8+
  • Mysql5.7+

下載源碼并解壓

初始化“調度數據庫”

請下載項目源碼并解壓,獲取 “調度數據庫初始化SQL腳本” 并執行即可。?

“調度數據庫初始化SQL腳本” 位置為:? ?/xxl-job/doc/db/tables_xxl_job.sql

?

編譯源碼

解壓源碼,按照maven格式將源碼導入IDE, 使用maven進行編譯即可,源碼結構如下:.

xxl-job-admin:調度中心
xxl-job-core:公共依賴
xxl-job-executor-samples:執行器Sample示例(選擇合適的版本執行器,可直接使用,也可以參考其并將現有項目改造成執行器):xxl-job-executor-sample-springboot:Springboot版本,通過Springboot管理執行器,推薦這種方式;:xxl-job-executor-sample-frameless:無框架版本;

配置部署“調度中心”

調度中心項目:xxl-job-admin
作用:統一管理任務調度平臺上調度任務,負責觸發調度執行,并且提供任務管理平臺。

步驟一:調度中心配置:

調度中心配置文件地址:

/xxl-job/xxl-job-admin/src/main/resources/application.properties

調度中心配置內容說明:

### 調度中心JDBC鏈接:鏈接地址請保持和 2.1章節 所創建的調度數據庫的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 報警郵箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 調度中心通訊TOKEN [選填]:非空時啟用;
xxl.job.accessToken=
### 調度中心國際化配置 [必填]: 默認為 "zh_CN"/中文簡體, 可選范圍為 "zh_CN"/中文簡體, "zh_TC"/中文繁體 and "en"/英文;
xxl.job.i18n=zh_CN
## 調度線程池最大線程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 調度中心日志表數據保存天數 [必填]:過期日志自動清理;限制大于等于7時生效,否則, 如-1,關閉自動清理功能;
xxl.job.logretentiondays=30

步驟二:部署項目:

如果已經正確進行上述配置,可將項目編譯打包部署。

調度中心訪問地址:http://localhost:8080/xxl-job-admin?(該地址執行器將會使用到,作為回調地址)

默認登錄賬號 “admin/123456”, 登錄后運行界面如下圖所示。

至此“調度中心”項目已經部署成功。?

步驟三:調度中心集群(可選):

調度中心支持集群部署,提升調度系統容災和可用性。

調度中心集群部署時,幾點要求和建議:

  • DB配置保持一致;
  • 集群機器時鐘保持一致(單機集群忽視);
  • 建議:推薦通過nginx為調度中心集群做負載均衡,分配域名。調度中心訪問、執行器回調配置、調用API服務等操作均通過該域名進行。

其他:Docker 鏡像方式搭建調度中心:

  • 下載鏡像
// Docker地址:https://hub.docker.com/r/xuxueli/xxl-job-admin/     (建議指定版本號)
docker pull xuxueli/xxl-job-admin
  • 創建容器并運行
docker run -p 8080:8080 -v /tmp:/data/applogs --name xxl-job-admin  -d xuxueli/xxl-job-admin:{指定版本}
/**
* 如需自定義 mysql 等配置,可通過 "-e PARAMS" 指定,參數格式 PARAMS="--key=value  --key2=value2" ;
* 配置項參考文件:/xxl-job/xxl-job-admin/src/main/resources/application.properties
* 如需自定義 JVM內存參數 等配置,可通過 "-e JAVA_OPTS" 指定,參數格式 JAVA_OPTS="-Xmx512m" ;
*/
docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai" -p 8080:8080 -v /tmp:/data/applogs --name xxl-job-admin  -d xuxueli/xxl-job-admin:{指定版本}

配置部署“執行器項目”

“執行器”項目:xxl-job-executor-sample-springboot (提供多種版本執行器供選擇,現以 springboot 版本為例,可直接使用,也可以參考其并將現有項目改造成執行器)
作用:負責接收“調度中心”的調度并執行;可直接部署執行器,也可以將執行器集成到現有業務項目中。

步驟一:maven依賴?

確認pom文件中引入了 “xxl-job-core” 的maven依賴;

步驟二:執行器配置

執行器配置,配置文件地址:

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties

執行器配置,配置內容說明:

### 調度中心部署根地址 [選填]:如調度中心集群部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳注冊"和"任務結果回調";為空則關閉自動注冊;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 執行器通訊TOKEN [選填]:非空時啟用;
xxl.job.accessToken=
### 執行器AppName [選填]:執行器心跳注冊分組依據;為空則關閉自動注冊
xxl.job.executor.appname=xxl-job-executor-sample
### 執行器注冊 [選填]:優先使用該配置作為注冊地址,為空時使用內嵌服務 ”IP:PORT“ 作為注冊地址。從而更靈活的支持容器類型執行器動態IP和動態映射端口問題。
xxl.job.executor.address=
### 執行器IP [選填]:默認為空表示自動獲取IP,多網卡時可手動設置指定IP,該IP不會綁定Host僅作為通訊實用;地址信息用于 "執行器注冊" 和 "調度中心請求并觸發任務";
xxl.job.executor.ip=
### 執行器端口號 [選填]:小于等于0則自動獲取;默認端口為9999,單機部署多個執行器時,注意要配置不同執行器端口;
xxl.job.executor.port=9999
### 執行器運行日志文件存儲磁盤路徑 [選填] :需要對該路徑擁有讀寫權限;為空則使用默認路徑;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 執行器日志文件保存天數 [選填] : 過期日志自動清理, 限制值大于等于3時生效; 否則, 如-1, 關閉自動清理功能;
xxl.job.executor.logretentiondays=30

步驟三:執行器組件配置

執行器組件,配置文件地址:

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/core/config/XxlJobConfig.java

執行器組件,配置內容說明:

@Bean
public XxlJobSpringExecutor xxlJobExecutor() {logger.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppname(appname);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);return xxlJobSpringExecutor;
}

?步驟四:部署執行器項目:

如果已經正確進行上述配置,可將執行器項目編譯打部署,系統提供多種執行器Sample示例項目,選擇其中一個即可,各自的部署方式如下。

xxl-job-executor-sample-springboot:項目編譯打包成springboot類型的可執行JAR包,命令啟動即可;
xxl-job-executor-sample-frameless:項目編譯打包成JAR包,命令啟動即可;

至此“執行器”項目已經部署結束。

步驟五:執行器集群(可選):

執行器支持集群部署,提升調度系統可用性,同時提升任務處理能力。

執行器集群部署時,幾點要求和建議:

  • 執行器回調地址(xxl.job.admin.addresses)需要保持一致;執行器根據該配置進行執行器自動注冊等操作。
  • 同一個執行器集群內AppName(xxl.job.executor.appname)需要保持一致;調度中心根據該配置動態發現不同集群的在線執行器列表。

源碼分析執行器

這是官網文檔,反正到這邊我沒看懂執行器應該怎么寫

我們注冊了一個XxlJobSpringExecutor類型的執行器? 如下

進去看看,發現實現了afterSingletonsInstantiated,在初始化完成后會調用afterSingletonsInstantiated方法

由注釋可知關鍵代碼在initJobHandlerMethodRepository(applicationContext);中,進去看看

由上面代碼可知注冊jobhandler的方法是registJobHandler(),方法如下

這邊把執行器包裝成執行器MethodJobHandler

由上面代碼可知注冊jobhandler的方法是registJobHandler(),方法如下

把所有的處理器放到一個map中

我發現使用這個map的地方有兩個,一個是校驗名字,另一個是調用時候使用的

這方法是執行任務的時候會調用?

?獲取執行器流程,如果在緩存中找到處理器,證明改處理器正在執行,需要看拒絕策略

?總結:由上面分析可知,只要在bean中定義方法,使用@XxlJob標注,并且必須要指定name屬性,這樣就定義好了一個執行器

建任務并執行

執行的時候可以輸入參數,那我們這個參數從哪里獲取呢,那我們進入JobThread中斷點,發現最后的參數會設置到XxlJobContext中

?那我們進去看看,發現會被存到ThreadLocal中,那我們使用的時候只需要使用

XxlJobContext.getXxlJobContext();即可獲得頁面輸入的參數

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/713198.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/713198.shtml
英文地址,請注明出處:http://en.pswp.cn/news/713198.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

云原生團隊如何實現加量不加價

隨著云原生技術的快速發展&#xff0c;越來越多的業務實現了上云&#xff0c;云原生團隊在工作量增大的同時也隨之變成了所有問題對接的入口&#xff0c;如何承擔這個保姆的角色成為了一道難題&#xff0c;故障的定界和問題證據的交接更是讓人頭疼的問題。在這種情況下需要有工…

Python Web開發記錄 Day5:jQuery(JavaScript庫)

名人說&#xff1a;莫道桑榆晚&#xff0c;為霞尚滿天。——劉禹錫&#xff08;劉夢得&#xff0c;詩豪&#xff09; 創作者&#xff1a;Code_流蘇(CSDN)&#xff08;一個喜歡古詩詞和編程的Coder&#x1f60a;&#xff09; 目錄 五、jQuery1、jQuery-選擇器和菜單案例①快速上…

水經微圖Web版1.6.0發布

讓每一個人都有自己的地圖&#xff01; 水經微圖&#xff08;簡稱“微圖”&#xff09;新版已上線&#xff0c;在該版本中主要新增了點線面圖層分組樣式設置、圖層排序并按序繪制、KML支持矢量符號的存儲、KML支持態勢標繪要素存儲和新增歷史地圖文本樣式等。 現在&#xff0…

Linux系統加固:限制用戶對資源的使用禁止IP源路由更改主機解析地址的順序設置umask值

Linux系統加固&#xff1a;限制用戶對資源的使用&禁止IP源路由&更改主機解析地址的順序&設置umask值 1.1 限制用戶對資源的使用1.2 禁止IP源路由1.3 更改主機解析地址的順序1.4 禁止ip路由轉發1.5 設置umask值 &#x1f496;The Begin&#x1f496;點點關注&#x…

Node 實現身份認證 token 的生成與應用

前后分離要用jwt進行認證&#xff0c;跨域 前后不分離要用session進行認證&#xff0c;不跨域 安裝 npm init npm install express npm install cors(解決跨域問題 ) npm install jsonwebtoken&#xff08;生成token字符串&#xff09; npm install express-jwt7(反轉成信…

數學建模的論文手應該如何準備?

數學建模的論文手應該如何準備&#xff1f; 寫論文的爭議點論文如何構建1. 文章結構1.1 摘要1.2 問題重述1.3 問題分析1.4 模型假設1.5 符號說明1.6 模型的建立與求解關于模型陳述問題和模型過程中模型求解 1.7 模型的檢驗分析1.8 模型評價和推廣1.9 參考文獻1.10 附錄 2. 常用…

AtCoder Beginner Contest 341

C - Takahashi Gets Lost 分析&#xff1a;數據小&#xff0c;暴力沒什么好說的 int h,w,n; string t; char c[505][505]; int dx[4]{1,-1,0,0}; int dy[4]{0,0,1,-1}; int get(char c){if(cL)return 3;if(cU)return 1;if(cR)return 2;return 0; } int check(int x,int y,int …

38.云原生之Istio安全-流量鑒權加密

云原生專欄大綱 文章目錄 TLS 和 mTLSTLS 和 mTLS使用場景TLS 加密通信的流程終止 TLS什么時候用 mTLS&#xff1f;什么時候不用 mTLS&#xff1f; 流量加密入口流量加密內部流量加密PeerAuthentication 為工作負載設置 mTLSDestinationRule 為工作負載設置 mTLS 安全最佳實戰…

OpenAI 中文文檔

模型&#xff08;Model&#xff09; https://openai.xiniushu.com/docs/modelsOpenAI 中文文檔

hive 中少量數據驗證函數的方法-stack

可以使用 stack 將少量數據直接寫在sql中,然后用于驗證是否正確 1、每個省累計銷量前1名的城市 t1(pro_name,city_name,sale_num,sale_date&#xff09; 源數據&#xff1a; ‘河北’,‘石家莊’,‘1’,‘2022-01-01’ ,‘河北’,‘石家莊’,‘2’,‘2022-01-02’ ,‘河北’,‘…

【vue3 路由使用與講解】vue-router : 超詳細全面介紹

# 核心內容介紹 路由跳轉有兩種方式&#xff1a; 聲明式導航&#xff1a;<router-link :to"...">編程式導航&#xff1a;router.push(...) 或 router.replace(...) &#xff1b;兩者的規則完全一致。 push(to: RouteLocationRaw): Promise<NavigationFailur…

Secure Boot(安全啟動)

Secure Boot&#xff08;安全啟動&#xff09;的原理基于鏈式驗證&#xff0c;這是一種確保計算機在啟動過程中只加載和執行經過認證的軟件的機制。這個過程涉及到硬件、固件和操作系統的多個層面。以下是Secure Boot的基本原理&#xff1a; 密鑰和證書&#xff1a;Secure Boot…

day07_分類管理EasyExcel品牌管理

文章目錄 1 分類管理1.1 菜單添加1.2 表結構介紹1.3 頁面制作1.4 列表查詢1.4.1 需求分析1.4.2 后端接口CategoryCategoryControllerCategoryServiceCategoryMapperCategoryMapper.xml 1.4.3 前端對接category.jscategory.vue 2 EasyExcel2.1 數據導入導出意義2.2 EasyExcel簡介…

ABAP - SALV教程 01- 開篇:打開SALV的三種方式之一

關于SALV&#xff0c;這里參考巨佬江正軍的文章講解&#xff0c;在做SAP開發的遇到困難和瓶頸的時候&#xff0c;每每讀到巨佬的文章都會靈感爆發、醍醐灌頂。https://www.cnblogs.com/jiangzhengjun/p/4291387.html 博主由于是由JAVA轉型的ABAP開發&#xff0c;剛接觸ABAP的時…

力扣細節題:判斷是否為平衡二叉樹

經典題&#xff0c;需要記憶&#xff0c;且注意fabs和fmax函數的使用 /*** Definition for a binary tree node.* struct TreeNode {* int val;* struct TreeNode *left;* struct TreeNode *right;* };*/int deep(struct TreeNode*root){if(rootNULL){return 0;}r…

Unity3D 渲染隊列 ZTest與ZWrite詳解

前言 在Unity3D中&#xff0c;渲染隊列&#xff08;Rendering Queue&#xff09;是一個非常重要的概念&#xff0c;它決定了游戲中各個物體的渲染順序和優先級。而在渲染隊列中&#xff0c;ZTest和ZWrite又是兩個關鍵的參數&#xff0c;它們決定了物體在渲染的過程中如何處理深…

研發效能最佳實踐:持續集成應用實踐丨IDCF

作者&#xff1a;謝帶達 研發效能&#xff08;DevOps&#xff09;工程師&#xff08;中級&#xff09;認證學員 一、DevOps概述 DevOps的發展可以追溯到2009年&#xff0c;當時由Patrick Debois和Andrew Clay Shafer發起了第一次DevOps Days會議。隨后&#xff0c;DevOps開始…

【R語言簡介】講解

R語言簡介&#xff0c;環境與基礎語法及注釋 1. R語言簡介2. 環境安裝3. 基礎語法3.1 變量賦值3.2 數據結構3.3 函數調用3.4 控制流3.5 注釋 4. 基本的數據操作和函數 1. R語言簡介 R語言是一種專為統計分析、數據挖掘和圖形展示而設計的編程語言和軟件環境&#xff0c;它由統…

應用引導頁配置相關 - iOS

應用引導頁配置相關,通過 ScrollView 滑動至末頁點擊進入主頁,具體實現方式如下,可供參考; /**加載引導頁*/ - (void)loadGuidePage {// 基礎配置self.window [[UIWindow alloc] initWithFrame:SCREEN_RECT];self.window.backgroundColor [UIColor whiteColor];viewControll…

永磁同步電機無感FOC(龍伯格觀測器)算法技術總結-實戰篇

文章目錄 1、ST龍伯格算法分析&#xff08;定點數&#xff09;1.1 符號說明1.2 最大感應電動勢計算1.3 系數計算1.4 龍伯格觀測器計算1.5 鎖相環計算1.6 觀測器增益計算1.7 鎖相環PI計算&#xff08;ST&#xff09;1.8 平均速度的用意 2、啟動策略2.1 V/F壓頻比控制2.2 I/F壓頻…