mysql-airflow
在mysql上執行
create database airflow; —— 創建數據庫
GRANT all privileges on airflow.* TO 'airflow'@'%' IDENTIFIED BY '123456'; —— 將數據庫airflow的所有權限授權airflow用戶,密碼123456且該用戶可在任何IP段登錄操作
FLUSH PRIVILEGES; —— 刷新權限
set explicit_defaults_for_timestamp = 1;
修改airflow配置文件airflow.cfg
初始化數據庫
airflow initdb
若之前使用sqllite初始化過可使用airflow resetdb
airflow-LocalExecutor
修改執行器,使airflow并發調度任務
修改配置文件airflow.cfg
executor = LocalExecutor
重啟scheduler即可(默認并發調度16)
分布式問題
1.需要使用同步方式解決dags目錄與worker的同步問題——待解決