Apache DolphinScheduler 非常適用于實時數據處理場景,尤其是與 Apache Flink 的集成。DolphinScheduler 提供了豐富的功能,包括任務依賴管理、動態調度、實時監控和日志管理,能夠有效簡化 Flink 實時任務的管理和部署。通過 DolphinScheduler 的可視化界面,用戶可以輕松創建和配置 Flink 任務,設置任務的調度規則,并實時監控任務的執行狀態,幫助企業高效地處理大規模實時數據,提升數據處理的效率和可靠性。
本文將詳細演示如何使用 Apache DolphinScheduler 調度 Flink 實時任務。
-
在“項目管理”>>“工作流定義” 里邊創建工作流
-
選擇flink_stream
-
選擇安裝flink服務的節點worker分組 程序類型選擇 sql
-
在“腳本” 編寫框輸入 flink-sql主代碼
-
選擇flink版本,指定任務名稱,配置資源參數 最后點擊確認保存
-
在任務定義>> 實時任務列表找到剛才編寫的 flink_stream 任務流,點擊執行
本文由 白鯨開源科技 提供發布支持!