🔥🔥 AllData大數據產品是可定義數據中臺,以數據平臺為底座,以數據中臺為橋梁,以機器學習平臺為中層框架,以大模型應用為上游產品,提供全鏈路數字化解決方案。
?杭州奧零數據科技官網:http://www.aolingdata.com
?AllData開源項目:https://github.com/alldatacenter/alldata
?Gitee組織:https://gitee.com/alldatacenter
摘要:實時開發IDE基于開源項目Dinky建設,提供了輕量化部署、智能化開發體驗、高效任務管理與運維以及豐富的生態集成與擴展性等功能特點。內容主要為以下五部分:
一、在線演示環境
二、功能簡介
三、源碼編譯部署安裝
四、訪問實時開發IDE頁面
五、常見問題與解決方案
💡Tips:關注「公眾號」大數據商業驅動引擎
🔹AllData數據中臺線上正式環境:http://43.138.156.44:5173/ui_moat/
請聯系市場總監獲取賬號密碼
2.1 實時開發IDE基于開源項目Dinky建設
實時開發IDE(Dinky)是一款基于Apache Flink構建的一站式實時計算平臺。
提供了輕量化部署、智能化開發體驗、高效任務管理與運維以及豐富的生態集成與擴展性等功能特點,適用于邊緣計算、IoT設備等資源受限場景,以及市場趨勢預測、用戶行為實時響應、產品性能動態監控等多種實時計算場景。
🔹Dinky開源項目:https://github.com/DataLinkDC/dinky
🔹Dinky文檔地址:https://www.dinky.org.cn
2.2 實時開發IDE功能特點
- 輕量化與開箱即用
- 智能化開發體驗
- 高校任務管理與運維
- 生態集成與擴展性
- 企業級應用場景
💡部署步驟:
3.1 環境準備
🔹操作系統要求:
推薦 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。
🔹網絡要求:
確保服務器網絡通暢,能夠訪問所需資源。
🔹依賴工具:
JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存儲元數據和作業信息)Node.js(如需前端編譯)
3.2 穩定版本
–Dinky集成版本opensource.version=1.2.1
3.3 源碼編譯部署獲取安裝包
4.1 功能概覽
4.2 數據開發
4.3 數據同步-M2Sql
4.4 數據開發-實時ETL
4.5 數據同步-批處理任務SQL開發
4.6 數據開發-實時ETL
4.7 Dinky測試單表離線同步(Mysql2Doris)
4.8Dinky測試整庫同步+實時增量同步(Mysql2Doris)
🔹源數據庫6條數據庫
🔹目標Doris數據庫6條數據庫
🔹源數據庫6條數據庫,新增2條,目標數據庫實時同步增加2條,合計8條數據
🔹Doris目標數據庫實時同步增加2條,合計8條數據,驗證通過?
🔹Flink Runtime Web
4.9 實時開發IDE-運維中心
4.10 運維中心-任務版本信息
4.11 運維中心-SQL血緣
4.12 注冊中心-Flink實例
4.13 注冊中心-集群管理
4.14 創建集群配置
4.15 注冊中心-數據源管理
4.16 創建數據源
4.17 注冊中心-告警策略管理
4.18 創建告警實例
4.19 創建告警組
4.20 告警模版
4.21 創建模版
4.22 告警策略
4.23 新建告警策略
4.24 文件
4.25 創建文檔
4.26 創建全局變量
4.27 Cit 項目(Beta)
4.28 創建項目
4.29 注冊中心-UDF模版管理
4.30 注冊UDF
4.31 認證中心
4.32 認證中心-菜單管理
4.33 添加用戶
4.34 修改用戶
4.35 分配角色
4.36 修改密碼
4.37 角色
4.38 創建角色
4.39 菜單
4.40 行權限-創建行權限
4.41 租戶
4.42 創建租戶
4.43 令牌-創建Token
4.44 配置中心
4.45 配置中心-Metrics配置管理
4.46 配置中心-類加載器管理-服務依賴檢測
4.47 配置中心-系統日志-Root Logs
4.48 配置中心-系統日志-Log List
4.49 配置中心-類加載器 Jars
4.50 看板-創建儀表盤
5.1 依賴沖突
確保 JDK 和 Maven 版本與項目要求一致。
使用 mvn dependency:tree 解決依賴沖突。
5.2 數據庫連接失敗
檢查 application.yml 中的數據庫配置是否正確。確保 MySQL 服務可訪問。
5.3 端口沖突
如果 8888 端口被占用,可在配置文件中修改 server.port 參數。
5.4 版本不匹配
確保 Dinky 版本與 Flink 版本對應,依賴包放置在正確的目錄下。