實時開發IDE部署指南

🔥🔥 AllData大數據產品是可定義數據中臺,以數據平臺為底座,以數據中臺為橋梁,以機器學習平臺為中層框架,以大模型應用為上游產品,提供全鏈路數字化解決方案。
?杭州奧零數據科技官網:http://www.aolingdata.com
?AllData開源項目:https://github.com/alldatacenter/alldata
?Gitee組織:https://gitee.com/alldatacenter

摘要:實時開發IDE基于開源項目Dinky建設,提供了輕量化部署、智能化開發體驗、高效任務管理與運維以及豐富的生態集成與擴展性等功能特點。內容主要為以下五部分:

一、在線演示環境
二、功能簡介
三、源碼編譯部署安裝
四、訪問實時開發IDE頁面
五、常見問題與解決方案

💡Tips:關注「公眾號」大數據商業驅動引擎

在這里插入圖片描述
🔹AllData數據中臺線上正式環境:http://43.138.156.44:5173/ui_moat/
請聯系市場總監獲取賬號密碼
在這里插入圖片描述

在這里插入圖片描述
2.1 實時開發IDE基于開源項目Dinky建設
實時開發IDE(Dinky)是一款基于Apache Flink構建的一站式實時計算平臺。
提供了輕量化部署、智能化開發體驗、高效任務管理與運維以及豐富的生態集成與擴展性等功能特點,適用于邊緣計算、IoT設備等資源受限場景,以及市場趨勢預測、用戶行為實時響應、產品性能動態監控等多種實時計算場景。

🔹Dinky開源項目:https://github.com/DataLinkDC/dinky
🔹Dinky文檔地址:https://www.dinky.org.cn

2.2 實時開發IDE功能特點

  • 輕量化與開箱即用
  • 智能化開發體驗
  • 高校任務管理與運維
  • 生態集成與擴展性
  • 企業級應用場景

💡部署步驟:

3.1 環境準備

🔹操作系統要求:
推薦 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹網絡要求:
確保服務器網絡通暢,能夠訪問所需資源。

🔹依賴工具:
JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存儲元數據和作業信息)Node.js(如需前端編譯)

3.2 穩定版本
–Dinky集成版本opensource.version=1.2.1

3.3 源碼編譯部署獲取安裝包
在這里插入圖片描述

在這里插入圖片描述
4.1 功能概覽
在這里插入圖片描述

4.2 數據開發
在這里插入圖片描述

4.3 數據同步-M2Sql
在這里插入圖片描述

4.4 數據開發-實時ETL
在這里插入圖片描述

4.5 數據同步-批處理任務SQL開發
在這里插入圖片描述

4.6 數據開發-實時ETL
在這里插入圖片描述
在這里插入圖片描述

4.7 Dinky測試單表離線同步(Mysql2Doris)
在這里插入圖片描述
在這里插入圖片描述

4.8Dinky測試整庫同步+實時增量同步(Mysql2Doris)

🔹源數據庫6條數據庫
在這里插入圖片描述
🔹目標Doris數據庫6條數據庫
在這里插入圖片描述

🔹源數據庫6條數據庫,新增2條,目標數據庫實時同步增加2條,合計8條數據
在這里插入圖片描述

🔹Doris目標數據庫實時同步增加2條,合計8條數據,驗證通過?
在這里插入圖片描述

🔹Flink Runtime Web
在這里插入圖片描述
在這里插入圖片描述

4.9 實時開發IDE-運維中心
在這里插入圖片描述
在這里插入圖片描述

4.10 運維中心-任務版本信息
在這里插入圖片描述

4.11 運維中心-SQL血緣
在這里插入圖片描述

4.12 注冊中心-Flink實例
在這里插入圖片描述

4.13 注冊中心-集群管理
在這里插入圖片描述

4.14 創建集群配置
在這里插入圖片描述

4.15 注冊中心-數據源管理
在這里插入圖片描述

4.16 創建數據源
在這里插入圖片描述

4.17 注冊中心-告警策略管理
在這里插入圖片描述

4.18 創建告警實例
在這里插入圖片描述

4.19 創建告警組
在這里插入圖片描述

4.20 告警模版
在這里插入圖片描述

4.21 創建模版
在這里插入圖片描述

4.22 告警策略
在這里插入圖片描述

4.23 新建告警策略
在這里插入圖片描述

4.24 文件
在這里插入圖片描述

4.25 創建文檔
在這里插入圖片描述

4.26 創建全局變量
在這里插入圖片描述

4.27 Cit 項目(Beta)
在這里插入圖片描述

4.28 創建項目
在這里插入圖片描述

4.29 注冊中心-UDF模版管理
在這里插入圖片描述

4.30 注冊UDF
在這里插入圖片描述

4.31 認證中心
在這里插入圖片描述

4.32 認證中心-菜單管理
在這里插入圖片描述

4.33 添加用戶
在這里插入圖片描述

4.34 修改用戶
在這里插入圖片描述

4.35 分配角色
在這里插入圖片描述

4.36 修改密碼
在這里插入圖片描述

4.37 角色
在這里插入圖片描述

4.38 創建角色
在這里插入圖片描述

4.39 菜單
在這里插入圖片描述

4.40 行權限-創建行權限
在這里插入圖片描述

4.41 租戶
在這里插入圖片描述

4.42 創建租戶
在這里插入圖片描述

4.43 令牌-創建Token
在這里插入圖片描述

4.44 配置中心
在這里插入圖片描述
在這里插入圖片描述
在這里插入圖片描述

4.45 配置中心-Metrics配置管理
在這里插入圖片描述

4.46 配置中心-類加載器管理-服務依賴檢測
在這里插入圖片描述

4.47 配置中心-系統日志-Root Logs
在這里插入圖片描述

4.48 配置中心-系統日志-Log List
在這里插入圖片描述

4.49 配置中心-類加載器 Jars
在這里插入圖片描述

4.50 看板-創建儀表盤
在這里插入圖片描述

在這里插入圖片描述
5.1 依賴沖突
確保 JDK 和 Maven 版本與項目要求一致。
使用 mvn dependency:tree 解決依賴沖突。

5.2 數據庫連接失敗
檢查 application.yml 中的數據庫配置是否正確。確保 MySQL 服務可訪問。

5.3 端口沖突
如果 8888 端口被占用,可在配置文件中修改 server.port 參數。

5.4 版本不匹配
確保 Dinky 版本與 Flink 版本對應,依賴包放置在正確的目錄下。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/88196.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/88196.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/88196.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

深入解析 RAGFlow:文件上傳到知識庫的完整流程

在 RAGFlow 這樣的檢索增強生成(RAG)系統中,知識庫是其核心。用戶上傳的文檔如何高效、可靠地轉化為可檢索的知識,是系統穩定運行的關鍵。今天,我們就來深入探討 RAGFlow 中文件上傳到知識庫的完整流程,揭秘…

cad_recognition 筆記

Hubch/cad_recognition | DeepWiki https://github.com/Hubch/cad_recognition winget install python.python.3.10 python -m venv venv micromamba activate ./venv pip install paddleocr2.9.0 pip install poetry pip install moviepy1.0.3 下次要用conda建環境 或者…

基于odoo17的設計模式詳解---構建模式

大家好,我是你的Odoo技術伙伴。在Odoo開發中,創建一個簡單的記錄可能只需要一行 self.env[res.partner].create({name: New Partner})。但如果我們要創建一個復雜的對象,比如一個包含了特定上下文、具有多個可選配置、并且需要執行一系列關聯…

暑假算法日記第四天

目標?:刷完靈神專題訓練算法題單 階段目標📌:【算法題單】滑動窗口與雙指針 LeetCode題目:2953. 統計完全子字符串1016. 子串能表示從 1 到 N 數字的二進制串其他: 今日總結 往期打卡 2953. 統計完全子字符串 跳轉: 2953. 統計完全子字符串…

Linux 常用命令大全(2025簡明版)

🧭 一、文件和目錄操作命令說明ls列出目錄內容ls -l以列表形式顯示(含權限)cd /path切換目錄pwd顯示當前路徑mkdir dir創建目錄mkdir -p dir/subdir遞歸創建目錄rm file刪除文件rm -r dir刪除目錄(遞歸)rm -rf dir強制…

React Ref 指南:原理、實現與實踐

前言 React Ref(引用)是React中一個強大而重要的概念,它為我們提供了直接訪問DOM元素或組件實例的能力。雖然React推崇聲明式編程和數據驅動的理念,但在某些場景下,我們仍需要直接操作DOM或訪問組件實例。本文將深入探…

4.權重衰減(weight decay)

4.1 手動實現權重衰減 import torch from torch import nn from torch.utils.data import TensorDataset,DataLoader import matplotlib.pyplot as plt def synthetic_data(w,b,num_inputs):Xtorch.normal(0,1,size(num_inputs,w.shape[0]))yXwbytorch.normal(0,0.1,sizey.shap…

OpenCV開發-初始概念

第一章 OpenCV核心架構解析1.1 計算機視覺的基石OpenCV(Open Source Computer Vision Library)作為跨平臺計算機視覺庫,自1999年由Intel發起,已成為圖像處理領域的標準工具。其核心價值體現在:跨平臺性:支持…

LeetCode 930.和相同的二元子數組

給你一個二元數組 nums ,和一個整數 goal ,請你統計并返回有多少個和為 goal 的 非空 子數組。 子數組 是數組的一段連續部分。 示例 1: 輸入:nums [1,0,1,0,1], goal 2 輸出:4 解釋: 有 4 個滿足題目要求…

【論文解讀】Referring Camouflaged Object Detection

論文信息 論文題目:Referring Camouflaged Object Detection 論文鏈接:https://arxiv.org/pdf/2306.07532 代碼鏈接:https://github.com/zhangxuying1004/RefCOD 錄用期刊:TPAMI 2025 論文單位:南開大學 ps&#xff1a…

Spring中過濾器和攔截器的區別及具體實現

在 Spring 框架中,過濾器(Filter) 和 攔截器(Interceptor) 都是用于處理 HTTP 請求的中間件,但它們在作用范圍、實現方式和生命周期上有顯著區別。以下是詳細對比和實現方式:核心區別特性過濾器…

CANFD 數據記錄儀在新能源汽車售后維修中的應用

一、前言隨著新能源汽車市場如火如荼和新能源汽車電子系統的日益復雜,傳統維修手段在面對復雜和偶發故障時往往捉襟見肘,CANFD 數據記錄儀則憑借其獨特優勢,為售后維修帶來新的解決方案。二、 詳細介紹在新能源汽車領域,CANFD 數據…

某當CRM XlsFileUpload存在任意文件上傳(CNVD-2025-10982)

免責聲明 本文檔所述漏洞詳情及復現方法僅限用于合法授權的安全研究和學術教育用途。任何個人或組織不得利用本文內容從事未經許可的滲透測試、網絡攻擊或其他違法行為。使用者應確保其行為符合相關法律法規,并取得目標系統的明確授權。 前言: 我們建立了一個更多,更全的…

自然語言處理與實踐

文章目錄Lesson1:Introduction to NLP、NLP 基礎與文本預處理1.教材2.自然語言處理概述(1)NLP 的定義、發展歷程與應用場景(2)NLP 的主要任務:分詞、詞性標注、命名實體識別、句法分析等2.文本預處理3.文本表示方法:詞向量表示/詞表征Lesson2…

CSS揭秘:9.自適應的橢圓

前置知識:border-radius 用法前言 本篇目標是實現一個橢圓,半橢圓,四分之一橢圓。 一、圓形和橢圓 當我們想實現一個圓形時,通常只要指定 border-radius 為 width/height 的一半就可以了。 當我們指定的border-radius的值超過了 w…

善用關系網絡:開源AI大模型、AI智能名片與S2B2C商城小程序賦能下的成功新路徑

摘要:本文聚焦于關系在個人成功中的關鍵作用,指出關系即財富,善用關系、拓展人脈是成功的重要途徑。在此基礎上,引入開源AI大模型、AI智能名片以及S2B2C商城小程序等新興技術工具,探討它們如何助力個體在復雜的關系網絡…

2025年滲透測試面試題總結-2025年HW(護網面試) 34(題目+回答)

安全領域各種資源,學習文檔,以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各種好玩的項目及好用的工具,歡迎關注。 目錄 2025年HW(護網面試) 34 一、網站信息收集 核心步驟與工具 二、CDN繞過與真實IP獲取 6大實戰方法 三、常…

螢石全新上線企業AI對話智能體,開啟IoT人機交互新體驗

一、什么是螢石AI對話智能體?如何讓設備聽得到、聽得懂?這次螢石發布的AI對話Agent,讓設備能進行自然、流暢、真人感的AI對話智能體,幫助開發者打造符合業務場景的AI對話智能體能力,實現全雙工、實時打斷、可擴展、對話…

智紳科技:以科技為翼,構建養老安全守護網

隨著我國老齡化進程加速,2025年60歲以上人口突破3.2億,養老安全問題成為社會關注的焦點。智紳科技作為智慧養老領域的領軍企業,以“科技賦能健康,智慧守護晚年”為核心理念,通過人工智能、物聯網、大數據等技術融合&am…

矩陣系統源碼部署實操指南:搭建全解析,支持OEM

矩陣系統源碼部署指南矩陣系統是一種高效的數據處理框架,適用于大規模分布式計算。以下為詳細部署步驟,包含OEM支持方案。環境準備確保服務器滿足以下要求:操作系統:Linux(推薦Ubuntu 18.04/CentOS 7)硬件配…