🔥🔥 AllData大數據產品是可定義數據中臺,以數據平臺為底座,以數據中臺為橋梁,以機器學習平臺為中層框架,以大模型應用為上游產品,提供全鏈路數字化解決方案。
?杭州奧零數據科技官網:http://www.aolingdata.com
?AllData開源項目:https://github.com/alldatacenter/alldata
?Gitee組織:https://gitee.com/alldatacenter
摘要:K8S數據平臺基于開源項目CloudEon,是一款基于kubernetes的開源大數據平臺,旨在為用戶提供一種簡單、高效、可擴展的大數據解決方案。文章內容主要為以下五部分:
一、在線演示環境
二、功能簡介
三、源碼編譯部署安裝
四、云生態部署方案
五、訪問K8S數據平臺頁面
💡Tips:關注「公眾號」大數據商業驅動引擎
🔹AllData數據中臺線上正式環境:http://43.138.156.44:5173/ui_moat/
請聯系市場總監獲取賬號密碼
1.1 K8S數據平臺基于開源項目CloudEon建設
K8S數據平臺CloudEon是一款基于kubernetes的開源大數據平臺,旨在為用戶提供一種簡單、高效、可擴展的大數據解決方案。
CloudEon將基于Kubernetes 的資源安裝部署開源大數據組件,實現開源大數據平臺的容器化運行,您可減少對于底層資源的運維關注。
功能特性快速搭建大數據集群容器化運行大數據服務支持監控告警等功能支持配置修改等功能自動化運維可視化管理界面
🔹CloudEon開源項目:https://github.com/dromara/CloudEon
🔹更多教程可以參考官方教程文檔:https://cloudeon.dromara.org/#/index
2.1 K8S數據平臺功能特點:
- 快速搭建大數據集群
- 容器化運行大數據服務
- 支持監控告警等功能
- 支持配置修改等功能
- 自動化運維
- 可視化管理界面
- 靈活的擴展性
💡部署步驟:
3.1 源碼編譯部署獲取安裝包
3.2 后端源碼獲取安裝包
3.3 前端源碼編譯部署
4.1 環境準備
🔹操作系統要求:
Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。
🔹資源要求:
CPU:至少 4 核。
內存:至少 8GB。
磁盤空間:至少 50GB(用于編譯和運行)。
🔹依賴工具:
Go:1.18+(CloudEon 核心組件為 Go 編寫)
Docker:20.10+(用于構建和運行容器)。
Kubernetes:1.22+(集群環境)。
Helm:3.0+(用于 Kubernetes 包管理)。
Git:用于源碼管理。
make:用于自動化編譯。
4.2 安裝GO:
4.3 安裝Docker:
4.4 安裝Kubernetes和Helm:
參考 Kubernetes 官方文檔安裝 kubectl 和 minikube(本地測試)或集群環境。
安裝 Helm:
4.5 源碼編譯部署獲取安裝包
4.6 編譯CloudEon核心組件
4.7 構建Docker鏡像
修改 Dockerfile(如需自定義鏡像標簽):
構建鏡像:
4.8 部署到Kubernetes
使用 Helm 部署:
🔹手動部署(YAML 文件):
創建 Namespace:
部署 Deployment 和 Service:
示例cloudeon-deployment.yaml
4.9 驗證部署
檢查 Pod 狀態:
Tips: 查看日志:
🔹訪問CloudEon服務:
- 端口轉發
- 訪問地址:瀏覽器訪問 http://localhost:8080。
4.10 配置修改
🔹修改配置文件(如需):
配置文件通常位于 config/ 目錄,或通過 Kubernetes ConfigMap 管理。
5.1 集群管理
5.2 修改集群
5.3 節點
5.4 新增節點
5.5 服務
5.6 服務詳情
5.7 新增服務-選擇服務
5.8 新增服務-分配角色
5.9 新增服務-配置服務
5.10 編輯配置項
5.11 鏡像
5.12 資源管理
5.13 常用參數
5.14 端口
5.15 添加自定義配置
5.16 指令
5.17 指令詳情
5.18 指令詳情-日志信息
5.19 告警-活躍告警
5.20 告警-歷史告警
5.21 告警-告警規則
5.22 新增告警規則
5.23 修改告警規則
5.24 日志