(注:本文章來源于星環官網安裝手冊)
后面放置了視頻和安裝手冊連接
1、硬件及環境要求
-
Docker17及以上版本,支持Centos,Ubuntu等系統(注:這里我使用CentOS-7版本,最佳版本推薦為7.3-7.9)
-
CPU:1顆4核心或以上帶超線程x86指令集CPU的服務器
-
內存:
TDH社區開發版以及StellarDB社區開發版:16GB及以上
Scope社區開發版:24GB及以上 - 存儲:如需部署Scope社區開發版,請務必確保數據目錄所在磁盤大小至少50GB及以上。
溫馨提示:上述最低內存僅適用于安裝以及基礎測試,如需確保穩定性以及需要進行產品功能測試,請酌情增加至8核32GB;如有性能需求,或涉及一定數據量的場景,請酌情增加至64GB及以上,按需調整資源。
2、TDH(Transwarp Data Hub )?社區開發版
安裝前系統配置
在安裝前,請打開環境下的/etc/hosts文件,確保該文件包含節點的hostname和IP地址的映射關系列表。例如:
172.16.2.125 tdh-node
您可以登入到節點使用?hostname?命令檢查節點主機名,確保節點名稱與上述 /etc/hosts 里設置的名稱相同。請注意,集群的節點名稱必須符合DNS-1123規范,由數字、小寫字母或“-”組成,不能包含大寫字母,長度小于63。
您可以使用?hostnamectl set-hostname <hostname>?命令來修改主機名,參考以下示例:
[root@localhost ~]# hostnamectl set-hostname tw-node2125
[root@localhost ~]# hostname
tw-node2125
[root@localhost ~]# cat /etc/hosts
127.0.0.1 ? localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 ? ? ? ? localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# vi /etc/hosts
[root@localhost ~]# cat /etc/hosts
127.0.0.1 ? localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 ? ? ? ? localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.2.125 tw-node2125
請注意 /etc/hosts 文件的第一行必須為127.0.0.1的記錄,不能將此行注釋掉,也不能將當前主機名寫在該行中。通常如下:
127.0.0.1?? localhost localhost.localdomain localhost4 localhost4.localdomain4
環境準備
-
步驟一 Linux環境上安裝docker(一個開源的容器化平臺)
此處以Centos系統為例
yum install docker
-
安裝后啟動/查看docker服務
安裝后啟動docker服務
systemctl start docker
查看docker狀態
systemctl status docker
安裝流程
-
步驟一?將從官網下載下來的產品包上傳至安裝環境
產品包名稱:TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
-
步驟二?執行下述命令進行解壓,解壓后將出現一個鏡像tar包
tar -zxf TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz -C /opt/installs/
-
步驟三?執行下述命令加載鏡像
docker load -i tdh-standalone-2023.5.tar
- 步驟四?創建一個文件夾保存TDH運行過程中產生的配置conf、數據data、日志log。
mkdir /opt/tdh
- 步驟五?執行下方指令啟動容器并運行鏡像,運行格式為:
docker run -d --network host -v <本地目錄路徑>:/opt/transwarp --privileged <鏡像名稱,例如:tdh-standalone:2024.5>
例:docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh- standalone:2023.5
注:-v參數配置了TDH掛載的本地磁盤路徑。該路徑下會保存TDH運行過程中產生的配置conf、數據data、日志log。再次提醒請不要隨意改動做好備份,以及確保該路徑為空目錄,沒有歷史版本或其他開發版產品的數據文件。
Docker鏡像是一個只讀模板,用于創建Docker容器。鏡像采用分層存儲結構,每一層是在上一層的基礎上進行的修改。
-
步驟六?容器啟動后需等待30s至2分鐘
-
步驟七?瀏覽器訪問管理節點8180端口
打開客戶端瀏覽器(推薦使用Google Chrome瀏覽器),訪問http://host:8180,比如http://192.168.127.132:8180/。訪問這個地址,您會看到下面的登錄頁面:
-
初次登錄以admin的身份登錄,密碼也是admin。
-
接下來是添加一些配置
安裝完成
自助申請許可證教程
在安裝完成后,頁面會提示您需要申請許可證。
如果您已經在星環云頁面注冊過賬號以及創建過組織,填寫對應的星環云ID以及密碼,進行手機號碼驗證即可。如果您第一次使用社區版家族產品,可以參考下方教程進行申請。
-
點擊彈窗下方的注冊按鈕,或者直接訪問星環云頁面 創建組織
星環云網站:https://cloud.transwarp.cn/home
-
編輯組織信息
創建好后如果需要重新更改名詞可以選擇編輯
-
申請許可證
回到TDH Manager,輸入賬號進行“許可證申請”。
-
完成申請,啟動許可證
下載使用客戶端TDH-Client
TDH-Client:星環大數據平臺(Transwarp Data Hub, TDH)的客戶端工具,用于與 TDH 集群交互,提供命令行和 API 訪問方式,支持 HDFS、Hive、Spark 等大數據組件的操作
Manager為用戶提供了兩種下載tdh-client的方式(Manager自帶和隨產品包上傳)
這里我們使用的是Manager自帶方法
使用TDH-Client前還需設置JAVA_HOME環境變量(這里不再演示,詳情請查看以往作品)
-
步驟一?登錄Manager頁面后點擊右上角下載客戶端
如果您點擊下載后沒有反應,有可能是因為機器io較慢導致打包慢;如果3分鐘后還是沒有反應,可以選擇重新配置下YARN服務再進行下載
-
步驟二?將下載后的tdh-client.tar上傳至服務器,并解壓。
tar -xvf tdh-client.tar
-
步驟三?解壓完成后,進入解壓后的TDH-Client目錄即可使用TDH-Client。
source ./init.sh
連接數據庫
上傳數據到hdfs
常見問題排查指南:3 社區開發版安裝手冊-3.8 常見問題排查指南-TDH Community Edition-星環科技
星環數據平臺星環官方安裝視頻:
transwarp-ce-1253207870.cos.ap-shanghai.myqcloud.com/TDH-CE-2024-5/視頻/TDH社區開發版安裝視頻2024.5.mp4
社區開發版星環官方安裝手冊:
3 社區開發版安裝手冊-3.1 產品介紹-TDH Community Edition-星環科技