【Centos7安裝Cloudera Manager5.12、CDH5.12詳細步驟】

安裝Cloudera Manager（5.12.1）一定要細心，每一步走錯都可能造成最終安裝失敗。
安裝Cloudera Manager（5.12.1）一定要硬件資源充足。
本示例參考了眾多網上資料（放在文末），消耗了1000根白發終于肝出了這篇文章。
安裝包放在了文末，按需下載。

本次安裝共分為四章，可自行查看。
一、安裝cloudera manager
二、安裝CDH和集群
三、常見的問題
四、卸載重裝

步驟分解

        • 開始
        • 設置固定IP（all）
        • 關閉防火墻（all）
        • 關閉selinux（all）
        • 設置主機名（all）
        • 免密（all）
        • 時間工具ntp（all）
        • ntp同步（server）
        • ntp同步（agent）
        • 安裝jdk1.8（all）
        • 安裝mysql5.6（server）
        • 創建scm用戶可庫（server）
        • 安裝java-mysql驅動（all）
        • 開始安裝cloudera-manager及CDH@@@@@@@@@@@@@@@@@@@@@@@@@@
        • 解壓cloudera-manager（all）
        • 創建系統用戶cloudera-scm（all）
        • 創建模板目錄，把parcel、sha、json放在此目錄（server）
        • 創建安裝目錄（all）
        • 創建軟連接（all）
        • 配置agent的server指向（all）
        • 使用CM腳本創建數據庫。如果前面sql初始化了scm就不用這一步（server）
        • 修改db配置為scm（server）
        • 啟動（很慢）
        • 訪問
        • 查看啟動日志

開始

共三臺服務器，其中119作為server端，119、120、122作為agent端

ip主機名系統安裝類型
192.x.x.119cdh119centos7.9server、agent
192.x.x.120cdh120centos7.9agent
192.x.x.122cdh122centos7.9agent

說明：（all）三個節點都要操作，（server）服務端節點操作，（agent）從節點操作

設置固定IP（all）
關閉防火墻（all）
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld
關閉selinux（all）
vim /etc/sysconfig/selinux
SELINUX=enforcing 改為 SELINUX=disabled 
重啟reboot
查看getenforce
設置主機名（all）
不同主機設置不同名，不要閉眼復制
hostnamectl set-hostname cdh119
vim /etc/sysconfig/network 設置HOSTNAME=cdh119
vim /etc/hosts 添加所有節點
192.x.x.119 cdh119
192.x.x.120 cdh120
192.x.x.122 cdh122
免密（all）

生成密鑰，分發給其他節點

ssh-keygen -t rsa
ssh-copy-id cdh119（此命令第二步輸入提示輸入yes/no，請輸入yes）
ssh-copy-id cdh120
ssh-copy-id cdh122
時間工具ntp（all）
cd /etc/yum.repos.d
把現有的repo文件全部放在一個備份的文件夾里，防止一會yum更新有失效的url
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache fast
yum install ntp
ntp同步（server）
vim /etc/ntp.conf
注釋掉所有的restrict開頭的配置
取消下面這一行注釋，將ip和掩碼改為真實信息：
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap找到server 0.centos.pool.ntp.org iburst，并將所有server配置進行注釋
添加下面兩行內容
server 127.127.1.0
fudge 127.127.1.0 stratum 10
啟動
systemctl restart ntpd
systemctl enable ntpd
查看狀態
ntpq -p
ntp同步（agent）

當主節點reach狀態到達17后，開始配置從節點

vim /etc/ntp.conf
注釋所有restrict和server配置添加server的IP，保存
server 192.x.x.119執行手動同步
ntpdate 192.x.x.119啟動
systemctl restart ntpd
systemctl enable ntpd（或者 systemctl enable ntpd.service）
安裝jdk1.8（all）

選擇Linux x64 rpm版本：我這里選擇了jdk1.8.0_121
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

卸載openjdk
rpm -qa | grep openjdk
rpm -qa | grep openjdk |xargs rpm -e --nodeps
rpm -qa | grep java
rpm -qa | grep java |xargs rpm -e --nodeps安裝oracle jdk
cd /mnt/storage
rpm -ivh jdk-8u121-linux-x64.rpm添加環境變量 （雖然rpm不需要配環境變量，但保險起見，最好加上）
vim /etc/profile
#java 1.8
export JAVA_HOME=/usr/java/jdk1.8.0_121 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin保存后重載文件
source /etc/profile查看
java -version
echo $JAVA_HOME

如果tar版安裝（一般裝在/usr/local/java），后期安裝CDH集群會找不到JDK報錯，可設置軟連接解決此問題

mkdir -p /usr/java/default（CDH尋找JDK的路徑）
ln -s /usr/local/java/jdk1.8.0_231/* /usr/java/default/
安裝mysql5.6（server）

最好是5.6和Cloudera Manager5.12比較匹配，我第一次裝5.7，最后無論怎么配置Cloudera都連不上
這里我修改了mysql數據路徑，你也可以不改

卸載mysql和mariadb 
rpm -qa|grep -i mysql |xargs rpm -e --nodeps
rpm -qa | grep -i mariadb |xargs rpm -e --nodeps
find / -name mysql
find / -name mariadb
找出來之后 rm -rf 刪除安裝mysql5.6
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-server修改配置
vim /etc/my.cnf注釋掉 symbolic-links=0#修改數據路徑
datadir=/mnt/storage/mysql/data
#socket=/mnt/storage/mysql/mysql.sock（這個不要修改了，不然下面初始化找不到）
log-error=/mnt/storage/mysql/log/mysqld.log
pid-file=/mnt/storage/mysql/pid/mysqld.pid
#修改字符集
[client]
default-character-set=utf8
[mysqld]
character-set-server=utf8
collation-server=utf8_general_ci保存并授權
cd /mnt/storage/mysql
mkdir data log pid
sudo chown -R mysql:mysql /mnt/storage/mysql
sudo chmod -R 750 /mnt/storage/mysql啟動
systemctl status mysqld
systemctl start mysqld
systemctl enable mysqld執行初始引導，我這里設置了密碼123456，遠程連接，刪除測試庫（不會使用自行查閱）
mysql_secure_installation設置完后root依然不能遠程，手動登錄設置（你也可以不設置）
mysql -uroot -p
>mysql:GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
>mysql:FLUSH PRIVILEGES;此時查看root已經可以遠程連接
use mysql;
SELECT User, Host FROM user;
創建scm用戶可庫（server）
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE USER 'scm'@'%' IDENTIFIED BY 'scm';
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';
FLUSH PRIVILEGES;
安裝java-mysql驅動（all）

下載地址：https://downloads.mysql.com/archives/c-j/
拷貝到/usr/share/java/下并重命名
有的說是拷貝到clouder安裝路徑/cm-5.12.1/share/cmf/lib下，我先不用這個路徑

cp mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar
開始安裝cloudera-manager及CDH@@@@@@@@@@@@@@@@@@@@@@@@@@
解壓cloudera-manager（all）
cd /mnt/storage
mkdir cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /mnt/storage/cloudera-manager
創建系統用戶cloudera-scm（all）
useradd --system --home=/mnt/storage/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
創建模板目錄，把parcel、sha、json放在此目錄（server）
mkdir -p /mnt/storage/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /mnt/storage/cloudera/parcel-repo
創建安裝目錄（all）
mkdir -p /mnt/storage/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /mnt/storage/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /mnt/storage/cloudera-manager
創建軟連接（all）

也可以安裝好后在界面修改，我這里沒有執行這一步

mkdir -p /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
rm -rf /opt/cloudera/parcel-repo
ln -s /mnt/storage/cloudera/parcel-repo /opt/cloudera/parcel-repo
rm -rf /opt/cloudera/parcels
ln -s /mnt/storage/cloudera/parcels /opt/cloudera/parcels
配置agent的server指向（all）
vim /mnt/storage/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
將server_host修改為server的主機名（cdh119）
使用CM腳本創建數據庫。如果前面sql初始化了scm就不用這一步（server）
cd /mnt/storage/cloudera-manager/cm-5.12.1/share/cmf/schema
./scm_prepare_database.sh mysql cm1 -hcdh119 -uroot -p123456 --scm-host cdh119 scm scm scm
修改db配置為scm（server）
cd /mnt/storage/cloudera-manager/cm-5.12.1/etc/cloudera-scm-server
vim db.properties com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh119
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=scm
啟動（很慢）
/mnt/storage/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start（server）
/mnt/storage/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start（agent）
訪問
http://192.x.x.119:7180/	
admin
admin
查看啟動日志
tail -f /mnt/storage/cloudera-manager/cm-5.12.1/log/cloudera-scm-server/cloudera-scm-server.log
tail -f /mnt/storage/cloudera-manager/cm-5.12.1/log/cloudera-scm-agent/cloudera-scm-agent.log

到這里Cloudera Manager算是安裝完畢
下一篇文章介紹CDH安裝以及常見問題

參考文章：
https://zhuanlan.zhihu.com/p/137631403
https://segmentfault.com/a/1190000045320282
https://zhuanlan.zhihu.com/p/658822854
https://blog.csdn.net/lukabruce/article/details/80805929
https://cloud.tencent.com/developer/article/2047067
https://developer.aliyun.com/article/879178
https://blog.csdn.net/weixin_40040107/article/details/91454921

安裝包:
https://pan.baidu.com/s/1ljiVVf7DNziL_ImevWcDbA 提取碼: qnat

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/909853.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/909853.shtml
英文地址，請注明出處：http://en.pswp.cn/news/909853.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

青少年編程與數學 01-011 系統軟件簡介 25 Web服務器及代理軟件

青少年編程與數學 01-011 系統軟件簡介 25 Web服務器及代理軟件

青少年編程與數學 01-011 系統軟件簡介 25 Web服務器及代理軟件 一、Web 服務器軟件（一）定義與功能（二）歷史與主要產品1. Apache HTTP Server2. Nginx3. Microsoft Internet Information Services（IIS）4. L…
閱讀更多...
Vue的隱形魔法：虛擬DOM和Diff算法如何讓頁面飛起來？

Vue的隱形魔法：虛擬DOM和Diff算法如何讓頁面飛起來？

大家好，我是江城開朗的豌豆，一名擁有6年以上前端開發經驗的工程師。我精通HTML、CSS、JavaScript等基礎前端技術，并深入掌握Vue、React、Uniapp、Flutter等主流框架，能夠高效解決各類前端開發問題。在我的技術棧中，除了…
閱讀更多...
SAP_HANA常用sql合集——持續更新中

SAP_HANA常用sql合集——持續更新中

一、時間格式轉換 (1)切換日期格式yyyymmdd的字段數據為yyyy-mm-dd select TO_VARCHAR(TO_DATE(t1.time1, YYYYMMDD), YYYY-MM-DD) AS time1, TO_VARCHAR(TO_DATE(t1.time2, YYYYMMDD), YYYY-MM-DD) AS time2 from table
閱讀更多...
【AI Study】第四天，Pandas（5）- 數據可視化

【AI Study】第四天，Pandas（5）- 數據可視化

文章概要 本文詳細介紹 Pandas 的數據可視化功能，包括： 基礎繪圖高級可視化統計圖表實際應用示例 基礎繪圖 折線圖 # 基本折線圖 df.plot(x日期, y值) df.plot.line(x日期, y值)# 多列折線圖 df.plot(x日期, y[列1, 列2])# 自定義樣式 df.plot(x日期…
閱讀更多...
Linux故障排查

Linux故障排查

目錄 案例1：GRUB引導故障 案例2：文件系統只讀故障 案例3：OOM Killer觸發 案例4：系統啟動卡住（initramfs損壞） 案例5：磁盤空間耗盡 案例6：SSH登錄緩慢 案例7：邏輯卷…
閱讀更多...
pikachu靶場通關筆記36 越權01之水平越權

pikachu靶場通關筆記36 越權01之水平越權

目錄 一、水平越權 二、賬戶功能探測 1、登錄賬號lucy 2、登錄賬號lili 3、登錄賬號kobe 三、源碼分析 四、滲透實戰 1、登錄lucy賬號 2、越權訪問lili賬戶資料 3、越權訪問kobe賬戶資料 本系列為《pikachu靶場通關筆記》滲透實戰，本文通過對越權關卡源碼…
閱讀更多...
javaweb -Ajax

javaweb -Ajax

Ajax的定義 Ajax（Asynchronous JavaScript and XML）是一種用于創建異步 Web 應用的技術，允許網頁在不重新加載整個頁面的情況下與服務器交換數據并更新部分內容。 Ajax的核心特點 異步通信：通過后臺與服務器交互，用…
閱讀更多...
11.OpenCV—聯合QT環境配置

11.OpenCV—聯合QT環境配置

1.QT環境變量配置 在Qt中配置OpenCV 3.4.6與Visual Studio 2017的步驟如下： 一、前期準備 安裝組件驗證 確認已安裝Qt的MSVC2017版本（如Qt 5.12 MSVC2017 64-bit） 檢查Visual Studio 2017的MSVC編譯器是否正常工作 OpenCV庫準備 從官網…
閱讀更多...
2025虛幻引擎一般用什么模型格式

2025虛幻引擎一般用什么模型格式

2025虛幻引擎一般用什么模型格式 前言 積累了一些人物模型發現有的有骨骼，有的沒骨骼，有的要轉換格式，有的直接可以用，所以了解一下各種模型。 2025虛幻人物模型積累 格式轉換真麻煩。 2025.uexp、.uasset文件、.ubulk如何打…
閱讀更多...
電腦在使用過程中頻繁死機怎么辦

電腦在使用過程中頻繁死機怎么辦

正興致勃勃地打游戲，或者趕著完成一份重要的工作文檔，電腦突然死機了，鼠標動不了，鍵盤也沒反應，只能干瞪眼干著急。電腦在使用過程中頻繁死機，真的太影響心情和效率了。今天咱就來好好聊聊，遇到…
閱讀更多...
【Java_EE】設計模式

【Java_EE】設計模式

設計模式：解決一些固定場景的固定套路，是一種代碼風格的知道指南。設計模式不止23種 1、單例設計模式 單例設計模式：確保一個類只有一個實例，提供全局訪問點 單例模式的實現方式： 1：餓漢模式 /*** 餓漢…
閱讀更多...
Nginx代理緩存靜態資源

Nginx代理緩存靜態資源

問題描述 有兩臺服務器，一臺是外網的網關服務器，一臺是內網的資源服務器，但是兩臺服務器距離很遠（跨省），頁面中依賴大量插件資源，加載耗時久，本章重點講解Nginx代理緩存靜態資源。 …
閱讀更多...
Blender 轉換為 STP：軟件操作與迪威模型網在線轉換全指南

Blender 轉換為 STP：軟件操作與迪威模型網在線轉換全指南

在三維設計與工程制造領域，不同格式的文件承擔著各自的使命。Blender 作為一款功能強大且開源的三維建模軟件，被眾多設計師、藝術家以及學生廣泛使用，能夠創作出風格多樣、細節豐富的三維模型。而 STP 格式作為制造業通用的數據交換標準&…
閱讀更多...
WebFuture：PDF頁面去掉下載按鈕

WebFuture：PDF頁面去掉下載按鈕

問題描述：客戶要求pdf頁面不顯示下載按鈕 解決辦法：WF15.2版本開始會在內容管理配置增加“允許下載 PDF“開關；之前的版本需要替換文件來處理 1.備份網站下的base文件夾，路徑為/wwwroot/content/_common/base/，然后覆…
閱讀更多...
【JVM】- 類加載與字節碼結構2

【JVM】- 類加載與字節碼結構2

編譯期處理（語法糖） java編譯器把.java源碼編譯成.class字節碼的過程，自動生成和轉換的一些代碼。 默認構造器 public class Candy01 { }編譯成class后的代碼 public class Candy1 {public Candy1(){super();} }自動拆裝箱（jd…
閱讀更多...
WSL2 中安裝 cuDNN?? 的完整指南

WSL2 中安裝 cuDNN?? 的完整指南

以下是關于 ??cuDNN?? 的詳細介紹及在 ??WSL2 中安裝 cuDNN?? 的完整指南，結合權威資料整理而成： 📚 ??一、cuDNN 深度解析?? ??1. 定義與作用?? ??cuDNN??（CUDA Deep Neural Network Library）是…
閱讀更多...
Apache Doris FE 問題排查與故障分析全景指南

Apache Doris FE 問題排查與故障分析全景指南

前言： FE（Frontend）是 Apache Doris 集群架構中的“大腦”，負責元數據管理、查詢解析和調度等關鍵任務。一旦 FE 出現問題，整個集群的穩定性和可用性將受到嚴重影響。因此，掌握 FE 故障定位與排查方法對于保…
閱讀更多...
RK AndroidFramework 內置應用可，卸載，恢復出廠設置恢復安裝

RK AndroidFramework 內置應用可，卸載，恢復出廠設置恢復安裝

device/rockchip/rk356x/rk3568_r/preinstall_del/Android.mkdevice/rockchip/rk356x/rk3568_r/preinstall_del/Android.mk include $(call all-subdir-makefiles) 拿內置LoyversePos應用做例子 device/rockchip/rk356x/rk3568_r/preinstall_del/preinstall.mk PRODUCT_PACK…
閱讀更多...
一文了解Blob文件格式，前端必備技能之一

一文了解Blob文件格式，前端必備技能之一

文章目錄 前言一、什么是Blob？二、Blob的基本特性三、Blob的構造函數四、常見使用場景1. 文件下載2. 圖片預覽3. 大文件分片上傳 四、Blob與其他API的關系1. File API2. FileReader3. URL.createObjectURL()4. Response 五、性能與內存管理六、實際案例：…
閱讀更多...
LLMs 系列實操科普（4）

LLMs 系列實操科普（4）

六、deep research 這是 chatgpt 推出的功能，但我這里是免費用戶，一個月才有 5 次使用機會，而且使用的是輕量化模型版本，相對體驗上比較雞肋一些。 那這個深度思考研究是個什么東西呢？ 根據 openai 對其的解釋是&…
閱讀更多...
最新文章

Copyright @ 2022~2023