centos7安裝Cloudera Manager

第一部分：準備工作
一，修改hostname

$vim /etc/sysconfig/network
$source /etc/sysconfig/network

例如：

NETWORKING=yes
HOSTNAME=spark01

reboot重啟服務器

二，關閉selinux
查看SELinux狀態
1，/usr/sbin/sestatus -v #如果SELinux status參數為enable，即開啟狀態
2，getenforce #也可以用這個命令檢查
關閉SELinux
1，臨時關閉
setenforce 0

2，修改配置文件需要重啟機器
修改/etc/selinux/config文件
將SELINUX=enforcing改成SELINUX=disabled

三，關閉防火墻

sudo systemctl stop firewalld.service && sudo systemctl disable firewalld.service

四，配置hosts

vim /etc/hosts

172.16.0.81   spark01

五，安裝jdk

tar -zxvf [jdk包]

配置環境變量

vim /etc/profile

export JAVA_HOME=/home/app/jdk1.7.0_45/
export PATH=$PATH:$JAVA_HOME/bin

重新加載profile使配置生效

source /etc/profile

環境變量配置完成，測試環境變量是否生效

echo $JAVA_HOME
java -version

第二部分：Cloude Manager安裝
1，從官方網站下載CDH軟件包和Cloudera Manager安裝包。
2，安裝相關依賴組件

yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb httpd httpd-tools unzip ntp

3，啟動httpd服務

systemctl start httpd.service
systemctl enable httpd.service #設置為開機啟動

4，配置NTP時鐘同步
在所有要安裝CDH環境的設備中設置統一時鐘同步服務。如果我們有時鐘服務器，那么我們需要在每一臺設備上進行NTP客戶端配置；如果沒有，我們就將server主機作為時鐘服務器，對server主機進行NTP服務器配置。其他服務器來同步這臺服務器的時鐘。

本示例中將按照沒有時鐘服務器的情況進行演示，將server主機配置為NTP服務器，其他主機配置為NTP客戶端。如果有時鐘服務器更簡單，所有的服務器都配置為NTP客戶端就好了。
NTP服務器配置（在server主機上配置，如果有時鐘服務器，server主機也是配置為客戶端）
修改/etc/ntp.conf
對該文件的內容進行以下的修改：

1、注釋掉所有的restrict開頭的配置
2、找到restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap，取消注釋，并將其中IP和掩碼修改為真實環境IP和掩碼，此行配置為允許ntp客戶端連接的配置
3、找到server 0.centos.pool.ntp.org iburst，并將所有server配置進行注釋
4、添加下面兩行內容server 127.127.1.0fudge 127.127.1.0 stratum 10

啟動NTP服務
執行以下命令啟動ntp服務

systemctl restart ntpd

查看服務狀態
啟動服務后，使用ntpq -p查看服務狀態，當reach達到比較大的值后（一般為17），再進行NTP客戶端配置。

NTP客戶端配置（在agent主機上進行配置）
修改/etc/ntp.conf
對該文件進行以下內容的修改：

1、注釋所有restrict和server配置
2、添加下面注釋，需要修改以下的IP為NTP服務器的IP（在本案例中就是server主機的IP）server 192.168.187.5

手動同步時間
為了避免首次同步時間比較慢，和測試一下我們是否配置正確，我們先使用下面命令手工同步一次。

ntpdate 192.168.187.51

啟動NTP服務

systemctl restart ntpd

將所有的主機的ntp服務設置為開機自啟動

chkconfig ntpd on
systenctl enable ntpd.service

5，mysql安裝
mysql安裝在server主機上，具體請參考相關參考教程，另外，也可以使用外部mysql服務，我本次安裝，即是采用的外部mysql方式，后面再安裝完cloudera后，說說如何配置

6.Cloudera Manager Server的安裝
上傳安裝包

image


此處記得將CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1改成CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha，否則安裝時將重新下載。
創建安裝目錄并解壓安裝介質
mkdir /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

安裝數據庫驅動

mkdir -p /usr/share/java
cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

創建系統用戶cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

創建server存儲目錄

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

創建hadoop離線安裝包存儲目錄

mkdir -p /opt/cloudera/parcels;
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

[root@hdfs1 ~]# vi /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
將server_host修改為cloudera manager server的主機名,對于本示例而言，也就是server主機。

部署CDH離線安裝包

[root@hdfs1 ~]# mkdir -p /opt/cloudera/parcel-repo;
[root@hdfs1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo;
[root@hdfs1 ~]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo/

上面由于使用外部mysql，此時，需要進行指定：

/opt/cloudera-manager/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql -h 172.16.0.36 -u root -p*** --scm-host spark01 scm root ***

此處如果執行報錯，

image


需要給JAVA_HOME加軟連接，先mkdir /usr/java執行ln -s [java文件路徑] /usr/java/default

啟動Cloudera Manager Server

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-server start

啟動Cloudera Manager Agent

/opt/cloudera-manager/cm-5.15.1/etc/init.d/cloudera-scm-agent start

7, Cloudera Manager Agent的安裝
在除了server服務器外的其他的服務器都要執行以下步驟進行對agent的部署。

上傳安裝包
對于agent的安裝我們只需要以下的兩個安裝介質
Cloudera Manager 安裝包：cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
MySQL驅動包：mysql-connector-java-5.1.44-bin.jar
安裝數據庫驅動

[root@hdfs1 ~]# mkdir -p /usr/share/java
[root@hdfs1 ~]# cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

創建安裝目錄并解壓安裝介質

[root@hdfs1 ~]# mkdir /opt/cloudera-manager
[root@hdfs1 ~]# tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

建系統用戶cloudera-scm

[root@hdfs1 ~]# useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

創建hadoop離線安裝包存儲目錄

[root@hdfs1 ~]# mkdir -p /opt/cloudera/parcels;
[root@hdfs1 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

[root@hdfs1 ~]# vi /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
將server_host修改為cloudera manager server的主機名,對于本示例而言，也就是server主機。

啟動Cloudera Manager Agent

[root@hdfs1 ~]# /opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

瀏覽器訪問ip:7180
用戶名：admin 密碼：admin

到此為止，cloudera manager就安裝完成。

第三部分：CDH安裝
一路按照提示往下走，在檢查主機環境的時候，要注意警告，盡量處理完。
注意點：將java的路徑做軟連接，否則會報錯，具體怎么做，看前面介紹。
mysql的配置時，要先在把需要的庫建好，再做測試連接就不會報錯。
安裝時如果Oozie報如下錯，是因為數據庫字符集的原因，修改成下圖就行。

image

image

安裝完成，祝你好運！

image

參考：https://my.oschina.net/epoch/blog/1633971
https://www.2cto.com/database/201806/753587.html
https://blog.csdn.net/clerk0324/article/details/73611937

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/277312.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/277312.shtml
英文地址，請注明出處：http://en.pswp.cn/news/277312.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

He Fei ,First ,Good Luck

He Fei ,First ,Good Luck

Tonight, I will go to HeFei.something as follows:1) speciality 2) sincerely3) valueHope i can bring customer some ideas .But i will throw my 100% energy to face it.Good Luck.First HeFei轉載于:https://www.cnblogs.com/boriscao/archive/2005/08/31/227199.html…
閱讀更多...
在C#中使用代理的方式觸發事件 的簡單習作

在C#中使用代理的方式觸發事件 的簡單習作

程序簡單就 不再作說明了.在學習IssueVision的OBSERVER(觀察者)模式時由于對代理和事件不是很熟悉,遇到了一些問題,所以就有了這個簡單習作.TestEvent.cs using System; namespace ConsoleApplication2{ /// <summary> /// Class1 的摘要說明。 /// </summar…
閱讀更多...
c語言遞歸有何作用,c語言中，什么是函數的遞歸，能舉個例子么

c語言遞歸有何作用,c語言中，什么是函數的遞歸，能舉個例子么

(PS:因為很多IT術語的定義都來源于國外&#xff0c;我們看的中文大部分是別人看了國外的文獻然后以他的中文素養加以解釋的&#xff01;但是中華語言博大精深&#xff01;而英語就較為簡單了&#xff0c;記得上次看高德納的《surrealnumber》時候&#xff0c;文中有一句“thebe…
閱讀更多...
Nodejs 文件上傳

Nodejs 文件上傳

node js 接收表單數據原理 /*** node js 接收表單數據*/ const http require("http"); const qs require("querystring");http.createServer((request, response) > {// 表單提交的原理if (request.url "/post" && request.meth…
閱讀更多...
c語言程序設計 銀行整存整取,《C語言程序設計習題試題集》.doc

c語言程序設計 銀行整存整取,《C語言程序設計習題試題集》.doc

《C語言程序設計習題試題集》.doc1、已知銀行整存整取存款不同期限的月息利率分別為&#xff1a;0.315% 期限一年0.330% 期限二年0.345% 期限三年0.375% 期限五年0.420% 期限八年要求輸入存錢的本金和期限&#xff0c;求到期時能從銀行得到的利息與本金的合計。2、輸入年份year…
閱讀更多...
Grove——.NET中的ORM實現

Grove——.NET中的ORM實現

Grove——.NET中的ORM實現 發布日期&#xff1a; 6/30/2005| 更新日期&#xff1a; 6/30/2005作者&#xff1a;林學鵬 ORM的全稱是Object Relational Mapping&#xff0c;即對象關系映射。它的實質就是將關系數據&#xff08;庫&#xff09;中的業務數據用對象的形式表示出來&a…
閱讀更多...
let和const

let和const

發布自Kindem的博客&#xff0c;歡迎大家轉載&#xff0c;但是要注意注明出處。另外&#xff0c;該文章收納在Kindem的個人的 IT 知識整理倉庫&#xff0c;歡迎 Star、Fork、投稿 let let是在ES6加入的新的變量聲明方法&#xff0c;let聲明變量的方法和var類似: let a hello; …
閱讀更多...
GIT 操作筆記

GIT 操作筆記

設置不用每次都輸入 賬號密碼 git config --global credential.helper store然后&#xff0c;下次再輸入一次 賬號密碼 就可以了。刪除github上的文件$ git pull origin master 將遠程倉庫里面的項目拉下來$ dir 查看有哪些文件夾$ git rm -r --cached target 刪除target文件…
閱讀更多...
[book]道法自然

[book]道法自然

前不久讀了王詠剛的〈凌波微步〉和〈凌波微步II〉&#xff0c;感覺不錯。今天把他老人家的《道法自然》也買了下來。在dearbook看到關于這本書的長篇大評&#xff0c;也一塊copy了下來&#xff1a;http://www.dearbook.com.cn/book/viewbook.aspx?pnoTS0023954認真的作者&…
閱讀更多...
c語言編手機藍牙軟件的代碼,51單片機C語言的簡易藍牙鎖代碼

c語言編手機藍牙軟件的代碼,51單片機C語言的簡易藍牙鎖代碼

#include#define uint unsigned int#define uchar unsigned charuchar r_buf; //藍牙接收到的字符存儲緩沖區sbit PWMAP2^0; //電機驅動模塊接口sbit IN1P2^2;sbit IN2P2^1;sbit STBYP2^3;sbit LED1P0^0; //LED燈接口sbit LED2P0^1;sbit LED3P0^2;sbit key1P1^0;…
閱讀更多...
列表嵌套字典，根據字典某一key排序

列表嵌套字典，根據字典某一key排序

在返回列表嵌套字典時候&#xff0c;往往需要對數據進行一定的處理&#xff1a;按照字典中某一個key排序 In [87]: a [{"name": "牛郎", "age": 23},{"name":"許仙", "age": 20},{"name":"董永&q…
閱讀更多...
display: inline-block 布局

display: inline-block 布局

三個元素display: inline-block; 布局 &#xff0c;其中一個元素中存在其他元素也用了display: inline-block; 無法垂直居中&#xff0c;將這個元素設置為display: inline; 轉載于:https://www.cnblogs.com/Running00/p/11163751.html
閱讀更多...
GCC精彩之旅

GCC精彩之旅

在為Linux開發應用程序時&#xff0c;絕大多數情況下使用的都是C語言&#xff0c;因此幾乎每一位Linux程序員面臨的首要問題都是如何靈活運用C編譯器。目前 Linux下最常用的C語言編譯器是GCC&#xff08;GNU Compiler Collection&#xff09;&#xff0c;它是GNU項目中符合ANSI…
閱讀更多...
寫出C語言中5種數據類型的名稱及其關鍵字,求C語言中的32個關鍵字及其意思？...

寫出C語言中5種數據類型的名稱及其關鍵字,求C語言中的32個關鍵字及其意思？...

關鍵字如下&#xff1a;一、數據類型關鍵字(12個)&#xff1a;(1) char &#xff1a;聲明字符型變量或函數(2) double &#xff1a;聲明雙精度變量或函數(3) enum &#xff1a;聲明枚舉類型(4) float&#xff1a;聲明浮點型變量或函數(5) int&#xff1a; 聲明整型變量或函數(6…
閱讀更多...
想要設計自己的微服務？看這篇文章就對了

想要設計自己的微服務？看這篇文章就對了

歡迎大家前往騰訊云社區&#xff0c;獲取更多騰訊海量技術實踐干貨哦~ 本文由我就靜靜地看 發表于云社區專欄 本文通過使用Spring Boot&#xff0c;Spring Cloud和Docker構建的概念驗證應用程序的示例&#xff0c;為了解常見的微服務架構模式提供了一個起點。 該代碼在Github上…
閱讀更多...
函數的嵌套調用

函數的嵌套調用

在函數的內部調用其他的函數 def index(): func() print("index") def func(): index() # def index():# func()# print("index")## def func():# print("func")# index()#def my_max(x,y): #這個函數的作用就是比大小誰大打印出…
閱讀更多...
mysql 開發進階篇系列 41 mysql日志之慢查詢日志

mysql 開發進階篇系列 41 mysql日志之慢查詢日志

一.概述 慢查詢日志記錄了所有的超過sql語句( 超時參數long_query_time單位 秒&#xff09;&#xff0c;獲得表鎖定的時間不算作執行時間。慢日志默認寫入到參數datadir(數據目錄)指定的路徑下。默認文件名是[hostname]_slow.log&#xff0c;默認超時是10秒&#xff0c;默認不開…
閱讀更多...
分數相同名次排名規則C語言,如何給數據排名（相同分數相同名次）-excel篇

分數相同名次排名規則C語言,如何給數據排名（相同分數相同名次）-excel篇

使用Rank函數來做數據排名該函數是返回一個數值在一個數字列表中的排名。語法&#xff1a;RANK(number,ref,order)RANK(對象,范圍,參數)number(必填參數):是特定單位格中的數據&#xff0c;需要在整個數字列表中排名的單個對象。ref(必填參數):是指需要排名的整體數列。即范圍&…
閱讀更多...
子窗體列表在菜單中的實現

子窗體列表在菜單中的實現

想在菜單中加入子窗體的列表&#xff0c;上網找了半天&#xff0c;都很麻煩&#xff0c;后來看看了菜單的屬性&#xff0c;發現里面有個MdiList屬性&#xff0c;設置成true&#xff0c;搞定&#xff0c;暈。 轉載于:https://www.cnblogs.com/catzhou/articles/258450.html
閱讀更多...
MySql的連接查詢

MySql的連接查詢

若一個查詢同時涉及到兩個或者兩個以上的表&#xff0c;則稱之為連接查詢。常見的包括&#xff1a;等值連接查詢&#xff0c;自然連接查詢&#xff0c;非等值連接查詢&#xff0c;自身連接查詢&#xff0c;外連接查詢&#xff08;左右連接&#xff09;。 1.等值與非等值連接查詢…
閱讀更多...
最新文章

Copyright @ 2022~2023