bigfile.to服務器位置,Cloudera Manager 遷移服務器

Cloudera Manager還是比較耗資源的,想把Cloudera Manager,移動到比較好的機器上。

在這篇文章中,Cloudera Manager安裝在bigserver1上面,bigserver1是奔騰雙核的CPU。

1,Cloudera Manager占資源比較多

5ed7cef0ea188ca1866f3a448547c0a7.png

cloudera manager占資源挺多

停止cdh,以及cloudera manager

2,從bigserver1導出數據庫,copy到新機器

# mysqldump -u cdh6 -pCdh6_123 scm -h 10.0.40.237 > scm.sql

#?mysqldump -u cdh6 -pCdh6_123 amon -h 10.0.40.237 > amon.sql

#?mysqldump -u cdh6 -pCdh6_123 rman -h 10.0.40.237 > rman.sql

#?mysqldump -u cdh6 -pCdh6_123 hue -h 10.0.40.237 > hue.sql

#?mysqldump -u cdh6 -pCdh6_123 metastore -h 10.0.40.237 > metastore.sql

#?mysqldump -u cdh6 -pCdh6_123 sentry -h 10.0.40.237 > sentry.sql

#?mysqldump -u cdh6 -pCdh6_123 nav -h 10.0.40.237 > nav.sql

#?mysqldump -u cdh6 -pCdh6_123 navms -h 10.0.40.237 > navms.sql

#?mysqldump -u cdh6 -pCdh6_123 oozie -h 10.0.40.237 > oozie.sql

# scp *.sql root@bigserver5:/root/cdh6/

3,在bigserver5(新機器)創建數據并導入

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use scm;

source /root/cdh6/scm.sql;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use amon;

source /root/cdh6/amon.sql;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use rman;

source /root/cdh6/rman.sql;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use hue;

source /root/cdh6/hue.sql;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use metastore;

source /root/cdh6/metastore.sql;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use sentry;

source /root/cdh6/sentry.sql;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use nav;

source /root/cdh6/nav.sql;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use navms;

source /root/cdh6/navms.sql;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

use oozie;

source /root/cdh6/oozie.sql;

grant all privileges on *.* TO cdh6@'10.%' IDENTIFIED BY 'Cdh6_123';

flush privileges;

第二,第三步,非必須。把數據庫放在bigserver1(老機器)也是可以的。

4,bigserver5新機器安裝cloudera-manager-server

# yum clean all && yum makecache

# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

這里的bigserver5,是集群中新增的一個datanode節點,怎么添加節點,請參考:cdh6 增加 datanode

5,將bigserver1文件同步到bigserver5

# scp -r /var/lib/cloudera-scm-server/* root@bigserver5:/var/lib/cloudera-scm-server/

# chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server/

# scp -r /opt/cloudera/parcel-repo root@bigserver5:/opt/cloudera/

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

5,bigserver5上面,創建數據庫配置

[root@bigserver5 ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh -h bigserver5 mysql scm cdh6 Cdh6_123

JAVA_HOME=/usr/local/jdk1.8.0_231

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing: /usr/local/jdk1.8.0_231/bin/java -cp :/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

[ main] DbCommandExecutor INFO Unable to find JDBC driver for database type: MySQL

[ main] DbCommandExecutor ERROR JDBC Driver com.mysql.jdbc.Driver not found.

[ main] DbCommandExecutor ERROR Exiting with exit code 3

--> Error 3, giving up (use --force if you wish to ignore the error)

找不到mysql的jar包,/opt/cloudera/cm/schema/../lib/* ,根bigserver1上面的mysql-connector-java.jar包位置不一樣。

解決辦法:

# wget https://cdn.mysql.com//archives/mysql-connector-java-5.1/mysql-connector-java-5.1.47.tar.gz

# tar zxvf mysql-connector-java-5.1.47.tar.gz

# cd mysql-connector-java-5.1.47

# cp mysql-connector-java-5.1.47-bin.jar /opt/cloudera/cm/lib/mysql-connector-java.jar

注意:mysql-connector-java不要帶有版本號。

6,在bigserver5啟動Cloudera Management Service

# systemctl start cloudera-scm-server

如果用新的數據庫,需要改數據連接,所有組件都要改

9bd22b0a32598cb6b6b7dcb6bc372d90.png

cloudera 數據庫連接修改

755eea1f766fbaa57ced243444046614.png

Activity Monitor 數據庫測試失敗

如果報:不能測試狀態不佳的主機的數據庫連接。

解決辦法:

# cd /var/lib/cloudera-scm-agent/

# rm -f cm_guid

# service cloudera-scm-agent restart

Cloudera Management Service啟動后,在啟動cdh,至此遷移結束。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/281413.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/281413.shtml
英文地址,請注明出處:http://en.pswp.cn/news/281413.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

vue定時ajax獲取數據,vue 中使用 AJAX獲取數據的方法

在VUE開發時,數據可以使用jquery和vue-resource來獲取數據。在獲取數據時,一定需要給一個數據初始值。看下例:new Vue({el:#app,data:{data:""},created:function(){var url"json.jsp";var _selfthis;$.get(url,function…

轉:shell awk

簡單使用: awk :對于文件中一行行的獨處來執行操作 。 awk -F :{print $1,$4} :使用‘:’來分割這一行,把這一行的第一第四個域打印出來 。 詳細介紹: AWK命令介紹 awk語言的最基本功能是在文件或字符串中基…

Mac使用crontab來實現定時任務

crontab 定時執行 配置文件都在/etc/crontab下,如果沒有就創建 語法: crontab [-e [UserName]|-l [UserName]|-r [UserName]|-v [UserName]|File ] 說明: crontab 是用來讓使用者在固定時間或固定間隔執行程序之用,換句話說&#…

前端技術周刊 2018-12-03:DOM

前端快爆 Chrome 71 開始將試用 SXG 功能,它是由 IETF 提出,Web Package 協議規范下的 Signed HTTP Exchanges 功能的縮寫。該技術使得一個第三方服務器可以直接向用戶提供可靠資源,且不用與原站共享 HTTPS 證書密鑰。?點評:一項…

公司新來了一位阿里P9,在全員大會上講葷段子!還是上個世紀的老段子,太爛了!...

阿里P9在坊間的名聲一向不好,這幾年在業界出了不少令人無語的新聞,今天又來了一個:公司新來了一位阿里P9偽高管,全員大會上來先講了一個葷段子,這個破段子還是上個世紀的,太爛了!關于這個段子&a…

【轉】博客美化(1)基本后臺設置與樣式設置

閱讀目錄 1.博客園后臺設置2.自定義樣式的設置博客園美化相關文章目錄:博客園博客美化相關文章目錄 一直都拜膜那些博客園的皮膚設計高手,由于本人對前端研究甚少,所以js,css這種東西只能看得懂最基本的,會簡單改改。然后一直對自…

Airdoc創始人:工智能可以在醫療領域多個環節發揮作用 但有局限性

7月1日,在由武漢國家生物產業基地建設管理辦公室主辦、火石創造承辦、光谷健康智慧園協辦的醫療大數據與醫學人工智能高峰論壇上,Airdoc創始人兼董事長張大磊做了題為《AI在醫療領域中應用的問題與局限》的演講。 Airdoc是醫療領域人工智能領軍企業&…

我的世界服務器抽獎系統怎么弄,我的世界自動識別貨幣抽獎機如何制作

我的世界是一款很經典的沙盒類游戲,在游戲中紅石和命令方塊是這部作品的核心,可以制作很多裝備和道具,下面給大家分享下我的世界自動識別貨幣抽獎機如何制作,希望對大家有所幫助。自動識別貨幣抽獎機制作方法廢話不多說,(貌似一句…

Java并發編程中volatile實現過程詳細解析

2019獨角獸企業重金招聘Python工程師標準>>> 首先并發編程有三大特性: 可見性,有序性,原子性。volatile關鍵字實現了前面兩個特性。那么它是如何實現這兩個特性的呢? 首先是可見性。可見性主要是讓緩存,直接…

《ASP.NET Core 6框架揭秘》實例演示[32]:錯誤頁面的N種呈現方式

由于ASP.NET是一個同時處理多個請求的Web應用框架,所以在處理某個請求過程中出現異常并不會導致整個應用的中止。出于安全方面的考量,為了避免敏感信息外泄,客戶端在默認情況下并不會得到詳細的出錯信息,這無疑會在開發過程中增加…

SpringMVC接受JSON參數詳解及常見錯誤總結我改

SpringMVC接受JSON參數詳解及常見錯誤總結 最近一段時間不想使用Session了,想感受一下Token這樣比較安全,穩健的方式,順便寫一個統一的接口給瀏覽器還有APP。所以把一個練手項目的前臺全部改成Ajax了,跳轉再使用SpringMVC控制轉發…

軟件定義存儲的定制化怎么走?

引言 當前,軟件定義存儲成為業內超高速增長的典型。有研究人員稱,從2014年到2019年,軟件定義存儲市場將從14億美元增長到62億美元以上,年復合增長率將達35%。軟件定義存儲所帶來的優勢顯而易見,但是對于企業來說&#…

Golang并發模型:合理退出并發協程

goroutine作為Golang并發的核心,我們不僅要關注它們的創建和管理,當然還要關注如何合理的退出這些協程,不(合理)退出不然可能會造成阻塞、panic、程序行為異常、數據結果不正確等問題。這篇文章介紹,如何合…

劍網服務器維護,12月31日服務器例行維護公告

隱元秘鑒新增以下江湖行里使用趣味道具的成就:壓酒喚客嘗:使用壓酒三十次欲解紅燭意:使用燭影三十次閑情吹笛子:使用吹斷三十次引弦中落雀:使用千鳥三十次黃云動風色:使用風色三十次卷抒平生意:…

一款 Windows 軟件快捷助手

WPF 開發的 Windows 軟件快捷助手Windows 軟件快捷助手作者:WPFDevelopersOrg - 驚鏵原文鏈接:https://github.com/WPFDevelopersOrg/SoftwareHelper框架使用.NET40;Visual Studio 2019;項目使用 MIT 開源許可協議;項目使用 MVV…

關于8位AD_DA轉換芯片的采樣率問題

關于使用Keil計算程序執行時間 打開Keil程序,進入“啟動/停止調試”界面。在需要暫停的地方設置斷點(在該句程序前雙擊)。在程序上方有一行工具欄:此工具欄分別代表復位、運行、停止、步進、步越、步出、運行到光標處等。 點擊運…

CYQ.Data 數據框架 V4.0 開源版本發布(源碼提供下載,秋色園V2.5版本標配框架)

說明的說明: 博客園團隊兩次移此文出首頁,說 這篇文章不屬于知識分享型文章,并且有廣告嫌疑。 本文的確屬于分享型文章,而且分享的知識點比其它文章都多很多,看看網友回復“謝謝分享”就知道是分享型文章了。 所謂廣告…

oracle 分組后取每組第一條數據

數據格式 分組取第一條的效果 sql SELECT * FROM (SELECT ROW_NUMBER() OVER(PARTITION BY x ORDER BY y DESC) rn, test1.* FROM test1) WHERE rn 1 ;

永大服務器進去顯示字母,永大電梯服務器使用說明

永大電梯服務器使用說明2021-05-25一. 目的:用于工務交車前對MPU和XDR板進行調試。二. 對應作業:1-1對MPU電梯調試接線連接:1).對MPUGB2(A2)版電梯調試時(以及A2前版本),接線情況如下:連接順序連…

樹莓派Zero 2 W(ubuntu-22.04)通過.NET6和libusb操作USB讀寫

有這個想法的初衷喜歡電子和DIY硬件的朋友對稚暉君應該都不陌生,他定期都會分享一些自己做的好玩的硬件,他之前做了一個ElectronBot桌面機器人我就很感興趣,所以就自己也做了一個。起初我只是自己開發了一個叫電子腦殼的上位機軟件&#xff0…