Hadoop生態圈-Ambari控制臺功能簡介

                Hadoop生態圈-Ambari控制臺功能簡介

                                              作者:尹正杰

版權聲明:原創作品,謝絕轉載!否則將追究法律責任。

?

?

?

?

?

  在經歷一系列安裝過程之后(部署過HDP后我終于發現為什么大家喜歡用它了,部署比CDH簡單是他優勢之一!),我們已經新建了一個進群并進入到Ambari到集群控制臺首頁。Ambari到集群控制臺主要分為3個區域,如下圖所示:

  好啦,接下來我會簡單介紹一下Ambari到核心功能。

?

一.集群管服務管理

  Ambari 為Hadoop服務提供了一套強大的管理與維護的功能,包括集群用戶,服務安裝,服務監控等。

1>.集群用戶

?  如下圖所示,通過右上角Admin菜單進入集群用戶頁面,我們可以看到Ambari對于已經安裝的Hadoop服務都預建了一套用戶。這些用戶有兩層含義:

    第一:Ambari系統內部的服務用戶,這類用戶是存儲在Ambari自己的元數據數據庫中的;

    第二:通過Agent服務在目標主機上建立的linux用戶,Hadoop在運行期間會使用這些Linux用戶。

  Ambari高度自動化的集群用戶功能,不僅免去了通過原始手工維護集群用戶時的種種煩惱,也為日后集成權限,認證系統提供了空間。

?

2>.集群服務控制與監控

?  Ambari 的管理控制臺還提供了對集群服務監控的能力。為了便于理解,這里以HDFS位列來舉例說明。對于其他服務的監控與HDFS類似。

  如上圖所示,使用左側組件菜單點擊HDFS,可以看到右邊頁面切換成了HDFS的整體信息摘要,從摘要頁面可以看到HDFS的Namenode和Datanode服務的狀態概要信息,同時也能看到一些簡單的指標,比如內存垃圾回收次數,連接負載等。不僅如此,如下圖所示,通過右上角的“Server Actions”菜單,還能實現對HDFS進行各種操作,例如啟動,停止,重啟,平衡負載,下載客戶端配置和刪除服務等等。只需要點點鼠標就能完成集群服務的控制,這些功能和CDH幾乎是一樣的。對CDH熟悉的小伙伴來看HDP的界面估計會很快就能上手的喲!

?

?

二.集群服務配置

  Ambari也提供對集群服務對配置進行維護對功能,免去了手工修改配置對低效和繁瑣。為了便于理解,這里還是以HDFS為例來進行舉例說明。

1>.查看HDFS常用的一些配置

?  如下圖所示,在HDFS的信息摘要頁面點擊Config菜單,頁面會切換成HDFS的配置頁面。映入眼簾的是HDFS最常用的一些配置,例如NameNode和DataNode的文件路徑,NameNode和DataNode的堆內存大小等等,我們可以通過圖形化交互的方式輕松的修改這些配置參數。

?

?

?

2>.HDFS的高級設置

?  除了上述這些常用配置之外,還可以進行更進一步的高級設置。如下圖所示,點擊Advanced按鈕切換到高級設置頁面,可以看到在高級配置頁面已經定義了HDFS所有的可配置項。

?

  在找到需要修改的配置進行修改之后單擊Save按鈕即可完成修改動作,如下圖所所示:

  點擊保存后,可能要你輸入本次修改的一個備注信息!如下圖所示:

  點擊上圖所示的“Save”成功后,可能會彈出如下圖所示的對話框(提示保存配置成功),點擊“ok”即可。

  如下圖所示,如果修改的配置需要相應的關聯服務重啟之后才能生效的化,Ambari也會通過提醒的方式讓我們快速地進行服務重啟。?

  下圖是重啟過程中的截圖:

3>.修改版本回退案例

?  如果配置參數修改錯誤了怎么辦呢?這個也不用咱們擔心,Ambari會自動記錄配置修改的歷史軌跡,每一次的修改都會再生成一個版本。如下圖所示:我們在修改之后可以隨時瀏覽歷史版本的配置項,還可以對比不同版本的配置內容,甚至還可以恢復到某個版本的配置內容喲!

?

?  如下圖說是,我們將之前到配置修復回去,即將副本數為2恢復到之前到副本數為3到配置(因為在本篇博客中我只修改到了這一處參數!):

  如下圖所示,我們在V2的版本上恢復到V1的配置,那么會自動生成一個新的版本,修改后,我們依舊需要重啟服務喲!

?

?

  重啟時,會有2個參數,一般情況下,我們應該選擇第一個參數,如果你修改的參數是只針對Datanode節點生效的化,咱們也是可以只重啟DataNode節點的喲!

4>.通過HDFS原聲管理系統訪問NameNode UI系統

  大多數組件服務都會擁有自己的一套原生管理系統,這里還是以HDFS為例來進行舉例說明。如下圖說是,HDFS就有NameNode UI系統用來觀察集群狀態和查看文件。如果想快速鏈接到組件服務相應的原聲UI系統可以通過“Quick Links”功能進行便捷的頁面鏈接。

?

?

  如下圖所示,點擊上圖中的“NameNode UI”按鈕就可以訪問NameNode 的WebUI界面。?

?

三.Ambari提供的輔助工具

  Ambari 在提供了集群的安裝,管理和監控功能的同時,還附帶了一些十分有用的輔助工具,用于提示Hadoop服務使用的易用性。

1>.HDFS文件管理

?  HDFS是一個分布式文件系統,默認的情況下我們只能通過它并提供Shell命令進程日常的維護操作,這種操作方式有一定的使用門檻,并且不直觀。Ambari提供了針對HDFS的文件管理功能,讓我們通過可視化的方式查看HDFS上的目錄和文件列表,同時通過功能按鈕還能新建目錄和上傳文件,如下圖所示,這種管理方式十分的方便。

  創建新目錄,如下:

  如果你創建失敗時,可能會有以下的提示信息:

  查看創建目錄失敗的原因(當前用戶是admin),如下圖所示:

  上面的報錯是由于hdfs默認是開啟用戶認證的方式的,我們想要解決這個報錯,暴力的方法有兩個:第一,關閉掉認證機制;第二,使用hdfs用戶創建“/yinzhengjie”目錄即可。

[root@node101 ~]# su hdfs
[hdfs@node101 root]$ hdfs dfs -ls /
Found 2 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -mkdir /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -chmod -R 777 /yinzhengjie
[hdfs@node101 root]$ 
[hdfs@node101 root]$ hdfs dfs -ls /        
Found 3 items
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 16:12 /tmp
drwxr-xr-x   - hdfs hdfs          0 2018-12-07 16:12 /user
drwxrwxrwx   - hdfs hdfs          0 2018-12-07 22:14 /yinzhengjie
[hdfs@node101 root]$ 

  創建對應的用戶到hdfs集群上。

  如下圖所示,上傳本地文件到hdfs集群中。

?

?

2>.其他輔助工具

?  其實Ambari提供了很多輔助工具,比如上述到HDFS文件管理。還有Hive 查詢工具,Yarn任務隊列管理,自助式分析系統等等。可能有的小伙伴會說:“并沒有什么卵用,CDH以及繼承了HUE,而HUE上述到這些功能基本上都包括!”,其實工具主要在于使用者本身,有的人喜歡使用CDH,他們更喜歡CDH炫酷都webUI界面!而有的人則喜歡HDP,這一點我并不要求大家使用那塊軟件,我的建議是:“CDH和HDP兩個產品,你熟悉哪個就用哪個比較好!”。由于我們在安裝的時候只安裝了基礎的監控服務,以及HDFS和zookeeper服務,因此其他的功能我暫時就不給大家做一一舉例啦~

  如果有機會的話我會給大家進行一一的分享操作,時間也不早了,在這里我預祝大家工作順利!

?

轉載于:https://www.cnblogs.com/yinzhengjie/p/10086225.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/537334.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/537334.shtml
英文地址,請注明出處:http://en.pswp.cn/news/537334.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

oracle監聽啟動很慢

TNS-12531: TNS:cannot allocate memory 首先查看內存,free -m 發現當前的空閑內存還有很多,那就不是內存不足的問題 想到之前重啟過數據庫服務器,查看主機名hostname,然后在查看etc/hosts 中的主機名,發現兩者不一致,…

python地圖標注_Python 給定的經緯度標注在地圖上的實現方法

博主最近發現了python中一個好玩的包叫basemap,使用這個包可以繪制地圖。值得說一下的是,basemap還沒有pip檢索,因此不能直接使用pip install basemap,來安裝這個包。所以需要自己把下面兩個包自行下載,然后在該目錄下使用pip安裝…

剪映專業版PC端清理緩存與日志

清理緩存 這個簡單,在全局設置里,點擊刪除鍵,就可以 清理日志 軟件每次剪輯都會生成日志,日志路徑在 C:\Users\zengm\AppData\Local\JianyingPro\User Data\Log C:\Users\zengm\AppData\Local\JianyingPro\User Data\VELog

nodejs源碼_nodejs之setTimeout源碼解析

setTimeout是在系統啟動的時候掛載的全局函數。代碼在timer.js。function setupGlobalTimeouts() {const timers NativeModule.require(timers);global.clearImmediate timers.clearImmediate;global.clearInterval timers.clearInterval;global.clearTimeout timers.clear…

百度網盤PC端緩存文件夾

在C:\Users\zengm\AppData\Roaming\baidu\BaiduNetdisk\users\下面 BaiduYunCacheFileV0.db 文件為百度網盤目錄數據,結構為: 百度網盤BaiduYunCacheFileV0.db數據庫研究_wqq1027的博客-CSDN博客_百度網盤數據庫最近研究了一下百度網盤的本地數據庫文件…

python 圖片轉文字錯誤_python3把base64字符串寫成圖片文件出錯

下面的代碼在python2下正常的,是一個微信圖標,文件md5是a1be719025844a1918ec6a338eaa8456我對python3不熟悉,不知道要怎么改#!/usr/bin/python3import base64def filePutContents(file, content):fp open(file, a)fp.write(content)fp.clos…

從業回憶錄,最后悔的事

被一篇文章誤導 我清楚地記得,在我畢業第一年,我看到了一篇關于程序員怎么學技術的文章,觀點是程序員要多學技術,文章引用了典故:“高筑墻,廣積糧,緩稱王”。當時讀這篇文章,感覺很有道理,認同了文章里的觀點。 這么些年,學了不少技術:C#、Asp.net、Java Web套餐、A…

kodexplorer開源網盤php程序配置解析

config/setting_user.php 追加內容(一下都是,注意不要使用中文引號、雙引號及分號) //【指定多語言只保留中文】 $GLOBALS[config][settings][language] zh-CN; //【自定義群組創建時自動新建的目錄】 $GLOBALS[config][settingSystemDefaul…

實現三元組表示的兩個稀疏矩陣的加法_K-BERT | 基于知識圖譜的語言表示模型

1.研究背景BERT曾被應用在多項NLP任務中,并且取得了很好的結果。它通過在大規模開放語料庫上進行預訓練以獲得通用的語言表示,然后在特定的下游任務中進行微調,吸收特定領域的知識。但這些模型在不同的領域執行知識驅動任務時,效果…

Excel單元格“刪除線”的添加與刪除

軟件:windows,WPS 點擊字體設計的小角標,進入更多設置,勾選“刪除線”

excel 表格復制到word后,寬超出word如何調整?

網上很多方法是用“選擇性粘貼----excel表格對象”,這個適用表格行數少的,不超過一頁word的。 步驟 復制到word里后,選中表格,右鍵---自動調整--選擇具體的調整方式。 調整后效果

sql 查詢上個月的數據_數據分析-SQL 進階篇 多表查詢

知識點一、表的加法Union:刪除表中的重復值union al:包含表中所有內容,包括重復值二、表的聯結聯結:join聯結分為以下五種:交叉聯結(cross join)又稱為笛卡爾積:將表中的每一行與另外…

jenkins部署三種構建方式的詳細步驟

部署背景:jenkins: CentOS 7.4C IP:172.16.3.74gitlab-11.5.3: CentOS 7.4D IP:172.16.4.74此上部署都是根據我之前的博客配置完成的;jenkins有三種構建方…

從業回憶,一次大膽的冒險,程序員轉崗項目經理

有些事不必知道得太早 程序員這個行業,被“中年危機”言論導向后,就和洗腳城女技師差不多,年輕,漂亮,技術好,體力好的技師收入高,一邊拿著高薪,賺著外快,一邊吐槽是青春飯,經常熬夜,干不長久。 2010年之前,網上宣傳程序員是青春飯,程序員中年危機的文章很少。近幾…

python中控腳本_Python3.7實現中控考勤機自動連接

由于考勤機與oa對接,oa會在每天定時取考勤機數據,但是需要考勤機是連接狀態,所以搜索了下相關教程,寫了個腳本自動連接。完全是個python小白,代碼爛,僅作為筆記。理論上支持所有程序的每天自動開啟與關閉# …

word轉freemarker和修改的步驟

第一步 編寫好word,用freemarker語法替換內容 第二步 word另存為 word xml 第三步 修改后綴名為:.ftl 第四步 notepad XML插件美化顯示,插件安裝教程:Notepad 7.6以上版本安裝XML Tools插件_lingquan0809的博客-CSDN博客Note…

python編程首選_為什么說學編程首選是python

為什么學編程你可能不會成為一名專業的程序員, 不過學編程的確是有很多的原因的1. 最重要的是你想學!不論是因為業余愛好還是作為職業,編程都是十分有意思的, 都會讓你收獲很多2. 如果你是對計算機感興趣的, 想更多的了…

程序員的職業規劃,程序員的未來趨勢

作者2008年入行,至今15個年頭,從程序員到管理。當初一起入行的,當初帶我的技術大佬,也都轉管理了。 回顧 2008年-2015年:程序員,會ASP.NET、Java、JSP Servlet、SSH、SSM、Mysql、Oracle、Sqlserver、DB2、Sql、H5、Javascript、Jquery、Bootstrap、easy-UI、Android、…

vue-cli 使用better-scroll

better-scroll api文檔https://ustbhuangyi.github.io/better-scroll/doc/zh-hans/ 一:安裝better-scroll 插件 cnpm install better-scroll --save 二:引入 import Bscroll from better-scroll 三:使用 頁面結構要符合這樣的,不…