『轉載』hadoop2.x常用端口、定義方法及默認端口

『轉載』hadoop2.x常用端口、定義方法及默認端口

1.問題導讀

  • DataNode的http服務的端口、ipc服務的端口分別是哪個？
  • NameNode的http服務的端口、ipc服務的端口分別是哪個？
  • journalnode的http服務的端口、ipc服務的端口分別是哪個？
  • ResourceManager的http服務端口是哪個？
  • NodeManager的http服務端口是哪個？
  • Master的http服務的端口、ipc服務的端口分別是哪個？
  • 3888是誰的端口，用來做什么？

?

?

? ? ? ?Hadoop集群的各部分一般都會使用到多個端口，有些是daemon之間進行交互之用，有些是用于RPC訪問以及HTTP訪問。而隨著Hadoop周邊組件的增多，完全記不住哪個端口對應哪個應用，特收集記錄如此，以便查詢。
這里包含我們使用到的組件：HDFS, YARN, HBase, Hive, ZooKeeper:
組件節點默認端口配置用途說明
HDFSDataNode50010dfs.datanode.addressdatanode服務端口，用于數據傳輸
HDFSDataNode50075dfs.datanode.http.addresshttp服務的端口
HDFSDataNode50475dfs.datanode.https.addresshttps服務的端口
HDFSDataNode50020dfs.datanode.ipc.addressipc服務的端口
HDFSNameNode50070dfs.namenode.http-addresshttp服務的端口
HDFSNameNode50470dfs.namenode.https-addresshttps服務的端口
HDFSNameNode8020fs.defaultFS接收Client連接的RPC端口，用于獲取文件系統metadata信息。
HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服務
HDFSjournalnode8480dfs.journalnode.http-addressHTTP服務
HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController，用于NN HA
YARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口
YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler組件的IPC端口
YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPC
YARNResourceManager8033yarn.resourcemanager.admin.addressIPC
YARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服務端口
YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC
YARNNodeManager8042yarn.nodemanager.webapp.addresshttp服務端口
YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口
YARNJobHistory Server10020mapreduce.jobhistory.addressIPC
YARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服務端口
HBaseMaster60000hbase.master.portIPC
HBaseMaster60010hbase.master.info.porthttp服務端口
HBaseRegionServer60020hbase.regionserver.portIPC
HBaseRegionServer60030hbase.regionserver.info.porthttp服務端口
HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode，使用獨立的ZooKeeper集群則不會啟用該端口。
HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode，使用獨立的ZooKeeper集群則不會啟用該端口。
HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode，使用獨立的ZooKeeper集群則不會啟用該端口。
HiveMetastore9083/etc/default/hive-metastore中export PORT=<port>來更新默認端口?
HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認端口?
ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>對客戶端提供服務的端口
ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標藍部分follower用來連接到leader，只在leader上監聽該端口。
ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，標藍部分

用于leader選舉的。只在electionAlg是1,2或3(默認)時需要。

  • 補充一些內容：
  • 需要知道的默認配置，在Hadoop 2.2.0中，YARN框架有很多默認的參數值，如果你是在機器資源比較不足的情況下，需要修改這些默認值，來滿足一些任務需要。
  • NodeManager和ResourceManager都是在yarn-site.xml文件中配置的，而運行MapReduce任務時，是在mapred-site.xml中進行配置的。下面看一下相關的參數及其默認值情況：
參數名稱
默認值
進程名稱
配置文件
含義說明
yarn.nodemanager.resource.memory-mb8192NodeManageryarn-site.xml從節點所在物理主機的可用物理內存總量
yarn.nodemanager.resource.cpu-vcores8NodeManageryarn-site.xml節點所在物理主機的可用虛擬CPU資源總數（core）
yarn.nodemanager.vmem-pmem-ratio2.1NodeManageryarn-site.xml使用1M物理內存，最多可以使用的虛擬內存數量
yarn.scheduler.minimum-allocation-mb1024ResourceManageryarn-site.xml一次申請分配內存資源的最小數量
yarn.scheduler.maximum-allocation-mb8192ResourceManageryarn-site.xml一次申請分配內存資源的最大數量
yarn.scheduler.minimum-allocation-vcores1ResourceManageryarn-site.xml一次申請分配虛擬CPU資源最小數量
yarn.scheduler.maximum-allocation-vcores8ResourceManageryarn-site.xml一次申請分配虛擬CPU資源最大數量
mapreduce.framework.namelocalMapReducemapred-site.xml取值local、classic或yarn其中之一，如果不是yarn，則不會使用YARN集群來實現資源的分配
mapreduce.map.memory.mb1024MapReducemapred-site.xml每個MapReduce作業的map任務可以申請的內存資源數量
mapreduce.map.cpu.vcores1MapReducemapred-site.xml每個MapReduce作業的map任務可以申請的虛擬CPU資源的數量
mapreduce.reduce.memory.mb1024MapReducemapred-site.xml每個MapReduce作業的reduce任務可以申請的內存資源數量
yarn.nodemanager.resource.cpu-vcores8MapReducemapred-site.xml每個MapReduce作業的reduce任務可以申請的虛擬CPU資源的數量

?
  • ?原文地址：http://www.aboutyun.com/thread-7513-1-1.html
?

轉載于:https://www.cnblogs.com/landiljy/p/6956347.html

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/254409.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/254409.shtml
英文地址，請注明出處：http://en.pswp.cn/news/254409.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

宏定義和內聯函數的學習

宏定義和內聯函數的學習

宏定義可以提高效率&#xff0c;但是宏不是函數。 預編譯通過代碼復制的方式代替函數調用&#xff0c;省去了諸如函數壓棧等系統過程&#xff0c;從而提高了效率。但是由于宏定義僅僅是代碼替換&#xff0c;所以引起很多問題。#define MAX(a&#xff0c;b) (a) > (b) ? (…
閱讀更多...
HAProxy介紹及配置文件詳解

HAProxy介紹及配置文件詳解

一、HAProxy簡介 HAProxy是一個開源的、高性能的、基于TCP和HTTP應用的負載均衡軟件&#xff0c;借助HAProxy可快速、可靠地提供基于TCP和HTTP應用的負載均衡解決方案 二、HAProxy優點 1) 可靠性和穩定性非常好&#xff0c;可以與硬件的F5相媲美2) 最高可以同時維護40000--5000…
閱讀更多...
unbutu安裝搜狗輸入法【轉載】

unbutu安裝搜狗輸入法【轉載】

安裝支持庫 sudo apt-get install fcitx libssh2-1 如果安裝過程中出現錯誤失敗&#xff0c;運行apt-get -f install 查看支持庫是否安裝成功 dpkg -l | grep fcitx dpkg -l | grep libssh 下載搜狗輸入法 wget "http://pinyin.sogou.com/linux/download.php?flinux&…
閱讀更多...
深入理解halcon相機標定

深入理解halcon相機標定

目錄相機標定簡介深度說明1、相機標定參數介紹2、標定板詳細介紹問題1&#xff1a;halcon是否只能使用halcon專用的標定板&#xff1f;問題2&#xff1a;halcon標定板如何生成&#xff1f;問題3&#xff1a;halcon標定板如何擺放&#xff0c;拍照數量有無限制&#xff1f;標定步…
閱讀更多...
halcon模板匹配干擾邊緣消除辦法（最硬核方式）

halcon模板匹配干擾邊緣消除辦法（最硬核方式）

目錄halcon手繪形狀匹配模板手繪形狀匹配模板主要算子解析draw_nurbs 繪制平滑曲線參數解釋create_shape_model_xld 使用XLD輪廓創建模板參數解釋實例演示與解析實例代碼展示與解析運行過程與處理展示讀入圖像繪制模板使用繪制的XLD創建模板查找模板博主寫作不容易&#xff0c;…
閱讀更多...
往文件中寫數據--增量

往文件中寫數據--增量

有的功能需要打印日志文件&#xff0c;但是日志文件太多不方便查看&#xff0c;我就把信息輸出到一個TXT文件中了。 下面就是我將要說的&#xff0c;往文件中寫數據&#xff08;增量&#xff09;&#xff0c;代碼很簡單&#xff0c;也可以放在你的代碼中運行一下&#xff1a; /…
閱讀更多...
SQL Server 數據庫查找重復記錄的幾種方法

SQL Server 數據庫查找重復記錄的幾種方法

http://www.hanyu123.cn/html/c61/6790.html 一、查某一列&#xff08;或多列&#xff09;的重復值。&#xff08;只可以查出重復記錄的值&#xff0c;不能查出整個記錄的信息&#xff09; 例如:查找stuid&#xff0c;stuname重復的記錄&#xff1a; select stuid&#xff0c;s…
閱讀更多...
xvid 數據編碼和解碼

xvid 數據編碼和解碼

由于視頻開發的需求&#xff0c;封裝xvid c調用接口&#xff0c;使之優雅易用 我已經對pc camera視頻流(RGB)進行嘗試&#xff0c;編碼之后傳輸到遠程主機進行解碼回放&#xff0c;效果不錯 具體的xvid的參數可以進一步優化&#xff0c;這里只是提供簡單的范例 1. xvid 解碼 …
閱讀更多...
第一個PowerShell腳本——PowerShell三分鐘（九）

第一個PowerShell腳本——PowerShell三分鐘（九）

前面把基礎知識講了一遍&#xff0c;現在我們開始寫一個最初級的腳本寫腳本的工具有很多&#xff0c;有文本文檔&#xff0c;有PowerShell ISE&#xff0c;PowerShell Studio等&#xff0c;這里選用系統自帶的PowerShell ISE這里大家依然要記得以管理員身份運行&#xff0c;否則…
閱讀更多...
C#精準定時

C#精準定時

文章目錄簡介StopWatch類例子1&#xff0c;用作延時例子2&#xff0c;用作算法耗時評估博主寫作不容易&#xff0c;孩子需要您鼓勵 萬水千山總是情 , 先點個贊行不行 簡介 我們在自動化上位機編寫過程中&#xff0c;上位機的定時應用在很多地方。對于工業上位機程序設計起…
閱讀更多...
聯合體（union）和結構體（struct）的區別

聯合體（union）和結構體（struct）的區別

1. 聯合說明和聯合變量定義 聯合也是一種新的數據類型, 它是一種特殊形式的變量。 聯合說明和聯合變量定義與結構十分相似。其形式為: union 聯合名{ 數據類型 成員名; 數據類型 成員名; ... } 聯合變量名; 聯合表示幾個變量公用一個內存位置, 在不同的時間保存不同…
閱讀更多...
MVC架構簡介及其測試策略

MVC架構簡介及其測試策略

最近在WEB端測試工作中陷入了瓶頸&#xff0c;單純的手動功能測試在沒有成熟的代碼規范之前還是很容易坑的&#xff0c;WEB自動化測試一時半會還沒有什么進展&#xff0c;所以決定先學習一下網站用的MVC架構&#xff0c;跟著教程寫了一個小網站&#xff0c;大概也找到了WEB測試…
閱讀更多...
prototype與_proto_

prototype與_proto_

1、prototype與_proto_ ①prototype&#xff1a;是函數才有的屬性&#xff0c;這個屬性是一個指針。當一個構造函數被創建時&#xff0c;該構造函數會自動生成一個prototype指針&#xff0c;該指針指向構造函數的原型。這個原型會有其他實例共享的一些屬性和方法。 ②_proto_&a…
閱讀更多...
Halcon求取矩形頂點坐標

Halcon求取矩形頂點坐標

文章目錄簡介Halcon源碼博主寫作不容易&#xff0c;孩子需要您鼓勵 萬水千山總是情 , 先點個贊行不行 簡介 我們在使用Halcon畫矩形時&#xff0c;并不能得到矩形四角頂點坐標。但是我們可以通過數學計算得到矩形定點坐標的位置。 我們在計算過程中需要知道矩形的長軸與短…
閱讀更多...
kafka常用的shell命令

kafka常用的shell命令

kafka常用shell命令&#xff1a; ------------------------------------ 1、創建topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2、查看創建的topic bin/kafka-topics.sh --list --zookeeper localhost:…
閱讀更多...
python+pycharm+Django報錯

python+pycharm+Django報錯

報錯&#xff1a; Unhandled exception in thread started by <function wrapper at 0x2d7e410>Traceback (most recent call last):File "/root/virtual_dir/wxwebapp_court_nositepkg/lib/python2.7/site-packages/django/utils/autoreload.py", line 226, i…
閱讀更多...
C++多線程實例(_beginThreadex創建多線程)

C++多線程實例(_beginThreadex創建多線程)

C多線程&#xff08;二&#xff09;(_beginThreadex創建多線程) C/C Runtime 多線程函數一 簡單實例&#xff08;來自codeprojct&#xff1a;http://www.codeproject.com/useritems/MultithreadingTutorial.asp&#xff09; 主線程創建2個線程t1和t2&#xff0c;創建時2個線程…
閱讀更多...
halcon求取區域頂點

halcon求取區域頂點

文章目錄簡介Halcon源代碼處理效果博主寫作不容易&#xff0c;孩子需要您鼓勵 萬水千山總是情 , 先點個贊行不行 簡介 使用halcon求取頂點的方法。 Halcon源代碼 read_image (Image1, 1.png)points_foerstner (Image1, 1, 2, 3, 200, 0.3, gauss, false, RowJunctions, …
閱讀更多...
從excel表中生成批量SQL,將數據錄入到數據庫中

從excel表中生成批量SQL,將數據錄入到數據庫中

excel表格中有許多數據&#xff0c;需要將數據導入數據庫中&#xff0c;又不能一個一個手工錄入&#xff0c;可以生成SQL&#xff0c;來批量操作。1.首先在第二行的H列&#xff0c;插入函數&#xff1a;CONCATENATE("INSERT INTO book (bookid, title, volume, author, u…
閱讀更多...
HDU-5895 Mathematician QSC

HDU-5895 Mathematician QSC

題目大意&#xff1a; 已知f[0] 0, f[1] 1, f[i] f[i-1] * 2 f[i-2]&#xff0c;且g[n] g[n-1] f[n] * f[n]&#xff0c;現在給出n&#xff0c;y&#xff0c;x&#xff0c;s&#xff0c;問你x^(g[n*y]) mod (s 1)的值為多少。 解題思路&#xff1a; 首先可以得到的是g[n…
閱讀更多...
最新文章

Copyright @ 2022~2023