Hadoop的安裝與配置——搭建完全分布式集群

一、搭建集群

1、準備服務器（這里以我的3臺Centos7為例）

  • 1個主節點：Carlota1(192.168.33.21)，
  • 2個子節點：Carlota2(192.168.33.22)，Carlota3(192.168.33.23)

2、配置主節點名

在主節點命令行輸入： vi /etc/sysconfig/network 添加內容：

NETWORKING=yes
HOSTNAME=Carlota1

3、配置兩臺子節點名

分別在子節點命令行輸入： vi /etc/sysconfig/network 添加內容：

NETWORKING=yes
HOSTNAME=Carlota2

NETWORKING=yes
HOSTNAME=Carlota3

4、配置hosts

打開主節點的hosts文件，注釋掉 將文件的前兩行(當前主機的信息)，并在文件中添加所有hadoop集群的主機信息。

在命令行輸入： vi /etc/hosts ，添加3臺服務器的節點名信息：

192.168.33.21	Carlota1
192.168.33.22	Carlota2
192.168.33.23	Carlota3

保存之后，分別將主節點的hosts分別拷貝到其他兩個子節點：

  • scp /etc/hosts root@192.168.33.22:/etc/
  • scp /etc/hosts root@192.168.33.23:/etc/

分別執行 /bin/hostname hostsname 使更改生效，（例如：Carlota1上執行 /bin/hostsname Carlota1，使之生效。）（重啟可以代替/bin/hostname hostsname命令）

5、關閉防火墻

  1. 查看防火墻狀態 ：firewall-cmd --state
  2. 停止firewall ：systemctl stop firewalld.service
  3. 禁止firewall開機啟動：systemctl disable firewalld.service

6、配置ssh無密碼訪問（使每個節點上的/root/.ssh/authorized_keys文件中都包含所有的節點生成的公鑰內容）

  • 生成公鑰密鑰對：在每個節點上分別執行命令行輸入：ssh-keygen -t rsa ， 一直按回車或Yes直到生成結束（執行結束之后每個節點上的/root/.ssh/目錄下生成了兩個文件 id_rsa 和 id_rsa.pub其中前者為私鑰，后者為公鑰)
  • 在主節點上執行命令行輸入：cp id_rsa.pub authorized_keys
  • 將兩個子節點的公鑰拷貝到主節點上，分別在兩個子節點上執行：
scp /root/.ssh/id_rsa.pub root@Carlota1:/root/.ssh/id_rsa_Carlota2.pub
scp /root/.ssh/id_rsa.pub root@Carlota1:/root/.ssh/id_rsa_Carlota3.pub
  • 在主節點上，將拷貝過來的兩個公鑰合并到authorized_keys文件中
cat id_rsa_Carlota2.pub>> authorized_keys
cat id_rsa_Carlota3.pub>> authorized_keys
  • 將主節點的authorized_keys文件分別替換子節點的authorized_keys文件
scp authorized_keys root@Carlota2:/root/.ssh/
scp authorized_keys root@Carlota3:/root/.ssh/
  • 最后測試是否配置成功：在Carlota1上分別執行，ssh Carlota2，ssh Carlota3 能正確跳轉到兩臺子節點的操作界面即可

二、Hadoop集群配置

7、準備工作
下載好相應的Hadoop與JDK版本
在這里插入圖片描述
8、分別上傳JDK與Hadoop的tar.gz文件到三臺服務器
這里使用windows下的文件傳輸軟件進行上傳(其中我這里上傳路徑分別為/usr/local/java/和/usr/local/apps/)
在這里插入圖片描述
9、安裝配置JAVA

  • tar -zxvf jdk-8u251-linux-x64.tar.gz
  • mv jdk1.8.0_251 jdk1.8

配置環境變量vi /etc/profile 添加以下內容

#JAVA
export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
  • source /etc/profile

測試是否安裝成功：java -version
在這里插入圖片描述

10、安裝hadoop

  • tar -zxvf hadoop-3.2.1.tar.gz

配置環境變量vi /etc/profile 添加以下內容

#Hadoop
export HADOOP_HOME=/usr/local/apps/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • source /etc/profile

11、配置Hadoop /sbin下
將start-dfs.sh，stop-dfs.sh兩個文件頂部添加以下參數

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh，stop-yarn.sh頂部也需添加以下參數：

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

12、配置Hadoop /etc下
需要修改的有以下幾個文件：

  • hadoop-env.sh
  • yarn-env.sh
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml
  • workers (Hadoop3.0以前的版本叫做slaves)

(1)、hadoop-env.sh和yarn-env.sh
分別添加JAVA_HOME路徑到hadoop-env.sh和yarn-env.sh中

export JAVA_HOME=/usr/local/java/jdk1.8

(2)、core-site.xml
添加如下代碼

<configuration><property><name>fs.defaultFS</name><value>hdfs://Carlota1:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/temp</value></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
</configuration>

其中/usr/temp文件夾需要新建！
(3)、hdfs-site.xml
添加如下代碼：

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Carlota1:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/dfs/data</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.web.ugi</name><value>supergroup</value></property>
</configuration>

其中/usr/dfs/name與/usr/dfs/data文件夾需要新建！

(4)、mapred-site.xml（沒有mapred-site.xml文件可以將mapred-site.xml.template進行重命名為mapred-site.xml）

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Carlota1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Carlota1:19888</value></property>
</configuration>

(5)、yarn-site.xml
添加如下代碼：

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>Carlota1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Carlota1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Carlota1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Carlota1:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Carlota1:8088</value></property>
</configuration>

(6)、workers
將原內容修改為

Carlota2
Carlota3

拷貝hadoop安裝文件到子節點

scp -r etc/hadoop  root@Carlota2:/usr/local/apps/hadoop-3.2.1/etc
scp -r etc/hadoop  root@Carlota3:/usr/local/apps/hadoop-3.2.1/etc

13、啟動Hadoop集群

  • 格式化主節點的namenode：./bin/hdfs namenode -format
  • 主節點上在hadoop目錄下執行：./sbin/start-all.sh

主節點上jps進程如下：
在這里插入圖片描述
子節點上jps進程如下：
在這里插入圖片描述

hadoop集群配置成功！！！

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/535831.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/535831.shtml
英文地址，請注明出處：http://en.pswp.cn/news/535831.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

HTTP 視頻怎么在 MIP 頁面中使用？

HTTP 視頻怎么在 MIP 頁面中使用？

在 MIP 中&#xff0c;一些資源的使用需要支持 HTTPS&#xff0c;視頻就是其中一種。但目前大部分站點的視頻資源都還是 HTTP 的資源&#xff0c;無法在百度 MIP 搜索結果中直接使用&#xff0c; mip-video 視頻組件針對 HTTP 的視頻資源采用跳到一個 HTTP 的播放頁面進行播放&…
閱讀更多...
MIP 組件庫升級公告

MIP 組件庫升級公告

背景 為了方便廣大開發者們更好地使用組件&#xff0c;現對 MIP 組件庫統一進行升級&#xff0c;升級后將分為通用組件和自定義組件兩類&#xff0c;方便開發。 通用組件&#xff0c;即考慮了組件通用性方便所有開發者參考使用的組件&#xff0c;將存放于 mip-extensions 倉庫…
閱讀更多...
騰訊云服務器 ubuntu 設置允許root用戶登錄和禁用ubuntu用戶

騰訊云服務器 ubuntu 設置允許root用戶登錄和禁用ubuntu用戶

最近購買了騰訊云服務器&#xff0c;使用了 Ubuntu Server 18.04.1 LTS 64位操作系統&#xff0c;發現默認用戶為ubuntu,而無法用root用戶進行ssh登陸&#xff0c;本篇就記錄一下開通root和禁用ubuntu的過程。 1、設置允許root用戶登錄 使用用戶名ubuntu登錄sudo passwd root…
閱讀更多...
Ubuntu 修改 hostname

Ubuntu 修改 hostname

1、vi /etc/cloud/cloud.cfg 2、將preserve_hostname: false修改為preserve_hostname: true 3、hostnamectl set-hostname 主機名 4、reboot重啟系統生效
閱讀更多...
MIP 技術月報（4月）：支持熊掌號登錄；優化頁面懸浮元素

MIP 技術月報（4月）：支持熊掌號登錄；優化頁面懸浮元素

之前由MIP團隊維護的《移動 Web 加速技術月報》從本期開始&#xff0c;正式升級為《MIP 技術月報》&#xff0c;與以往不同的是&#xff0c;《MIP 技術月報》將會與大家分享包含移動加速技術以外的其他移動應用開發的技術&#xff0c;從移動用戶體驗、開發體驗出發來分享 MIP 的…
閱讀更多...
Ubuntu18.04安裝最新版Docker

Ubuntu18.04安裝最新版Docker

卸載舊的docker版本apt-get remove docker docker-engine docker.io containerd runc更新軟件列表apt-get update.允許apt命令可以使用HTTPS訪問Docker repositoryapt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common添加Docker…
閱讀更多...
MIP 問題解決方案大全（2018-06更新）

MIP 問題解決方案大全（2018-06更新）

在 MIP 推出后&#xff0c;我們收到了一些站長的疑問。現將常見問題整理出來&#xff0c;幫助大家了解 MIP 的知識。 一、MIP 認知類問題二、改造前準備三、前端改造&#xff0c;組件使用四、提交生效五、MIPCache六、更多學習資源 一、MIP 認知類問題 1.1 MIP 化的收益是什…
閱讀更多...
Ubuntu18使用docker快速安裝oracle 11g

Ubuntu18使用docker快速安裝oracle 11g

1、安裝docker環境&#xff0c;參照Ubuntu18.04安裝最新版Docker 2、下載oracle鏡像docker pull deadok22/docker-oracle-xe-11g 3、下載完成后&#xff0c;啟動oracle鏡像作為容器&#xff1a;docker run -h "oracle" --name "oracle" -d -p 49160:22 -p …
閱讀更多...
ubuntu新建用戶后，終端下方向鍵和tab鍵不可用的解決方法

ubuntu新建用戶后，終端下方向鍵和tab鍵不可用的解決方法

問題描述&#xff1a; 用adduser命令新增了用戶之后&#xff0c;發現在該新建用戶下的命令終端&#xff0c;使用方向鍵無法調出歷史命令&#xff0c;同時tab鍵也無法補全輸入命令。 問題解決&#xff1a; 在/etc/passwd中發現&#xff0c;該新建用戶使用的shell為/bin/sh&…
閱讀更多...
移動Web體驗月報（6月）：MIP 核心代碼升級，增加基于 Vue 開發能力

移動Web體驗月報（6月）：MIP 核心代碼升級，增加基于 Vue 開發能力

原創&#xff1a; BrilliantOpenWeb OpenWeb開發者 7月6日 作者 | Brilliant Open Web 團隊 編輯 | Daisy 升級與重要進展 歷時2個月&#xff0c;MIP團隊完成了核心代碼重構與核心功能升級&#xff0c;MIP新版本核心代碼&#xff08;V2&#xff09;在實現向下完全兼容當前代…
閱讀更多...
騰訊云ubuntu18安裝圖形化界面

騰訊云ubuntu18安裝圖形化界面

0、apt-get update 1、sudo apt-get install xinit 2、sudo apt-get install gdm3 3、apt-get install ubuntu-desktop
閱讀更多...
2017 到 2018，PWA 技術到底經歷了什么

2017 到 2018，PWA 技術到底經歷了什么

高磊 OpenWeb開發者 1周前 在 GMTC 2018 全球大前端會議舉辦期間&#xff0c;高磊擔任主題演講嘉賓&#xff0c;并擔任 PWA 專場出品人。作為有近 10 年 Web 前端技術開發、管理經驗的開發者&#xff0c;高磊一直關注著 PWA 技術的發展。 2017年 6月10日&#xff0c;GMTC 201…
閱讀更多...
CentrOS7靜默安裝oracle11g

CentrOS7靜默安裝oracle11g

最近要做一個用ogg實現oracle到kafka的增量數據實時同步&#xff0c;但是Oracle就讓我裝了好久&#xff0c;這里來記錄一下安裝oracle過程。 1.建立swap分區 創建充當swap分區的文件&#xff0c;文件大小就是要增加的swap大小&#xff0c;of是文件位置&#xff0c;bs為單位&a…
閱讀更多...
MIP 擴展組件開發手冊

MIP 擴展組件開發手冊

本手冊將向你展示&#xff0c;完成一個 MIP 擴展組件的開發需要做哪些事情。在此之前&#xff0c;我們假定你&#xff1a; 有一定的 HTML、CSS 和 JavaScript 基礎 了解 AMD 的模塊管理方式 熟悉版本管理工具 Git 有自己的 GitHub 賬號 懂得使用 npm 步驟 通常情況下&am…
閱讀更多...
Zookeeper分布式安裝部署

Zookeeper分布式安裝部署

本篇博客將主要介紹如何進行Zookeeper的分布式安裝部署 集群規劃 在Carlota1、Carlota2、Carlota3三臺機器上進行部署。 安裝部署 1、解壓安裝 上傳壓縮文件apache-zookeeper-3.6.1-bin.tar.gz到三臺機器上解壓文件tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz改個名&…
閱讀更多...
MIP 網站中熊掌號登錄

MIP 網站中熊掌號登錄

標題內容類型通用支持布局responsive,fixed-height,fill,container,fixed所需腳本https://c.mipcdn.com/static/v1/mip-mustache/mip-mustache.js https://c.mipcdn.com/static/v1/mip-login-xzh/mip-login-xzh.js 注意&#xff1a;使用該組件必須在引用本組件鏈接前引用 <…
閱讀更多...
日常問題——hadoop 任務運行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003

日常問題——hadoop 任務運行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003

執行mapreduce沒報錯&#xff0c;可是任務運行到running job就卡住在 INFO mapreduce.Job: Running job: job_1595222530661_0003 解決方法 mapred-site.xml下將 <property><name>mapreduce.framework.name</name><value>yarn</value> </pr…
閱讀更多...
MIP 支付組件，支付流程：

MIP 支付組件，支付流程：

MIP 支付組件&#xff0c;支付流程&#xff1a; 標題內容類型通用支持布局responsive,fixed-height,fill,container,fixed所需腳本https://c.mipcdn.com/static/v1/mip-simple-pay/mip-simple-pay.js,https://c.mipcdn.com/static/v1/mip-login-xzh/mip-login-xzh.js 注意&…
閱讀更多...
代碼實現——MapReduce統計單詞出現次數

代碼實現——MapReduce統計單詞出現次數

需求 對以下txt文檔進行單詞出現次數統計&#xff08;txt文檔在/Users/lizhengi/test/input/目錄下&#xff09; hadoop take spring spark hadoop hdfs mapreduce take Tomcat tomcat kafka kafka flume flume hive實現 1、新建Maven工程&#xff0c;pom.xml依賴如下 <…
閱讀更多...
MIP個性化組件提交規范

MIP個性化組件提交規范

MIP個性化組件一般用來實現前后端數據傳輸或特殊的交互效果&#xff0c;由廣大開發者貢獻。出于性能、可維護性等方面的考慮&#xff0c;開發者在新增組件或升級組件時&#xff0c;請遵守以下規范。 規范中的必須&#xff08;MUST&#xff09;&#xff0c;禁止&#xff08;MUS…
閱讀更多...
最新文章

Copyright @ 2022~2023