在Ubuntu下創建hadoop組和hadoop用戶

一、在Ubuntu下創建hadoop組和hadoop用戶

????增加hadoop用戶組,同時在該組里增加hadoop用戶后續在涉及到hadoop操作時,我們使用用戶

?

1、創建hadoop用戶組

?

????????

?

?

?

????2、創建hadoop用戶

????

????sudo adduser -ingroup hadoop hadoop

????回車后會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼輸入回車即可。

????如果不輸入密碼,回車后會重新提示輸入密碼,即密碼不能為空。

????最后確認信息是否正確,如果沒問題,輸入 Y,回車即可。

????

?

?

?

?

?

?

?

?

?

?

?

?

????3、為hadoop用戶添加權限

?

???? 輸入:sudo gedit /etc/sudoers

???? 回車,打開sudoers文件

???? 給hadoop用戶賦予和root用戶同樣的權限

?

?

????

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

二、用新增加的hadoop用戶登錄Ubuntu系統

?

三、安裝ssh

sudo apt-get install openssh-server

?

?

?

?

?

?

?

?

?

?

?

?

安裝完成后,啟動服務

sudo /etc/init.d/ssh start

?

查看服務是否正確啟動:ps -e | grep ssh

?

?

?

?

?

?

設置免密碼登錄,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

?

?

?

?

?

?

?

?

?

?

?

?

?

此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者為私鑰,后者為公鑰。

下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

?

?

?

登錄ssh

ssh localhost

?

?

?

?

?

?

?

?

?

?

???? ?

退出

exit

?

四、安裝Java環境

sudo apt-get install openjdk-7-jdk

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

查看安裝結果,輸入命令:java -version,結果如下表示安裝成功。

?

?

?

?

五、安裝hadoop2.4.0

????1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

?

????2、安裝

?

????????解壓

????????sudo tar xzf hadoop-2.4.0.tar.gz????????

????????假如我們要把hadoop安裝到/usr/local下

????????拷貝到/usr/local/下,文件夾為hadoop

????????sudo mv hadoop-2.4.0 /usr/local/hadoop????????

????????

?

賦予用戶對該文件夾的讀寫權限

????????sudo chmod 774 /usr/local/hadoop

????

?

3、配置

???? ?

????????1)配置~/.bashrc

????????

配置該文件前需要知道Java的安裝路徑,用來設置JAVA_HOME環境變量,可以使用下面命令行查看安裝路徑

????????update-alternatives - -config java

????????執行結果如下:

????????

????

?

?

?

完整的路徑為

????/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

????我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

????配置.bashrc文件

????sudo gedit ~/.bashrc

????

????該命令會打開該文件的編輯窗口,在文件末尾追加下面內容,然后保存,關閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

?

?

最終結果如下圖:

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

執行下面命,使添加的環境變量生效:

????????source ~/.bashrc

2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

?

????????執行下面命令打開該文件的編輯窗口

????????sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量,修改此變量如下

????????export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64????

????????修改后的hadoop-env.sh文件如下所示

????

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

六、WordCount測試

?

單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功

????/usr/local/hadoop路徑下創建input文件夾????

mkdir input

?

????拷貝README.txt到input????

cp README.txt input

????執行WordCount

????bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

????

?

?

執行結果:

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

執行 cat output/*,查看字符統計結果

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?常見問題:

問題:?50070 hadoop 打不開 50075可以打開

解決:?hadoop namenode -format

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/388102.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/388102.shtml
英文地址,請注明出處:http://en.pswp.cn/news/388102.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

day06 hashlib模塊

1.hashlib模塊 import hashlib# password123456# print( password.encode()) #加密前先轉成二進制# mhashlib.md5(password.encode())# print(dir(m)) #查詢m的所有方法## print(m.hexdigest()) #使用hexdigest()方法加密,md5加密之后是不可逆,不可以解…

vs azure web_在Azure中遷移和自動化Chrome Web爬網程序的指南。

vs azure webWebscraping as a required skill for many data-science related jobs is becoming increasingly desirable as more companies slowly migrate their processes to the cloud.隨著越來越多的公司將其流程緩慢遷移到云中,將Web爬網作為許多與數據科學相…

hadoop eclipse windows

首先說一下本人的環境: Windows7 64位系統 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一.簡介 Hadoop2.x之后沒有Eclipse插件工具,我們就不能在Eclipse上調試代碼,我們要把寫好的java代碼的MapReduce打包成jar然后在Linux上運…

同步函數死鎖現象

多線程:一個進程中有多個線程可以同時執行任務 多線程的好處: 1、解決一個進程中可以同時執行多個任務的問題。 2、提高了資源利用率 多線程的弊端: 1、增加了CPU的負擔 2、降低了一個進程中線程的執行概率 3、出現了線程安全問題 4、會引發死…

netstat 在windows下和Linux下查看網絡連接和端口占用

假設忽然起個服務,告訴我8080端口被占用了,OK,我要去看一下是什么服務正在占用著,能不能殺 先假設我是在Windows下: 第一列: Proto 協議 第二列: 本地地址【ip端口】 第三列:遠程地址…

selenium 解析網頁_用Selenium進行網頁搜刮

selenium 解析網頁網頁抓取系列 (WEB SCRAPING SERIES) 總覽 (Overview) Selenium is a portable framework for testing web applications. It is open-source software released under the Apache License 2.0 that runs on Windows, Linux and macOS. Despite serving its m…

表的設計與優化

單表設計與優化 1)設計規范化表,消除數據冗余(以使用正確字段類型最明顯): 數據庫范式是確保數據庫結構合理,滿足各種查詢需要、避免數據庫操作異常的數據庫設計方式。滿足范式要求的表,稱為規范…

代理ARP協議(Proxy ARP)

代理ARP(Proxy-arp)的原理就是當出現跨網段的ARP請求時,路由器將自己的MAC返回給發送ARP廣播請求發送者,實現MAC地址代理(善意的欺騙),最終使得主機能夠通信。 圖中R1和R3處于不同的局域網&…

hive 導入hdfs數據_將數據加載或導入運行在基于HDFS的數據湖之上的Hive表中的另一種方法。

hive 導入hdfs數據Preceding pen down the article, might want to stretch out appreciation to all the wellbeing teams beginning from cleaning/sterile group to Nurses, Doctors and other who are consistently battling to spare the mankind from continuous Covid-1…

Java性能優化

一、避免在循環條件中使用復雜表達式 在不做編譯優化的情況下,在循環中,循環條件會被反復計算,如果不使用復雜表達式,而使循環條件值不變的話,程序將會運行的更快。 例子: import java.util.vector; class …

對Faster R-CNN的理解(1)

目標檢測是一種基于目標幾何和統計特征的圖像分割,最新的進展一般是通過R-CNN(基于區域的卷積神經網絡)來實現的,其中最重要的方法之一是Faster R-CNN。 1. 總體結構 Faster R-CNN的基本結構如下圖所示,其基礎是深度全…

大數據業務學習筆記_學習業務成為一名出色的數據科學家

大數據業務學習筆記意見 (Opinion) A lot of aspiring Data Scientists think what they need to become a Data Scientist is :許多有抱負的數據科學家認為,成為一名數據科學家需要具備以下條件: Coding 編碼 Statistic 統計 Math 數學 Machine Learni…

postman 請求參數為數組及JsonObject

2019獨角獸企業重金招聘Python工程師標準>>> 1. (1)數組的請求方式(post) https://blog.csdn.net/qq_21205435/article/details/81909184 (2)數組的請求方式(get) http://localhost:port/list?ages10,20,30 后端接收方式: PostMa…

領扣(LeetCode)對稱二叉樹 個人題解

給定一個二叉樹,檢查它是否是鏡像對稱的。 例如,二叉樹 [1,2,2,3,4,4,3] 是對稱的。 1/ \2 2/ \ / \ 3 4 4 3但是下面這個 [1,2,2,null,3,null,3] 則不是鏡像對稱的: 1/ \2 2\ \3 3說明: 如果你可以運用遞歸和迭代兩種方法解決這個問題&#…

python 開發api_使用FastAPI和Python快速開發高性能API

python 開發apiIf you have read some of my previous Python articles, you know I’m a Flask fan. It is my go-to for building APIs in Python. However, recently I started to hear a lot about a new API framework for Python called FastAPI. After building some AP…

Purley平臺Linpak測試,從踏坑開始一步步優化

Purley平臺Linpak測試,從踏坑開始一步步優化 #記2017年11月第一次踏坑事件 測試平臺配置: 6nodes CPU: Intel Gold 6132 2.6GHz 14C RAM: 8G *12 2666MHz NET: Infiband FDR OS: centos7.2 mpi: Intel-mpi hpl: xhpl.intel 開始踏第一坑 現象&#xff1a…

基于easyui開發Web版Activiti流程定制器詳解(一)——目錄結構

題外話(可略過): 前一段時間(要是沒記錯的話應該是3個月以前)發布了一個更新版本,很多人說沒有文檔看著比較困難,所以打算拿點時間出來詳細給大家講解一下,…

HDOJ 2037:今年暑假不AC_大二寫

AC代碼&#xff1a; #include <iostream> #include <cstdio> #include <algorithm> #define Max 105 using namespace std;struct TimeList {int start;int end; }timelist[Max]; bool compare(TimeList a, TimeList b) {if(a.end b.end)return a.start &l…

基于easyui開發Web版Activiti流程定制器詳解(二)——文件列表

&#xfeff;&#xfeff;上一篇我們介紹了目錄結構&#xff0c;這篇給大家整理一個文件列表以及詳細說明&#xff0c;方便大家查找文件。 由于設計器文件主要保存在wf/designer和js/designer目錄下&#xff0c;所以主要針對這兩個目錄進行詳細說明。 wf/designer目錄文件詳解…

杭電oj2047-2049、2051-2053、2056、2058

2047 阿牛的EOF牛肉串 1 #include<stdio.h>2 3 int main(){4 int n,i;5 _int64 s[51];6 while(~scanf("%d",&n)){7 s[1]3;s[2]8;8 for(i3;i<n;i){9 s[i] s[i-1]*2 s[i-2]*2; 10 } 11 print…