(第2篇)一篇文章教你輕松安裝hadoop

摘要: 這篇文章將會手把手教你安裝hadoop,只要你細心按照文章中的步驟操作,hadoop肯定能正確安裝,絕對不會讓你崩潰

博主福利?給大家贈送一套hadoop視頻課程

授課老師是百度 hadoop 核心架構師?
內容包括hadoop入門、hadoop生態架構以及大型hadoop商業實戰案例。?
講的很細致, MapReduce 就講了 15 個小時。?
學完后可以勝任 hadoop 的開發工作,很多人學的這個課程找到的工作。?
(包括指導書、練習代碼、和用到的軟件都打包了)?
先到先得先學習。聯系老師微信ganshiyu1026,備注OSchina。即可免費領取

部分視頻截圖展示

?

如果你看了我的上一篇文章,那此時你對hadoop已經有了一個大概的了解,那接下來這篇文章就教大家怎么安裝hadoop環境,只要你用心,仔細的跟著文章中講到的做,肯定能正確安裝。

?

? ???安裝hadoop環境

由于大家在學習hadoop時候,主要以Hadoop 1.0環境為主學習就可以,所以這主要介紹如何搭建Hadoop 1.0分布式環境。

整個分布式環境運行在帶有linux操作系統的虛擬機上,至于虛擬機和linux系統的安裝這里暫不做過多介紹。

安裝Hadoop分布式環境:

1)?下載Hadoop安裝包:

百度網盤下載地址:點擊下載???中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上傳hadoop-1.2.1-bin.tar.gz這個文件到虛擬機的系統中。

同樣在securtcrt中ll時,能得到

wKiom1i9F9qy0HX0AAATy1RdtgU723.png?

2)?安裝Hadoop安裝包:

l?首先將安裝包解壓縮:

wKiom1i9GGmCm4LeAAAG4cUdGEE348.png?

l?Linux終端執行cd進入相應目錄:

wKioL1i9GH_BoTYWAAAFZmV6gII833.png?

l?新增tmp目錄,mkdir ?/home/hadoop/hadoop-1.2.1/tmp

wKiom1i9GIuRskYWAAAHBSfEaFM953.png-wh_50?

3)?配置Hadoop:

l?使用vim修改master文件內容:

wKioL1i9GJrQSsEFAAAGnVd9gy8281.png?

將localhost修改成master:

wKiom1i9GKng4YOXAAACSXSEt9Q809.png?

最后保存退出。

l?修改slaves文件

注意,這里準備設置幾臺slave機器,就寫幾個,因為當前分布式環境有四個虛擬機,一臺做master,三臺做slave,所以這里寫成了三個slave

wKiom1i9GLvS-Av1AAADOTvQKiM647.png?

l?修改core-site.xml文件:

wKioL1i9GN2xyowrAAAl8Zm5yoU738.png?

【注意】中間的ip地址,不要輸入192.168.2.55,根據自己的情況設置。

l?修改mapred-site.xml文件:

wKiom1i9GPCyHskZAAAdn3UeMfY705.png?

【注意】記得value的內容要以http開頭。

l?修改hdfs-site.xml文件:

wKioL1i9GQyDn_16AAAa4Ix1FME248.png?

其中,<value>3</value>視情況修改,如果有三臺slave機器,這里設置成3,如果只有1臺或2臺,修改成對應的值即可。

l?修改hadoo-env.sh文件

wKiom1i9GSWTsT2VAAAHAP4ucUo649.png

下新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

wKiom1i9GTaSynbfAAAROvWzmaE162.png?

l?修改本地網絡配置:編輯/etc/hosts文件

wKioL1i9GUWDRTYvAAAFmOzKru4982.png?

wKioL1i9GVKx_bHeAAAeJg3-4UE604.png?

【注意】Ip地址根據具體的情況要進行修改。

4)?復制虛擬機

l?關閉當前虛擬機,并復制多份

wKioL1i9GWHwbOzrAABhSFCsoA8814.png?

【注意】要選擇初始化所有網卡的mac地址

wKiom1i9GXCQrToNAABxZOKumhk663.png?

根據自己需求,復制2到3臺虛擬機作為slave,同樣要確認網絡連接方式為橋接。

l?設置所有機器的IP地址

分別啟動虛擬機,修改機器的ip 地址,在虛擬機的圖形界面里,選擇設置wKioL1i9GX2jj9tvAAAXl1DIpGY120.png單擊打開,在彈出來的窗口里,選擇wKioL1i9GYuSK9rHAAAQLU7Emi8564.png

wKiom1i9GZmRwowUAACNB0eCXL0826.png?

?

打開wKiom1i9GajRan1pAAAJmUNkLT4338.png,修改成如下的形式,選擇ipv4 ,分配方式選擇成manual。

【注意】具體的ip地址,根據實際的情況來設置,因為培訓教室里都是192.168.2.x的網段,所以我這里設置成了192.168.2.x,每個人選擇自己的一個ip地址范圍,注意不要和其它人沖突了。

wKiom1i9GbbgMMKrAAC1oGxNw-I833.png?

5)?建立互信關系

l?生成公私鑰,在master機器的虛擬機命令行下輸入ssh-keygen,一路回車,全默認

wKiom1i9GcTD6lnhAAAxcEfnen4184.png?

l?復制公鑰

復制一份master的公鑰文件,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

wKioL1i9GdOgUxAvAAAHNrcRKbA533.png?

同樣,在所有的slave機器上,也在命令行中輸入ssh-keygen,一路回車,全默認

在所有的salve機器上,從master機器上復制master的公鑰文件:

wKiom1i9GeKAPqV5AAAQq4fCfiI739.png?

l?測試連接

在master機器上分別向所有的slave機器發起聯接請求:

如:ssh slave1

wKiom1i9Gf7S6xsjAAA23m5aHXA808.png?

【注意】記得一旦聯接上,所有的操作,就視同在對應的slave上操作,所以一定要記得使用exit退出聯接。

6)?啟動Hadoop:

l?初始化:在master機器上,進入/home/hadoop/hadoop-1.2.1/bin目錄

wKiom1i9GguQkjOZAAAGCmWS5Fs931.png?

在安裝包根目錄下運行./hadoop namenode?–format來初始化hadoop的文件系統。

wKiom1i9Gh2B4SiZAACLSioOSuo295.png?

l?啟動

執行./start-all.sh,如果中間過程提示要判斷是否,需要輸入yes

wKioL1i9GjGCHL5vAABPIz5CbCU870.png?

輸入jps,查看進程是否都正常啟動。

wKiom1i9GkCiUcv5AAAPoFhJhtM163.png?

如果一切正常,應當有如上的一些進程存在。

7)?測試系統

輸入./hadoop fs?–ls /

wKiom1i9Gk3Rmh2mAAAOOSTK388153.png?

能正常顯示文件系統。

如此,hadoop系統搭建完成。否則,可以去/home/hadoop/hadoop-1.2.1/logs目錄下,查看缺少的進程中,對應的出錯日志。

轉載于:https://www.cnblogs.com/shijiaoyun/p/6761653.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/393075.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/393075.shtml
英文地址,請注明出處:http://en.pswp.cn/news/393075.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

linux cpio到指定目錄,linux cpio命令存取歸檔包中的文件

功能描述使用cpio命令可以通過重定向的方式將文件進行打包備份及還原恢復&#xff0c;它可以解壓縮以“.cpio”或者“.tar”結尾的文件。命令語 法cpio [選項] [目標目錄]選項含義選項含義-o執行 copy-out 模式&#xff0c;建立備份檔。-i執行 copy-in 模式&#xff0c;還原備份…

leetcode劍指 Offer 20. 表示數值的字符串

請實現一個函數用來判斷字符串是否表示數值&#xff08;包括整數和小數&#xff09;。例如&#xff0c;字符串"100"、“5e2”、"-123"、“3.1416”、"-1E-16"、“0123"都表示數值&#xff0c;但"12e”、“1a3.14”、“1.2.3”、"…

python接口自動化2-發送post請求

前言 發送post的請求參考例子很簡單&#xff0c;實際遇到的情況卻是很復雜的&#xff0c;首先第一個post請求肯定是登錄了&#xff0c;但登錄是最難處理的。登錄問題解決了&#xff0c;后面都簡單了。 一、查看官方文檔 1.學習一個新的模塊&#xff0c;其實不用去百度什么的&am…

簡介瀏覽器內核與JavaScript引擎

本文介紹了常用瀏覽器內核與JavaScript引擎 一、瀏覽器內核 Rending Engine, 顧名思義&#xff0c;稱之為渲染網頁內容的&#xff0c;將網頁的代碼轉換為你看得見的頁面&#xff0c;因為是排版&#xff0c;所以排版&#xff0c;所以肯定會有排版錯誤等問題。為什么會有排版錯誤…

Linux查看tar實用程序,linux tar指令常用選項

linux的tar指令經常被用到&#xff0c;因為壓縮文件的時候通常需要打包文檔&#xff0c;而tar指令就是打包指令&#xff0c;同時gzip壓縮程序和bzip2壓縮程序都是支持tar指令的&#xff0c;所以tar指令在打包的同時還可以用gzip和bzip進行壓縮&#xff0c;這樣多文件可以打包的…

代碼字體mono_如何構建代碼存儲庫:Multi,Mono或Organic?

代碼字體monoby Chetan Sharma由Chetan Sharma 如何構建代碼存儲庫&#xff1a;Multi&#xff0c;Mono或Organic&#xff1f; (How to Structure Code Repositories: Multi, Mono, or Organic?) The newest debate in town is whether you should keep your services in a si…

leetcode1424. 對角線遍歷 II(排序)

給你一個列表 nums &#xff0c;里面每一個元素都是一個整數列表。請你依照下面各圖的規則&#xff0c;按順序返回 nums 中對角線上的整數。 示例 1&#xff1a; 輸入&#xff1a;nums [[1,2,3],[4,5,6],[7,8,9]] 輸出&#xff1a;[1,4,2,7,5,3,8,6,9] 代碼 class Solution …

DaVinci各版本安裝指南

鏈接: https://pan.baidu.com/s/1g1kaXZxcw-etsJENiW2IUQ?pwd0531 ? #2024版 1.鼠標右擊【DaVinci_Resolve_Studio_18.5(64bit)】壓縮包&#xff08;win11及以上系統需先點擊“顯示更多選項”&#xff09;【解壓到 DaVinci_Resolve_Studio_18.5(64bit)】。 2.打開解壓后的文…

使用 Servlet 讀取表單數據

Technorati 標簽: servlet&#xff1b;java 一、概述 Servlet 有一個比較好的功能就是可以自動處理表單提交的數據。我們只需要調用HttpServletRequest#getParameter(String name),就可以獲得指定參數的值&#xff08;String&#xff09;&#xff0c;注意此方法是大小寫敏感的。…

linux文檔權限

1、登錄 root 用戶&#xff1a;su - mac一開始進入創建的用戶是具有管理員權限的用戶&#xff0c;但是密碼卻不是進入 root 用戶的密碼&#xff0c;可以使用 sudo su - 免密進入 root 用戶。 2、退出 root 用戶&#xff1a;exit 3、列出檔案&#xff08;包括隱藏的檔案&#xf…

小程序 仿麥當勞_手機上的麥當勞和星巴克:為什么現在首先使用移動應用程序...

小程序 仿麥當勞by James Hsu由徐H 手機上的麥當勞和星巴克&#xff1a;為什么現在首先使用移動應用程序 (McDonald’s and Starbucks on Your Phone: Why Mobile Apps Are Now First on the Menu) One Friday this July, I got excited about McDonalds. So excited that I s…

MyLinkedList

/*** 節點類* author JP* */ class Node {Object value;//節點元素值Node pre;//上一個節點Node next;//下一個節點public Node(Object value) {this.value value;} }/*** 鏈表類* author JP**/ public class MyLinkedList {Node cur;//目前指向的節點Node head;//頭結點Node …

linux開啟ping服務,Linux 云服務器禁止和開啟Ping

原標題&#xff1a;Linux 云服務器禁止和開啟Ping在使用Linux服務器的時候&#xff0c;一般系統默認是開啟ping的&#xff0c;比如我們可以ping測試網絡的延遲質量。當然也有部分服務商是可以通過安全組設置禁止ping的&#xff0c;我們可以設置安全組對應項目開啟或禁止ping&am…

leetcode1432. 改變一個整數能得到的最大差值(貪心)

給你一個整數 num 。你可以對它進行如下步驟恰好 兩次 &#xff1a; 選擇一個數字 x (0 < x < 9). 選擇另一個數字 y (0 < y < 9) 。數字 y 可以等于 x 。 將 num 中所有出現 x 的數位都用 y 替換。 得到的新的整數 不能 有前導 0 &#xff0c;得到的新整數也 不能…

oracle之 Oracle歸檔日志管理

在Oracle中&#xff0c;數據一般是存放在數據文件中&#xff0c;不過數據庫與Oracle最大的區別之一就是數據庫可以在數據出錯的時候進行恢復。這個也就是我們常見的Oracle中的重做日志(REDO FILE)的功能了。在重做日志分成2部分&#xff0c;一個是在線重做日志文件&#xff0c;…

linux 安裝rmp服務,Linux LAMP服務的rpm包安裝與配置

1.apache(httpd) 所在光盤裝包apr-xxx.rpm (二)postgresql-libs-xxx.rpm (二)apr-util-xxx.rpm (二)http-xxx.rpm (二)2.mysql (二)裝包perl-DBI-xxx.rpm (二)mysql-xxx.rpm (二)3.mysqlserver裝包perl-DBD-mysql-xxx.rpm (二)mysql-server-xxx.rpm (二)4.PHP裝包gmp-xxx.rpm (…

紅外感應模塊+蜂鳴器實現簡易報警(轉)

拿到了一個紅外感應模塊HC-SR501&#xff0c;于是就用它和蜂鳴器簡單試驗了下。主要是試驗一下這個紅外感應模塊的功能&#xff0c;所以代碼也寫的很隨便啦&#xff0c;邏輯上也欠考慮。實現基本功能&#xff1a;運行腳本后&#xff0c;感應模塊每隔一定時間檢測&#xff0c;如…

leetcode51. N 皇后(回溯算法)

n 皇后問題研究的是如何將 n 個皇后放置在 nn 的棋盤上&#xff0c;并且使皇后彼此之間不能相互攻擊。 上圖為 8 皇后問題的一種解法。 給定一個整數 n&#xff0c;返回所有不同的 n 皇后問題的解決方案。 每一種解法包含一個明確的 n 皇后問題的棋子放置方案&#xff0c;該方案…

ubuntu下python的錯誤

ubuntu python 2.7 python test.py *.py permission denied chmod x *.py 轉載于:https://www.cnblogs.com/gisalameda/p/11086624.html

kotlin半生對象_如何在Kotlin中使用Actor實現對象池

kotlin半生對象by osha1由osha1 如何在Kotlin中使用Actor實現對象池 (How to implement an Object-Pool with an Actor in Kotlin) We use object pool in jasync-sql to manage connections to the database. In this post, I will share how it is done in a performant, lo…