linux 運行 chom,Hadoop安裝-單節點/偽分布(2.7.3)

1,下載Hadoop

目前在Ubuntu的軟件庫里面 ?沒有發現Hadoop的壓縮包,沒猜錯Hadoop不是可執行文件 只是一個壓縮包吧!所以我們只能自己到官網下載(http://hadoop.apache.org/releases.html);

在Apache社區中,下載軟件的時候常看到source類型和binary類型的文件包,第一種其實就是源碼,您可以根據自己的環境進行編譯 生成適合自己運行環境的,第二種是我們課直接使用的;

cd ?/usr ? 切換到usr目錄下

sudo mkdir ?hadoop ?創建hadoop文件夾

sudo cd hadoop 進入hadoop文件夾

(wget是從網絡上直接下載文件的命令,其支持http ?ftp 等協議,默認下載文件到當前目錄;)

由于我使用的是虛擬機,下載速度很慢,所以我直接使用本地下載,然后上傳到目錄下;

apt-get install lrzsz ? 安裝lrzsz腳本,此腳本支持文件傳輸,類似于FileZ;

(http://freecode.com/projects/lrzsz/)

解壓縮文件:

cd ?/usr/hadoop

sudo tar -xzf hadoop-2.7.3.tar.gz ? ? tar和gz都是linux下面的壓縮算法文件的后綴;通常采用tar命令來解壓文件; tar 的參數選項有主選項 ?和選擇選項,主要選項例如上面的 -x ? 是解壓的意思 ?還有 -c是壓縮的意思; ? ?f是制定文件名 ? ?f選項一定放在最后 ? ? z是代碼gz的壓縮解密;

2,hadoop目錄結構介紹

a366af9e5bec4741cec7d1620d5e0275.png

為了便于觀察我在window下面解壓了Hadoop壓縮文件,得出的出如圖目錄;

bin:Hadoop最基本的管理腳本和使用腳本的目錄,這些腳本是sbin目錄下管理腳本的基礎實現,用戶可以直接使用這些腳本管理和使用Hadoop。

etc:Hadoop配置文件所在的目錄,包括core-site,xml、hdfs-site.xml、mapred-site.xml等從Hadoop1.0繼承而來的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include:對外提供的編程庫頭文件(具體動態庫和靜態庫在lib目錄中),這些頭文件均是用C++定義的,通常用于C++程序訪問HDFS或者編寫MapReduce程序。

lib:該目錄包含了Hadoop對外提供的編程動態庫和靜態庫,與include目錄中的頭文件結合使用。

libexec:各個服務對用的shell配置文件所在的目錄,可用于配置日志輸出、啟動參數(比如JVM參數)等基本信息。

sbin:Hadoop管理腳本所在的目錄,主要包含HDFS和YARN中各類服務的啟動/關閉腳本。

share:Hadoop各個模塊編譯后的jar包所在的目錄。

3,配置單點Hadoop

》基礎配置: ?配置Hadoop運行的jdk;

sudo vi ?..../etc/hadoop/hadoop-env.sh ? ?...代表hadoop解壓存放的目錄

修改 export JAVA_HOME = jdk安裝目錄;

》啟動

mkdir .../input ? 創建一個輸入參數文件加

cp .../etc/hadoop/*.xml ? ? ?把hadoop默認的配置文件都copy到input里面

/usr/hadoop/hadoop-2.7.3/bin/hadoop jar .../share/hadoop/mapreduce/

hadoop-mapreduce-examples-*.jar grep /usr/hadoop/input /usr/hadoop/output 'dfs[a-z.]+'

4,偽分布式Hadoop

》基礎配置:

ssh免密碼登陸 ? ? 如果想要ssh面密碼登陸,必須使用 ssh的keygen生成密匙對;

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ?ssh-keygen是ssh算法工具, -t指定算法,-P 是密碼 -f是文件名;

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ? 把公鑰追加到認證文件中;

chmod ?600 ~/.ssh/authorized_keys ?設置認證文件只有所有者可以讀寫操作;

因為在免密碼登陸的時候涉及到生產的密匙對的權限問題即密匙文件必須是只能用戶所有者操能操作,所以我們必須知道文件權限;

(注: Linux中權限管理 ?有三個要素 ?一個要素是操作者 ? 一個是操作 ?一個是權限;操作者在Linux中按照用戶 ?用戶組來管理;操作主要有 讀(R) 寫(W) 執行(X)三種,操作可以用數字轉換 ?r=4 w=2 x=1;權限則是用來衡量操作者對文件或文件夾具有哪些操作要素;權限中我們同通過 所有者權限 ?所在組權限和其他組權限來管理 ??其中我們可以通過chomn來改變文件所有者 ? ?通過chgrp 改變文件所在組 ? 通過chmod來改變用戶權限。 ?我們在ls -a的時候可以看見文件的權限 ? ?-rw-r----- ?第一個-代表這個是文件 ? rw- 代表文件所有著具有讀寫權限 ? r-- 代表本組人員具有讀權限 ?---代表其他用戶組沒有權限對此文件操作)

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/393761.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/393761.shtml
英文地址,請注明出處:http://en.pswp.cn/news/393761.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

leetcode944. 刪列造序

給定由 N 個小寫字母字符串組成的數組 A,其中每個字符串長度相等。 你需要選出一組要刪掉的列 D,對 A 執行刪除操作,使 A 中剩余的每一列都是 非降序 排列的,然后請你返回 D.length 的最小可能值。 刪除 操作的定義是&#xff1…

python學習:re模塊

常用正則表達式符號 123456789101112131415161718192021. 默認匹配除\n之外的任意一個字符,若指定flag DOTALL,則匹配任意字符,包括換行^ 匹配字符開頭,若指定flags MULTILINE,這種也可以匹配上(r"^a","\nabc\neee&qu…

app之---豆果美食

1.抓包 2.代碼 抓取: #!/usr/bin/env python # -*- coding: utf-8 -*- #author tom import requests from multiprocessing import Queue from handle_pymongo import mongo from concurrent.futures import ThreadPoolExecutorclass Douguo():def __init__(self):s…

語言坐標度分秒的換算_測量位置度說明

測量位置度說明位置度是限制被測要素的實際位置對理想位置變動量的指標。它的定位尺寸為理論正確尺寸。位置度公差在評定實際要素位置的正確性, 是依據圖樣上給定的理想位置。位置度包括點的位置度、線的位置度和面的位置度。[1] 點的位置度:如公差帶前加S¢&#xf…

OpenStack創建win7實例遇到的問題(尚未解決,求幫助)

原地址在這里:(作者也是我,害羞)http://www.aboutyun.com/forum.php?modviewthread&tid22898 小白經過兩天嘗試,用fuel部署好了OpenStack的云平臺,接下來想在Compute節點上創建一個win7 實例&#xff…

VMware使兩臺windows虛擬機能夠互相ping通

如果以下內容測試無效,可參考另一篇:VMware虛擬機配置內網電腦能訪問 1.關閉防火墻 cmd命令行里輸入:netsh firewall set opmode disable 2.測試如果還不能ping通,就把網絡類型選nat類型 3.測試:vmware網關默認是.2 轉…

linux賬號前有個base,安裝 aconda 后Linux的終端界面前部出現(base)字樣

aconda 是做什么用的這里就不說了,一般玩Python的都知道這東西,最早接觸這東西是因為它把NVIDIA中cuda計算和Python互連的一個庫拿下了,是買下來了還是專業,還是唯一合作的也就記不清了,那就是 numba , 那些年頭Python…

回復郵件時如何不要郵件頭_如何為閱讀,點擊和回復率達到100%的CEO設計一封冷郵件...

回復郵件時如何不要郵件頭by Theo Strauss由西奧斯特勞斯(Theo Strauss) 如何為閱讀,點擊和回復率達到100%的CEO設計一封冷郵件 (How to design a cold email for a CEO with a 100% read, click, and response rate) 銀河電子郵件指南:第二…

leetcode1007. 行相等的最少多米諾旋轉(貪心)

在一排多米諾骨牌中,A[i] 和 B[i] 分別代表第 i 個多米諾骨牌的上半部分和下半部分。(一個多米諾是兩個從 1 到 6 的數字同列平鋪形成的 —— 該平鋪的每一半上都有一個數字。) 我們可以旋轉第 i 張多米諾,使得 A[i] 和 B[i] 的值…

Spring 學習教程(一): 認識 Spring 框架

Spring 框架是 Java 應用最廣的框架,它的成功來源于理念,而不是技術本身,它的理念包括 IoC (Inversion of Control,控制反轉) 和 AOP(Aspect Oriented Programming,面向切面編程)。 Spring 的框架結構 Data Access/Int…

小米網關控制空調伴侶_小米有品上架移動空調,支持語音控制

近日小米有品商城上架了一款互聯網可移動空調,機身僅有小米空氣凈化器一般大小,底部安裝了萬向輪,支持多方位自由移動,擁有三大功能,兼顧去暑除濕能力,產品售價1599元,有需求的用戶可以在小米有…

錯誤: 找不到符號

Error:(31, 29) 錯誤: 找不到符號 符號: 類 OnLaunchPluginCallback 位置: 類 IreaderPlugApi 明明我都可以ctrl 單擊點過去,但是就是運行的時候報錯。說錯誤: 找不到符號。 我試了兩遍,把工程clearn, 刪除build下面的文件夾,弄了兩遍&am…

leetcode910. 最小差值 II(貪心)

給定一個整數數組 A,對于每個整數 A[i],我們可以選擇 x -K 或是 x K,并將 x 加到 A[i] 中。 在此過程之后,我們得到一些數組 B。 返回 B 的最大值和 B 的最小值之間可能存在的最小差值。 示例 1: 輸入&#xff1…

laravel 檢測sql_在Laravel PHP應用程序中輕松進行面部檢測

laravel 檢測sqlby Darren Chowles達倫喬爾斯(Darren Chowles) 在Laravel PHP應用程序中輕松進行面部檢測 (Easy facial detection in your Laravel PHP application) 使用Google Cloud Vision API檢測圖像中的人臉 (Detect faces in images using the Google Cloud Vision AP…

mysql學習筆記-insert擴展

1、創建表 -利用已有表,創建表 這樣創建的缺點-- 主鍵會丟失 -- 創建表,表結構與數據與t_emptest 一致 CREATE TABLE t_emptest1 AS SELECT * FROM t_emptest ;-- 創建空表,表結構與t_emptest 一致 CREATE TABLE t_emptest1 AS SELECT * FRO…

linux 調用外部變量,sed當中使用變量替換以及執行外部命令

轉自:http://blog.csdn.net/linwhwylb/article/details/7184748在使用sed對日志或者其它文本進行parse的過程當中,有時候我們需要引用外部變量的值,或者獲取一個shell命令執行的結果,以便達到更加可觀的輸出結果。這里介紹如何做到…

golang 結構體斷言_Golang中的reflect原理

反射(reflect)是在計算機程序運行時,訪問,檢查,修改它自身的一種能力,是元編程的一種形式。在Java等語言中都很好地支持了反射。Golang也實現了反射,主要核心位于reflect包,官方文檔…

「hadoop」cdh5.12離線安裝(未完成)

cdh 5.12.1 安裝 目前還未成功,僅供個人記錄。【下載必備工具】當前系統為win7_x641、vmware虛擬機12.52、ubuntu16.04服務器版本3、windows下的ssh工具,采用git bash4、jdk安裝包jdk-8u144-linux-x64.tar.gz5、mysql java驅動包 mysql-connector-java-5…

轉載 JDK + Android-SDK + Python + MonkeyRunner 的安裝

轉載來自: 小海豚的博客 http://blog.sina.com.cn/u/1295334083 我只是搬運工。。。 JDK Android-SDK Python MonkeyRunner 的安裝 1. Android-SDK介紹2. 安裝 JDK, Android-SDK(包含MonkeyRunner) , Python 3. 設置環境變量4. 驗證是否安裝成功1. …

跟隨器反饋回路電阻_如何將短反饋回路設置為單獨編碼器

跟隨器反饋回路電阻I’ve spent the last couple years as a solo freelance developer. Comparing this experience to previously working in companies, I’ve noticed that those of us who work alone can have fewer iterative opportunities for improvement than devel…