hadoop windows

?

1、安裝JDK1.6或更高版本

  官網下載JDK,安裝時注意,最好不要安裝到帶有空格的路徑名下,例如:Programe Files,否則在配置Hadoop的配置文件時會找不到JDK(按相關說法,配置文件中的路徑加引號即可解決,但我沒測試成功)。

2、安裝Cygwin

  Cygwin是Windows平臺下模擬Unix環境的工具,需要在安裝Cygwin的基礎上安裝Hadoop,下載地址:http://www.cygwin.com/

  根據操作系統的需要下載32位或64的安裝文件。

  1)、雙擊下載好的安裝文件,點擊下一步,選擇install from internet

  
  2)、選擇安裝路徑

  3)、選擇local Package Directory

  4)、選擇您的Internet連接方式

  5)、選擇合適的安裝源,點擊下一步

  

  6)、在Select Packages界面里,Category展開net,選擇如下openssh和openssl兩項

  

    如果要在Eclipe上編譯Hadoop,需要安裝Category為Base下的sed

  

    如果想在Cygwin上直接修改hadoop的配置文件,可以安裝Editors下的vim

  

  7)、點擊“下一步”,等待安裝完成。

3、配置環境變量

  在“我的電腦”上點擊右鍵,選擇菜單中的“屬性",點擊屬性對話框上的高級頁簽,點擊”環境變量"按鈕,在系統變量列表里雙擊“Path”變量,在變量值后輸入安裝的Cygwin的bin目錄,例如:D:\hadoop\cygwin64\bin

4、安裝sshd服務

  雙擊桌面上的Cygwin圖標,啟動Cygwin,執行ssh-host-config -y命令

  

  執行后,會提示輸入密碼,否則會退出該配置,此時輸入密碼和確認密碼,回車。最后出現Host configuration finished.Have fun!表示安裝成功。

  輸入net start sshd,啟動服務。或者在系統的服務里找到并啟動Cygwin sshd服務。

?  ?可能會遇到無法安裝和啟動sshd服務的問題,可參考此連接http://www.cnblogs.com/kinglau/p/3261886.html。

  另外如果是Win8操作系統,啟動Cygwin時,需要以管理員身份運行(右鍵圖標,選擇以管理員身份運行),否則會因為權限問題,提示“發生系統錯誤5”。

5、配置SSH免密碼登錄

  執行ssh-keygen命令生成密鑰文件

  如下圖所示,輸入:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,注意-t -P -f參數區分大小寫。

  ssh-keygen是生成密鑰命令

  -t 表示指定生成的密鑰類型(dsa,rsa)

  -P表示提供的密語

  -f指定生成的密鑰文件。

  注意:~代表當前用戶的文件夾,/home/用戶名

  

  執行此命令后,在你的Cygwin\home\用戶名 路徑下面會生成.ssh文件夾,可以通過命令ls -a /home/用戶名 ?查看,ssh -version命令查看版本。

  執行完ssh-keygen命令后,再執行下面命令,就可以生成authorized_keys文件了。

  cd ~/.ssh/

  cp id_dsa.pub authorized_keys

  如下圖所示:

  

  然后執行exit命令,退出Cygwin窗口

6、再次在桌面上雙擊Cygwin圖標,打開Cygwin窗口,執行ssh localhost命令,第一次執行該命令會有提示,輸入yes后,回車即可。如下圖所示

  

7、安裝Hadoop

?  hadoop官網下載http://hadoop.apache.org/releases.html。

  把hadoop壓縮包解壓到/home/用戶名 目錄下,文件夾名稱更改為hadoop,可以不修改,但后邊在執行命令時稍顯麻煩。

  (1)單機模式配置方式

    單機模式不需要配置,這種方式下,Hadoop被認為是一個單獨的Java進程,這種方式經常用來調試。

  (2)偽分布模式

    可以把偽分布模式看作是只有一個節點的集群,在這個集群中,這個節點既是Master,也是Slave,既是NameNode,也是DataNode,既是JobTracker,也是TaskTracker。

    這種模式下修改幾個配置文件即可。

    配置hadoop-env.sh,記事本打開改文件,設置JAVA_HOME的值為你的JDK安裝路徑,例如:

    JAVA_HOME="D:\hadoop\Java\jdk1.7.0_25"    

    配置core-site.xml

按 Ctrl+C 復制代碼
按 Ctrl+C 復制代碼

配置hdfs-site.xml

按 Ctrl+C 復制代碼
按 Ctrl+C 復制代碼

配置mapred-site.xml

按 Ctrl+C 復制代碼
按 Ctrl+C 復制代碼

?

8、啟動Hadoop

  打開Cgywin窗口,執行cd ~/hadoop命令,進入hadoop文件夾,如下圖:

  

  啟動Hadoop前,需要先格式化Hadoop的文件系統HDFS,執行命令:bin/hadoop namenode -format

  注意namenode要小些,否則如果輸入NameNode,會提示錯誤,找不到或無法加載主類NameNode。執行正確命令后如下圖所示:

  

  輸入命令 bin/start-all.sh,啟動所有進程,如下圖:  

?

接下來,驗證是否安裝成功

打開瀏覽器,分別輸入下列網址,如果能夠正常瀏覽,說明安裝成功。

http://localhost:50030,回車打開MapReduce的web頁面,如下圖(頁面部分截圖):

?

http://localhost:50070,回車打開HDFS的web頁面,如下圖(頁面部分截圖):

?

第一次啟動后,如果都不能瀏覽,或不能瀏覽某一個,退出Cygwin,重新打開Cygwin,執行bin/start-all.sh命令。

如果只想啟動MapReduce,可執行bin/start-mapred.sh命令。

如果只想啟動HDFS,可執行bin/start-dfs.sh命令。

?

參考文獻:

本文參考和引用了《Hadoop實戰》(作者:陸嘉恒)中的章節“2.3在Windows上安裝與配置Hadoop”。

特此聲明,如果涉及到版權問題,請告知。

?

?

分類: Hadoop
綠色通道: 好文要頂 關注我 收藏該文與我聯系
kinglau
關注 - 16
粉絲 - 42
+加關注
5
0
(請您對文章做出評價)
? 上一篇:Windows 平臺下安裝Cygwin后,sshd服務無法啟動
? 下一篇:Hadoop的datanode無法啟動
posted @ 2013-08-20 16:15 kinglau 閱讀(34107) 評論(29) 編輯 收藏
#1樓 2014-03-14 14:52 lovetimi
你好,看過你的文章后,跟著你做到
8、啟動Hadoop
小寫namenode還是會提示錯誤,找不到或無法加載主類NameNode。
不知道是怎么回事。。
支持(0)反對(0)
#2樓 2014-03-24 16:32 清清2013
http://localhost:50079,回車打開HDFS的web頁面,如下圖(頁面部分截圖)

端口應該是http://localhost:50070
支持(0)反對(0)
#3樓 2014-04-02 15:52 jianshuang
Administrator@wx ~
$ net start sshd
CYGWIN sshd ???????????? .
CYGWIN sshd ????????????????


Administrator@wx ~


這表示啟動服務成功了吧。
支持(0)反對(0)
#4樓 2014-04-05 17:50 KiwenLau
@jianshuang
cygwin中文亂碼問題解決可以參見我的博客《Cygwin中文亂碼》http://www.cnblogs.com/kiwenlau/p/3645752.html
支持(0)反對(0)
http://pic.cnblogs.com/face/569245/20150603225120.png
#5樓 2014-04-05 17:51 KiwenLau
@清清2013
我也發現這個問題了。還以為自己裝錯了,樓主修改一下吧!
支持(0)反對(0)
http://pic.cnblogs.com/face/569245/20150603225120.png
#6樓[樓主] 2014-05-23 11:22 kinglau
@清清2013
多謝,已修改。
支持(0)反對(0)
#7樓 2014-06-25 20:59 程序猿213
你好,我按照您的步驟做,在執行format的時候./hdfs namenode -format,報錯如下:
錯誤: 找不到或無法加載主類 org.apache.hadoop.hdfs.server.namenode.NameNode

請問是什么原因呢
支持(0)反對(0)
#8樓 2014-07-02 11:54 364718323
遇到7樓問題 找不到解決方法吖
支持(0)反對(0)
#9樓 2014-08-13 19:36 changanlaosan
administrator@2012-20121224CP /cygdrive/d/hadoop-0.20.2
$ bin/hadoop namenode format
14/08/13 19:27:45 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = 2012-20121224CP/192.168.131.182
STARTUP_MSG: args = [format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = //svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Usage: java NameNode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
14/08/13 19:27:45 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 2012-20121224CP/192.168.131.182
************************************************************/
我崩潰了,到底怎么弄各種錯誤,求樓主這個問題怎么辦,我是新手謝謝了怎么弄都不行了
支持(0)反對(0)
#10樓 2014-08-13 19:38 changanlaosan
最后格式化的時候出現了上邊的原因,樓主求解答、、
支持(0)反對(0)
#11樓 2014-08-17 10:10 懂zj你
@lovetimi
請問這個問題你解決了嗎?
支持(0)反對(0)
#12樓 2014-08-17 10:10 懂zj你
@changanlaosan
請問這個問題你解決了嗎?
支持(0)反對(0)
#13樓 2014-08-17 10:11 懂zj你
@程序猿213
請問這個問題你解決了嗎?
支持(0)反對(0)
#14樓[樓主] 2014-08-18 11:00 kinglau
@changanlaosan
$ bin/hadoop namenode -format
支持(0)反對(0)
#15樓 2014-10-31 13:40 孫暢
你好,我遇到問題Administrator@ks-zx-pc-100 ~
$ ssh-host-config -y

*** Info: Generating missing SSH host keys
*** Query: Overwrite existing /etc/ssh_config file? (yes/no) yes
*** Info: Creating default /etc/ssh_config file
*** Query: Overwrite existing /etc/sshd_config file? (yes/no) yes
*** Info: Creating default /etc/sshd_config file

*** Info: StrictModes is set to 'yes' by default.
*** Info: This is the recommended setting, but it requires that the POSIX
*** Info: permissions of the user's home directory, the user's .ssh
*** Info: directory, and the user's ssh key files are tight so that
*** Info: only the user has write permissions.
*** Info: On the other hand, StrictModes don't work well with default
*** Info: Windows permissions of a home directory mounted with the
*** Info: 'noacl' option, and they don't work at all if the home
*** Info: directory is on a FAT or FAT32 partition.
*** Query: Should StrictModes be used? (yes/no) yes

*** Info: Privilege separation is set to 'sandbox' by default since
*** Info: OpenSSH 6.1. This is unsupported by Cygwin and has to be set
*** Info: to 'yes' or 'no'.
*** Info: However, using privilege separation requires a non-privileged account
*** Info: called 'sshd'.
*** Info: For more info on privilege separation read /usr/share/doc/openssh/README.privsep.
*** Query: Should privilege separation be used? (yes/no) yes
*** Info: Updating /etc/sshd_config file

*** Info: Sshd service is already installed.

*** Info: Host configuration finished. Have fun!

Administrator@ks-zx-pc-100 ~
$
輸入命令之后,并沒有提示我輸入密碼
支持(0)反對(0)
#16樓 2014-11-03 16:28 孫暢
@changanlaosan
這個問題我也遇到的,現在解決了,之所以出現這樣的問題,是因為配置那三個文件出錯了,你試下這樣的配置方法
修改 core-site.xml 為如下配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

修改 hdfs-site.xml 為如下配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

修改 mapred-site.xml 為如下配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/388105.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/388105.shtml
英文地址,請注明出處:http://en.pswp.cn/news/388105.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Ocelot中文文檔入門

入門 Ocelot僅適用于.NET Core&#xff0c;目前是根據netstandard2.0構建的&#xff0c;如果Ocelot適合您&#xff0c;這個文檔可能會有用。 .NET Core 2.1 安裝NuGet包 使用nuget安裝Ocelot及其依賴項。 您需要創建一個netstandard2.0項目并將其打包到其中。 然后按照下面的“…

科學價值 社交關系 大數據_服務的價值:數據科學和用戶體驗研究美好生活

科學價值 社交關系 大數據A crucial part of building a product is understanding exactly how it provides your customers with value. Understanding this is understanding how you fit into the lives of your customers, and should be central to how you build on wha…

在Ubuntu下創建hadoop組和hadoop用戶

一、在Ubuntu下創建hadoop組和hadoop用戶 增加hadoop用戶組&#xff0c;同時在該組里增加hadoop用戶&#xff0c;后續在涉及到hadoop操作時&#xff0c;我們使用該用戶。 1、創建hadoop用戶組 2、創建hadoop用戶 sudo adduser -ingroup hadoop hadoop 回車后會提示輸入新的UNIX…

day06 hashlib模塊

1.hashlib模塊 import hashlib# password123456# print( password.encode()) #加密前先轉成二進制# mhashlib.md5(password.encode())# print(dir(m)) #查詢m的所有方法## print(m.hexdigest()) #使用hexdigest()方法加密&#xff0c;md5加密之后是不可逆&#xff0c;不可以解…

vs azure web_在Azure中遷移和自動化Chrome Web爬網程序的指南。

vs azure webWebscraping as a required skill for many data-science related jobs is becoming increasingly desirable as more companies slowly migrate their processes to the cloud.隨著越來越多的公司將其流程緩慢遷移到云中&#xff0c;將Web爬網作為許多與數據科學相…

hadoop eclipse windows

首先說一下本人的環境: Windows7 64位系統 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一&#xff0e;簡介 Hadoop2.x之后沒有Eclipse插件工具&#xff0c;我們就不能在Eclipse上調試代碼&#xff0c;我們要把寫好的java代碼的MapReduce打包成jar然后在Linux上運…

同步函數死鎖現象

多線程&#xff1a;一個進程中有多個線程可以同時執行任務 多線程的好處&#xff1a; 1、解決一個進程中可以同時執行多個任務的問題。 2、提高了資源利用率 多線程的弊端&#xff1a; 1、增加了CPU的負擔 2、降低了一個進程中線程的執行概率 3、出現了線程安全問題 4、會引發死…

netstat 在windows下和Linux下查看網絡連接和端口占用

假設忽然起個服務&#xff0c;告訴我8080端口被占用了&#xff0c;OK&#xff0c;我要去看一下是什么服務正在占用著&#xff0c;能不能殺 先假設我是在Windows下&#xff1a; 第一列&#xff1a; Proto 協議 第二列&#xff1a; 本地地址【ip端口】 第三列&#xff1a;遠程地址…

selenium 解析網頁_用Selenium進行網頁搜刮

selenium 解析網頁網頁抓取系列 (WEB SCRAPING SERIES) 總覽 (Overview) Selenium is a portable framework for testing web applications. It is open-source software released under the Apache License 2.0 that runs on Windows, Linux and macOS. Despite serving its m…

表的設計與優化

單表設計與優化 1&#xff09;設計規范化表&#xff0c;消除數據冗余&#xff08;以使用正確字段類型最明顯&#xff09;&#xff1a; 數據庫范式是確保數據庫結構合理&#xff0c;滿足各種查詢需要、避免數據庫操作異常的數據庫設計方式。滿足范式要求的表&#xff0c;稱為規范…

代理ARP協議(Proxy ARP)

代理ARP&#xff08;Proxy-arp&#xff09;的原理就是當出現跨網段的ARP請求時&#xff0c;路由器將自己的MAC返回給發送ARP廣播請求發送者&#xff0c;實現MAC地址代理&#xff08;善意的欺騙&#xff09;&#xff0c;最終使得主機能夠通信。 圖中R1和R3處于不同的局域網&…

hive 導入hdfs數據_將數據加載或導入運行在基于HDFS的數據湖之上的Hive表中的另一種方法。

hive 導入hdfs數據Preceding pen down the article, might want to stretch out appreciation to all the wellbeing teams beginning from cleaning/sterile group to Nurses, Doctors and other who are consistently battling to spare the mankind from continuous Covid-1…

Java性能優化

一、避免在循環條件中使用復雜表達式 在不做編譯優化的情況下&#xff0c;在循環中&#xff0c;循環條件會被反復計算&#xff0c;如果不使用復雜表達式&#xff0c;而使循環條件值不變的話&#xff0c;程序將會運行的更快。 例子&#xff1a; import java.util.vector; class …

對Faster R-CNN的理解(1)

目標檢測是一種基于目標幾何和統計特征的圖像分割&#xff0c;最新的進展一般是通過R-CNN&#xff08;基于區域的卷積神經網絡&#xff09;來實現的&#xff0c;其中最重要的方法之一是Faster R-CNN。 1. 總體結構 Faster R-CNN的基本結構如下圖所示&#xff0c;其基礎是深度全…

大數據業務學習筆記_學習業務成為一名出色的數據科學家

大數據業務學習筆記意見 (Opinion) A lot of aspiring Data Scientists think what they need to become a Data Scientist is :許多有抱負的數據科學家認為&#xff0c;成為一名數據科學家需要具備以下條件&#xff1a; Coding 編碼 Statistic 統計 Math 數學 Machine Learni…

postman 請求參數為數組及JsonObject

2019獨角獸企業重金招聘Python工程師標準>>> 1. (1)數組的請求方式(post) https://blog.csdn.net/qq_21205435/article/details/81909184 (2)數組的請求方式&#xff08;get&#xff09; http://localhost:port/list?ages10,20,30 后端接收方式&#xff1a; PostMa…

領扣(LeetCode)對稱二叉樹 個人題解

給定一個二叉樹&#xff0c;檢查它是否是鏡像對稱的。 例如&#xff0c;二叉樹 [1,2,2,3,4,4,3] 是對稱的。 1/ \2 2/ \ / \ 3 4 4 3但是下面這個 [1,2,2,null,3,null,3] 則不是鏡像對稱的: 1/ \2 2\ \3 3說明: 如果你可以運用遞歸和迭代兩種方法解決這個問題&#…

python 開發api_使用FastAPI和Python快速開發高性能API

python 開發apiIf you have read some of my previous Python articles, you know I’m a Flask fan. It is my go-to for building APIs in Python. However, recently I started to hear a lot about a new API framework for Python called FastAPI. After building some AP…

Purley平臺Linpak測試,從踏坑開始一步步優化

Purley平臺Linpak測試&#xff0c;從踏坑開始一步步優化 #記2017年11月第一次踏坑事件 測試平臺配置&#xff1a; 6nodes CPU: Intel Gold 6132 2.6GHz 14C RAM: 8G *12 2666MHz NET: Infiband FDR OS: centos7.2 mpi: Intel-mpi hpl: xhpl.intel 開始踏第一坑 現象&#xff1a…

基于easyui開發Web版Activiti流程定制器詳解(一)——目錄結構

&#xfeff;&#xfeff;題外話&#xff08;可略過&#xff09;&#xff1a; 前一段時間&#xff08;要是沒記錯的話應該是3個月以前&#xff09;發布了一個更新版本&#xff0c;很多人說沒有文檔看著比較困難&#xff0c;所以打算拿點時間出來詳細給大家講解一下&#xff0c;…