hadoop 原理參考:用 Hadoop 進行分布式并行編程
官方中文文檔:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安裝 cygwin ssh? 參考?windows ssh 搭建
2.?搭建hadoop??參考?Cygwin下的Hadoop快速入門-偽分布式模式的查缺補漏
????這里還有 cygwin putty 控制臺方法設置
3.?開發環境和 demo?參考
通過參考應該環境的搭建沒問題,我這搭建成功了,說下我這一些注意到地方吧
1. 我這使用的最新版本的 hadoop-0.20.0 在參考文檔中,修改?hadoop-site.xml 。
?? 在這個版本已經在conf下找不到了,我這嘗試修改的?hdfs-site.xml 。測試的時候竟然通過了。
官方中文文檔:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安裝 cygwin ssh? 參考?windows ssh 搭建
2.?搭建hadoop??參考?Cygwin下的Hadoop快速入門-偽分布式模式的查缺補漏
????這里還有 cygwin putty 控制臺方法設置
3.?開發環境和 demo?參考
通過參考應該環境的搭建沒問題,我這搭建成功了,說下我這一些注意到地方吧
1. 我這使用的最新版本的 hadoop-0.20.0 在參考文檔中,修改?hadoop-site.xml 。
?? 在這個版本已經在conf下找不到了,我這嘗試修改的?hdfs-site.xml 。測試的時候竟然通過了。
<?xml?version="1.0"?>
<?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>
<configuration>
??<property>
????<name>fs.default.name</name>
????<value>hdfs://localhost:9000</value>
??</property>
??<property>
????<name>mapred.job.tracker</name>
????<value>localhost:9001</value>
??</property>
??<property>
????<name>dfs.data.dir</name>
????<!--linux?-->
????<!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
????<value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
??</property>
??<property>
????<name>hadoop.tmp.dir</name>
????<value>/tmp</value>
??</property>
??<property>
????<name>dfs.replication</name>
????<value>1</value>
??</property>
<property>
??<name>fs.trash.interval</name>
??<value>60</value>
??<description>Number?of?minutes?between?trash?checkpoints.
??If?zero,?the?trash?feature?is?disabled.
??</description>
</property>
??
</configuration>
本文轉自博客園劉凱毅的博客,原文鏈接:hadoop window 搭建,如需轉載請自行聯系原博主。<?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>
<configuration>
??<property>
????<name>fs.default.name</name>
????<value>hdfs://localhost:9000</value>
??</property>
??<property>
????<name>mapred.job.tracker</name>
????<value>localhost:9001</value>
??</property>
??<property>
????<name>dfs.data.dir</name>
????<!--linux?-->
????<!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
????<value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
??</property>
??<property>
????<name>hadoop.tmp.dir</name>
????<value>/tmp</value>
??</property>
??<property>
????<name>dfs.replication</name>
????<value>1</value>
??</property>
<property>
??<name>fs.trash.interval</name>
??<value>60</value>
??<description>Number?of?minutes?between?trash?checkpoints.
??If?zero,?the?trash?feature?is?disabled.
??</description>
</property>
??
</configuration>