一:代碼部分
1.新建maven項目
2.添加需要的java代碼
3.書寫mapper類
4.書寫runner類
?
二:運行方式
1.本地運行
2.集群運行
3.本地提交集群運行
?
三:本地運行方式
1.解壓hadoop到本地
?
2.修改配置文件HADOOP_HOME
?
3.解壓common的壓縮包
?
?4.將壓縮包的內容拷貝到bin下
?
5.前提
在resource中必須存在core和Hbase的site文件
?
6.上傳數據
新建目錄/eventLogs/2015/12/20
上傳到linux
上傳到HDFS
7.上傳qqwey.dat到ips文件
? 新建文件夾
上傳
8.啟動服務
hdfs
yarn
hbase
zookeeper
?
9.運行
?
9.需要修改linux與Windows環境下不兼容的代碼
只需要重新新建一個包,將源程序添加進去,并修改。
?
10.結果
?
四:集群運行
1.需要將ip的解析文件改成HDFS
?
2.打包方式一(mvn)
)查找源碼位置
)打包(local)
)結果
)打包(dev)
mvn -Pdev clean package
)結果
?
3.打包方式二(eclipse)
)run as—》mav build...
)結果
)打包二(run configuration)
?
)結果
?
4.上傳
?
5.添加jar(mapred在集成hbase時需要的jar包)
?
6.運行
?
五:本地提交集群運行
1.修改集群需要的參數configuration
?
2.
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?