HDFS操作文件的基本命令

1.創建文件夾? $>hdfs dfs -mkdir /user/centos/hadoop
2.展示目錄? ? $>hdfs dfs -ls -r /user/centos/hadoop
3.遞歸展示? ? $>hdfs dfs -lsr /user/centos/hadoop
4.上傳文件? ? $>hdfs dfs -put index.html /user/centos/hadoop
5.下載文件? ? $>hdfs dfs -get /user/centos/hadoop/index.html a.html
6.刪除文件? ? $>hdfs dfs -rm -r -f /user/centos/hadoop

----------------

HDFS存儲

?? ?500G? 文件
?? ?1024G = 2T/4T 文件
?? ?切割。
?? ?//切割?? ?
?? ?block: 切割：128M?? ?原因： 讓尋址時間占用讀取時間的1%.
?? ?尋址時間:10ms左右
?? ?磁盤速率 : 100M /s【磁盤I/O】

HDFS 文件存儲： >128M的切割分塊。 如果配置了備份數，則按照備份數進行備份 放到各個數據節點

?? ?size = 181260798
?? ?block-0 : 134217728
?? ?block-1 : ?47043070?
?? ?--------------------

?? ?b0.no : 1073741829
?? ?b1.no : 1073741830

找到所有的配置文件
----------------------

1.tar開hadoop-2.7.3.tar.gz
?? ?hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml? ? ?文件存放位置? ??fs.defaultFS=file:///?? ?
?? ?hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml????????????? ? ?文件副本數? ? dfs.replication?
?? ?hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml
?? ?hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml

?

2.配置[core-site.xml]文件
?? ?<configuration>
?? ??? ??? ?<property>
?? ??? ??? ??? ??? ?<name>fs.defaultFS</name>
?? ??? ??? ??? ??? ?<value>hdfs://s201/</value>
?? ??? ??? ?</property>
?? ??? ??? ?<!--- 配置新的本地目錄 -->
?? ??? ??? ?<property>
?? ??? ??? ??? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ??? ??? ??? ?<value>/home/centos/hadoop</value>
?? ??? ??? ?</property>
?? ?</configuration>

--------基本思路------------------------

1.hdfs dfs -mkdir /usr/centos/hadoop ?: 創建文件夾
2.hdfs dfs -lsr /usr/centos/hadoop ：查看文件目錄
3.hdfs dfs -put index.html /usr/centos/hadoop : 上傳文件index.html 到 /usr/centos/hadoop

4.通過上傳文件到hdfs后, namenode名稱節點通過slave配置datanode數據節點后， nn（名稱節點）的hdfs-site.xml中配置了副本數，nm(名稱節點)的hdfs-site.xml中配置數據存放位置。如果上傳的文件 大于128M，hdfs將會對文件進行切割，每塊（blcok）128M[為了滿足 尋址時間為讀取文件是的的 1%]。

?

?

?