1.HDFS
HDFS : 偽分布式(學習)
NN
DN
SNN
sbin/start-dfs.sh(開啟hdfs使用的腳本)
bin/hdfs dfs -ls (輸入命令加前綴bin/hdfs dfs)
2.block(塊)
dfs.blocksize : 134217728(字節) / 128M 官網默認一個塊的大小128M
*舉例理解塊
1個文件 130M,默認一個塊的大小128M
130/128=1…2M有兩個塊128M 2M
1個文件 260M 260/128=2…4M有三個塊
2個128M 1個4M
每個瓶子容量128ML 1碗水260ML
需要3個瓶子
A 128mlB 128mlC 4ml
3.副本數
dfs.replication 1 / 3指的是一個塊的復制數(1是在學習中,3是在生產中)
例如
*每個瓶子容量128ML 1碗水260ML
需要3個瓶子
A 128ml A 128ml A1 A2 A3 (A1 A2 A3 為副本數)
B 128ml B 128ml B1 B2 B3 …
C 4ml C 4ml C1 C2 C3 …
260/128=2...4M 3個塊
實際有9個塊= 33副本實際存儲空間 260M3
面試題: 一個文件160m,副本數2,塊大小128m,實際存儲空間多少?塊數量多少?
答:160/128=1…32 2個塊
但是有副本數為2就是22=4個塊
實際存儲空間是1604=640m