在這里我給大家繼續分享一些關于hdfs分布式文件的經驗哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序設計。在前面我已經寫了關于如何去搭建hadoop這樣一個大數據平臺,還沒搭好環境的童鞋可以轉到我寫的這篇文章hadoop在ubuntu的安裝,接下來就開始我們本次的經驗分享啦。
hdfs的shell命令操作
hdfs的格式化與啟動
首次使用hdfs時,需要使用format 命令進行格式化
./bin/hdfs namenode -format
使用start-dfs.sh命令啟動hdfs,可 使用jps命令查看是否成功啟動
./sbin/start-dfs.sh
下面的圖片是啟動失敗的截圖,那么怎么解決這個問題呢。
hdfs啟動失敗
首先需要停止hdfs,這也是操作完hdfs的必要步驟。
./sbin/stop-dfs.sh
刪除tmp/dfs目錄下的data文件夾
rm -r ./tmp/dfs/data
最后重新執行hdfs的格式化與啟動操作。
啟動成功包括出現namenode、seconddarynamenode、以及datanode。
hdfs支持的命令
查看hdfs支持的所有命令
./bin/hdfs dfs
ps:查看hadoop下put的使用方法
./bin/hadoop fs -help put
hdfs文件系統中目錄創建操作
創建用戶目錄
hadoop系統安裝好以后,第一次使用hdfs時,需要首先在hdfs中創建用戶目錄。
./bin/hdfs dfs -mkdir -p /user/hadoop
用查詢命令查看我們在路徑user下面創建的文件夾hadoop
./bin/hdfs dfs -ls /user
創建二級目錄
在hadoop目錄下再創建一個input文件夾
./bin/hdfs dfs -mkdir /user/hadoop/input
根目錄下創建目錄
在hadoop根目錄下創建一個input文件夾
./bin/hdfs dfs -mkdir /input
hdfs文件系統中目錄刪除操作
刪除在hadoop根目錄下面創建的input文件夾
./bin/hdfs dfs -rm -r /input
可以看到,hadoop根目錄下的input文件夾已經被我們成功刪除,現在只有存在user目錄。
hadoop的文件操作
創建文件的方式
在當前環境目錄下創建hello.txt文件,這里介紹兩種方法。
number one
touch hello.txt
打開hello.txt文件,并寫入如下內容并保存。
hello world
gedit hello.txt
number t two
利用vim編輯創建hello.txt。
vim hello.txt
關于vim怎么建立簡單的文本文件我就不在這里解釋了,不會的童鞋可以找找度娘。
傳輸文件
利用put命令將創建的hello.txt文件上傳到user/hadoop/input的目錄
./bin/hdfs dfs -put ./hello.txt /user/hadoop/input
/bin/hdfs dfs -ls /user/hadoop/input
在user/hadoop/input目錄下利用cat命令查看hello.txt文件內容
./bin/hdfs dfs -cat /user/hadoop/input/hello.txt
hdfs中的文件下載到本地文件系統
使用-get命令將hdfs中的hello.txt文件下載到本地文件系統中的/home/hadoop/desktop這個目錄下:
./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/desktop
本次給大家分享的內容就到這里啦,覺得還不錯的點個贊支持一下小編,你的肯定就是小編前進的動力。
轉自:https://www.cnblogs.com/xiangjunhong/p/12737154.html
如您對本文有疑問或者有任何想說的,請點擊進行留言回復,萬千網友為您解惑!