shell 進入hadoop_Hadoop關于HDFS的基本操作(Shell命令)

在這里我給大家繼續分享一些關于hdfs分布式文件的經驗哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程序設計。在前面我已經寫了關于如何去搭建hadoop這樣一個大數據平臺,還沒搭好環境的童鞋可以轉到我寫的這篇文章hadoop在ubuntu的安裝,接下來就開始我們本次的經驗分享啦。

hdfs的shell命令操作

hdfs的格式化與啟動

首次使用hdfs時,需要使用format 命令進行格式化

./bin/hdfs namenode -format

使用start-dfs.sh命令啟動hdfs,可 使用jps命令查看是否成功啟動

./sbin/start-dfs.sh

下面的圖片是啟動失敗的截圖,那么怎么解決這個問題呢。

hdfs啟動失敗

首先需要停止hdfs,這也是操作完hdfs的必要步驟。

./sbin/stop-dfs.sh

刪除tmp/dfs目錄下的data文件夾

rm -r ./tmp/dfs/data

最后重新執行hdfs的格式化與啟動操作。

啟動成功包括出現namenode、seconddarynamenode、以及datanode。

hdfs支持的命令

查看hdfs支持的所有命令

./bin/hdfs dfs

ps:查看hadoop下put的使用方法

./bin/hadoop fs -help put

hdfs文件系統中目錄創建操作

創建用戶目錄

hadoop系統安裝好以后,第一次使用hdfs時,需要首先在hdfs中創建用戶目錄。

./bin/hdfs dfs -mkdir -p /user/hadoop

用查詢命令查看我們在路徑user下面創建的文件夾hadoop

./bin/hdfs dfs -ls /user

創建二級目錄

在hadoop目錄下再創建一個input文件夾

./bin/hdfs dfs -mkdir /user/hadoop/input

根目錄下創建目錄

在hadoop根目錄下創建一個input文件夾

./bin/hdfs dfs -mkdir /input

hdfs文件系統中目錄刪除操作

刪除在hadoop根目錄下面創建的input文件夾

./bin/hdfs dfs -rm -r /input

可以看到,hadoop根目錄下的input文件夾已經被我們成功刪除,現在只有存在user目錄。

hadoop的文件操作

創建文件的方式

在當前環境目錄下創建hello.txt文件,這里介紹兩種方法。

number one

touch hello.txt

打開hello.txt文件,并寫入如下內容并保存。

hello world

gedit hello.txt

number t two

利用vim編輯創建hello.txt。

vim hello.txt

關于vim怎么建立簡單的文本文件我就不在這里解釋了,不會的童鞋可以找找度娘。

傳輸文件

利用put命令將創建的hello.txt文件上傳到user/hadoop/input的目錄

./bin/hdfs dfs -put ./hello.txt /user/hadoop/input

/bin/hdfs dfs -ls /user/hadoop/input

在user/hadoop/input目錄下利用cat命令查看hello.txt文件內容

./bin/hdfs dfs -cat /user/hadoop/input/hello.txt

hdfs中的文件下載到本地文件系統

使用-get命令將hdfs中的hello.txt文件下載到本地文件系統中的/home/hadoop/desktop這個目錄下:

./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/desktop

本次給大家分享的內容就到這里啦,覺得還不錯的點個贊支持一下小編,你的肯定就是小編前進的動力。

轉自:https://www.cnblogs.com/xiangjunhong/p/12737154.html

如您對本文有疑問或者有任何想說的,請點擊進行留言回復,萬千網友為您解惑!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/538642.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/538642.shtml
英文地址,請注明出處:http://en.pswp.cn/news/538642.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

材料凝固計算機模擬,金屬基復合材料凝固過程計算機模擬Ⅲ.pdf

金屬基復合材料凝固過程計算機模擬Ⅲ,金屬基復合材料,金屬復合材料,金屬陶瓷復合材料,金屬基復合材料ppt,金屬基復合材料導論,無機非金屬基復合材料,雙金屬復合材料,金屬基陶瓷復合材料,金屬基復合材料的應用第 卷第 期"" $ 南方冶金學院學報 W;(#""VB;#$年…

java分治法求數列的最大子段和_同事為進大廠天天刷Java面試題,面試卻履敗!究其原因竟是它在搗鬼。...

寫在前面疫情過后,招聘與求職受影響到底有多大?我不知道,但我的真實感受是,即使有疫情的影響,最近還是持續有朋友來跟我說他們今年工作的新動向。有人跳槽去了大廠,有人下定決心出來創業,也有人…

中國移動wlan優化app-截圖

Nokia的wlan優化項目得到了中國移動省公司的認同,成為了重點項目,轉移了其他項目組開發。 我單獨負責開發Android端app。還沒開發完,源碼也移交了,不再繼續參與開發。 新任務是負責現有平臺從Oracle轉為大數據。截圖紀念下近半個…

soapui和cxf的卻別_根據wsdl文件用soapUi快速構建webService服務(有圖有真相)

最近公司業務上使用webservice 頻繁。由于之前都是自己建立webservice 自己定義提供幫對方服務,現在則相反需求都是根據人家提供的wsdl 文件來生成 我們系統必須提供的接口。剛起初不知道如何生成soapui調用wsdl需要安全驗證,為了一個webservice 服務&am…

linux軟件安裝管理

Linux軟件安裝管理 TonyLinux系統工程師難度初級 時長 3小時 6分 學習人數64016 綜合評分9.8收藏上面是linux 的源代碼安裝包 linux有兩種類型的軟件安裝方式: 1、源代碼安裝 這種方式的軟件安裝,可以指定軟件的安裝目錄,軟件的運行效率高&am…

ts語音自建服務器,自建TeamSpeak語音服務器,免費提供給專注游戲的玩家使用!...

先提一句,帶過節奏的云玩家 可以滾了!???以下內容更新于2020/5/22 15:30:?根據 洛杉磯湖人名宿孫悅 ?的提醒,不推薦下載ts1.cn的盜版客戶端,也不推薦俱樂部或者各位玩家租用ts1.cn的盜版服務器。具體可查看帖子 h…

hbase多master和動態添加節點

1、多個master節點。 在reginserver節點上使用命令: hbase-daemon.sh start master 在nbdo3機器上啟動主備后,查看nbdo3機器上master產生的日志: 2017-04-08 09:37:52,471 INFO [nbdo3:16000.activeMasterManager] master.ActiveMasterMa…

電子電器架構刷寫方案——General Flash Bootloader

電子電器架構刷寫方案——General Flash Bootloader 我是穿拖鞋的漢子,魔都中堅持長期主義的汽車電子工程師。 注:文章1萬字左右,深度思考者入!!! 老規矩,分享一段喜歡的文字,避免…

python心理學實驗程序_心理學實驗程序編程(python)

任務一:實現簡單的屏幕的顏色之間的切換 importpygamefrom pygame.locals import *pygame.init() win pygame.display.set_mode((800,600),DOUBLEBUF|HWSURFACE)for i in range(10): win.fill((0,255,0))if i%20: win.fill((255,0,0)) pygame.time.wait(500) pygame…

Java并發-ThreadLocal

原文地址:cmsblogs.com/?p2442 ThreadLocal介紹 ThreadLocal提供了一種解決多線程環境下成員變量的問題,但是它并不是解決多線程共享變量的問題。那么ThreadLocal到底是什么呢? API是這樣介紹的:This class provides thread-loca…

vue 監聽map數組變化_解決vue無法偵聽數組及對象屬性的變化問題

一、數組1、可以監聽到的情況如push、splice、賦值(array[1,2,3])2、無法監聽到的情況使用下標修改某個元素(這種比較常見)array[index] 1object.a 3直接修改數組lengtharray.length 53、解決方案this.$set(array, index, data) - 這是個深度的修改,某些情況下可…

哈維瑪德學院 計算機,這些美國大學名氣不高,卻有最頂級的工程專業

上一期我們盤點了有博士學位的Top50 大學工程專業排名今天我們繼續盤點 2018USNEWS 工程專業排名不過這個排名主要針對的是沒有博士學位的 Top50 大學和上一期那些大名鼎鼎的大學相比這里面很多大學并不怎么為人熟知因為這個榜單大部分都是區域性大學事實上,工程專業…

Hbase介紹

1、為什么出現hbase?hadoop 的NameNode適合大文件,不適合小文件。HDFS不適合大量小文件的存儲,因namenode將文件系統的元數據存放在內存中,因此存儲的文件數目受限于 namenode的內存大小。HDFS中每個文件、目錄、數據塊占用150Byt…

math 向上取整_自我說明:關于Math和File類的具體說明.

Math類:Math類,不允許有子類,它直接繼承于object.Math類包含執行基本數字運算的方法.如基本指數,對數,平方根和三角函數.Math的基本方法:System.out.pintln(“1.絕對值:”Math.abs(16)”t”Math.abs(-16)”…

眼圖 非差分線_LVDS低電壓差分信號簡介

LVDS低電壓差分信號簡介1. 名詞解釋1.1. 背景隨著數據傳輸速率越來越高,現在計算機系統中的數據傳輸接口基本上都串行化了,像USB、PCIe、SATA、DP等等外部總線將并行總線擠壓到只剩下內存總線這個最后的堡壘。當然,就算是并行傳輸總線最后的倔…

無內存在優盤可以啟動計算機嗎,沒有U盤不要緊,內存卡做啟動盤裝Win7方法

現在最流行的win7系統安裝方法大多以U盤來安裝,那么如果你沒有U盤呢?為了安裝個Win7系統是不是要去買個U盤?當然不用,如果你還有空閑不用的手機內存卡,那么也是可以制作U盤啟動盤來安裝Win7系統的。準備工具&#xff1…

微信小程序request請求動態獲取數據

微信小程序開發文檔鏈接 1 后臺代碼: clickButton:function(){var that this;wx.request({url: http://localhost:9096/admin.php/index/jj,method : POST,header: { content-type: application/x-www-form-urlencoded },data : {},success: function (res) {//console.log(re…

HBase中的HMaster、HRegionServer、Zookeeper

原文鏈接:http://blog.csdn.net/mm_bit/article/details/51304233 ----------------------------------- HMaster是Hbase主/從集群架構中的中央節點。通常一個HBase集群存在多個HMaster節點,其中一個為Active Master,其余為Backup Master. Hbase每時每刻只有一個hm…

spyder python調試_使用spyder編譯器單步調試python

1、將需要進行單步調試的函數在腳本中進行調用(十分重要的一步)。由于python是解釋型語言,在進行單步調試的時候需要告訴系統你使用了這個函數,單步調試才會進入你所需要調式的函數。如下圖所示,我們定義了createDataS…

label qt 自動換行_QT編寫一個登錄界面

前言繼上篇:一起學Qt之基礎篇---入門今天上手實操用QT編寫一個登錄界面~系統權限這個詞大家肯定不陌生,你進入一個網站也是,如果不登錄,就是以游客的身份進去的,要想看到某些信息肯定需要進行登錄,更完善的…