HDFS常用Shell命令

1、-ls: 顯示目錄信息

hadoop fs -ls /

2、-mkdir:在HDFS上創建目錄

hadoop fs -mkdir -p /demo/test

3、-moveFromLocal:從本地剪切粘貼到HDFS

hadoop fs  -moveFromLocal  a.txt  /demo/test/a.txt

4、-appendToFile:追加一個文件到已經存在的文件末尾

hadoop fs -appendToFile b.txt /demo/test/b.txt

5、-cat:顯示文件內容

hadoop fs -cat /demo/test/b.txt

6、-chgrp 、-chmod、-chown:Linux文件系統中的用法一樣,修改文件所屬權限

hadoop fs  -chmod  777  /demo/test/b.txt

7、copyFromLocal:從本地文件系統中拷貝文件到HDFS路徑去

hadoop fs -copyFromLocal b.txt /demo/test/b.txt

8、-copyToLocal:從HDFS拷貝到本地

hadoop fs -copyToLocal /demo/test/b.txt /address

9、從HDFS的一個路徑拷貝到HDFS的另一個路徑

hadoop fs -cp /demo/test/b.txt /demo/test2/b.txt

10、-mv:在HDFS目錄中移動文件

hadoop fs -mv /demo/test/b.txt /demo/test2/b.txt

11、-get:等同于copyToLocal,就是從HDFS下載文件到本地

hadoop fs -get /demo/test/b.txt /address

12、-getmerge:合并下載多個文件,比如HDFS的目錄 /user/atguigu/test下有多個文件:log.1, log.2,log.3,…

 hadoop fs -getmerge /user/test/* /address

13、-put:等同于copyFromLocal

hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/

14、-tail:顯示一個文件的末尾

hadoop fs -tail /demo/test2/b.txt

15、-rm:刪除文件或文件夾

 hadoop fs -rm /demo/test2/b.txt

16、-rmdir:刪除空目錄

hadoop fs -mkdir /test

17、-du統計文件夾的大小信息

hadoop fs -du -s -h /user/atguigu/test
2.7 K  /user/atguigu/testhadoop fs -du  -h /user/atguigu/test
1.3 K  /user/atguigu/test/README.txt
15     /user/atguigu/test/jinlian.txt
1.4 K  /user/atguigu/test/zaiyiqi.txt

18、-setrep:設置HDFS中文件的副本數量

 hadoop fs -setrep 10 /demo/test2/b.txt

這里設置的副本數只是記錄在NameNode的元數據中,是否真的會有這么多副本,還得看DataNode的數量。副本數達到相應數量的前提是設備數達到相應的數量。

19、-help:輸出這個命令參數

 hadoop fs -help rm

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535848.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535848.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535848.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Linux環境下Flume的安裝

1、在官網http://flume.apache.org/download.html下載flume的壓縮包 2、解壓到指定位置并重命名 tar -zxvf apache-flume-1.9.0-bin.tar.gz3、配置環境并生效 #vi ~/.bashrc export FLUME_HOME/usr/local/APP/flume export PATH$PATH:$FLUME_HOME/bin #使變量設置生效 #sour…

MIPCache 域名升級

一、MIPCache URL 是什么 舉個例子,MIP 官網的 URL 為: https://www.mipengine.org 對應的 MIPCache 的 URL 為: https://mipcache.bdstatic.com/c/s/www.mipengine.org 所謂 MIPCache URL 是經過 MIP-Cache CDN 緩存后的 MIP 頁面地址&…

Flume監聽端口,輸出端口數據案例

1、在flume目錄下新建/myconf目錄,并在目錄下新建socket-console.conf 文件! mkdir myconf cd myconf touch socket-console.conf2、編輯文件vim socket-console.conf,添加以下內容: # 定義這個agent中各組件的名字 a1.sources r1 a1.sink…

MIP 移動網頁加速器視頻教程全新發布

MIP (Mobile Instant Pages - 移動網頁加速器) 是百度推出的開源項目,用于移動端頁面加速。MIP 技術通過優化瀏覽器資源加載,前端代碼執行及 CDN 緩存加速來加速頁面,打造秒開的頁面瀏覽體驗。目前,有 5000 多家站點的 MIP 頁已經…

日常問題——flume連接hive時報錯Caused by: java.lang.NoSuchMethodError

問題描述: 今天新安裝的flume,使用flume來做kafka與hive對接時出現了以下兩個的錯誤: Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUrithrift://localhost:9083, databasedb, tablestudent, pa…

MIP 技術進展月報:儲存功能全新上線,MIP-Cache域名升級,校驗更嚴謹

集 * 瞬時觸達用戶、高轉化率、炫酷閃電標、優質展現形式 * 等諸多特性為一體的 MIP 頁面吸引了眾多站點進行改造。為了更好地服務于廣大站長,更快地傾聽站長們的聲音,MIP 技術團隊特推出《MIP 技術進展月報》,歡迎大家對 MIP 技術提建議&…

通過Flume簡單實現Kafka與Hive對接(Json格式)

將以下存儲在kafka的topic中的JSON格式字符串,對接存儲到Hive的表中 {"id":1,"name":"小李"} {"id":2,"name":"小張"} {"id":3,"name":"小劉"} {"id":4,&qu…

改造MIP獲得搜索青睞,輕松完成SEO

搜索引擎目標及頁面排序方法 搜索引擎作為互聯網流量的入口,承擔著流量分發的職責。但排序成千上萬的網頁,決定哪些網頁在第一頁,是由網頁本身的用戶體驗決定的。權重算法會從內容優質性,廣告多少,加載速度等多個角度…

日常問題———Attempting to operate on hdfs namenode as root

寫在最前注意: 1、master,slave都需要修改start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh四個文件 2、如果你的Hadoop是另外啟用其它用戶來啟動,記得將root改為對應用戶 HDFS格式化后啟動dfs出現以…

WebP 在減少圖片體積和流量上的效果如何?MIP技術實踐分享

作者 | Jackson 編輯 | 尾尾 不論是 PC 還是移動端,圖片一直占據著頁面流量的大頭,在圖片的大小和質量之間如何權衡,成為了長期困擾開發者們的問題。而 WebP 技術的出現,為解決該問題提供了好的方案。本文將為大家詳細介紹 WebP …

日常問題——pdsh localhost Connection refused

問題描述: 本地安裝hadoop單機模式的時候需要啟動namenode時報錯 pdshxxx: localhost: connect: Connection refused解決方案(過程): 原因是pdsh默認采用的是rsh登錄,修改成ssh登錄即可,在環境變量/etc/…

MIP技術進展月報第2期: 數據綁定,異步腳本加速

一、 功能更新 1. mip-bind 上線,實現復雜交互 MIP bind 雙向綁定機制和組件上線,提供雙向綁定的特性;能夠允許頁面實現數據驅動功能,開發者可以在任意場景修改數據,并驅動頁面元素變動。 MIP 小姐姐畫外音&#xf…

Hadoop的安裝與配置——設置單節點群集

本篇博客將主要介紹如何設置和配置單節點Hadoop安裝,以便我們可以使用Hadoop 的MapReduce與HDFS快速執行簡單的操作。 零、先決條件 1、本系列以Ubuntu Linux作為開發和生產平臺 2、Linux所需的軟件包括: JAVA:必須安裝Java,配置…

MIP 腳本域名地址變更公告

尊敬的 MIP 開發者: MIP 團隊為了解決 MIP-Cache 頁面下 cookie 相互覆蓋問題,增強站點品牌露出,在 2017 年 8 月將 MIP 的腳本域名和 MIP-Cache 頁面域名進行了升級變更,詳見說明 MIP-Cache 域名升級。 在 12 月中旬&#xff0…

新手教程:不寫JS,在MIP頁中實現異步加載數據

從需求談起:在 MIP 頁中異步加載數據 MIP(移動網頁加速器) 的 加速原理 除了靠譜的 MIP-Cache CDN 加速外,最值得一提的就是組件系統。所有 JS 交互都需要使用 MIP 組件實現,保證頁面中所有 JS 都是最精簡高效的&…

日常問題———安裝新版zookeeper 出現Starting zookeeper ... FAILED TO START

問題描述 安裝新版zookeeper使用 /apache-zookeeper-3.6.1.tar.gz解壓后運行zoServer.sh文件時出現Starting zookeeper … FAILED TO START錯誤 解決方案(過程) 實際上應該是下載錯了文件。在官網上有兩個tar.gz文件,從3.5.5版本開始&…

Hadoop的安裝與配置——搭建完全分布式集群

一、搭建集群 1、準備服務器(這里以我的3臺Centos7為例) 1個主節點:Carlota1(192.168.33.21),2個子節點:Carlota2(192.168.33.22),Carlota3(192.168.33.23) 2、配置主節點名 在主節點命令行輸入&#x…

HTTP 視頻怎么在 MIP 頁面中使用?

在 MIP 中,一些資源的使用需要支持 HTTPS,視頻就是其中一種。但目前大部分站點的視頻資源都還是 HTTP 的資源,無法在百度 MIP 搜索結果中直接使用, mip-video 視頻組件針對 HTTP 的視頻資源采用跳到一個 HTTP 的播放頁面進行播放&…

MIP 組件庫升級公告

背景 為了方便廣大開發者們更好地使用組件,現對 MIP 組件庫統一進行升級,升級后將分為通用組件和自定義組件兩類,方便開發。 通用組件,即考慮了組件通用性方便所有開發者參考使用的組件,將存放于 mip-extensions 倉庫…

騰訊云服務器 ubuntu 設置允許root用戶登錄和禁用ubuntu用戶

最近購買了騰訊云服務器,使用了 Ubuntu Server 18.04.1 LTS 64位操作系統,發現默認用戶為ubuntu,而無法用root用戶進行ssh登陸,本篇就記錄一下開通root和禁用ubuntu的過程。 1、設置允許root用戶登錄 使用用戶名ubuntu登錄sudo passwd root…