Hadoop webHDFS設置和使用說明

原文:http://blog.csdn.net/iloveyin/article/details/28264027

----------------------------------------------------------------------------------------

1.配置

namenode的hdfs-site.xml是必須將dfs.webhdfs.enabled屬性設置為true,否則就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夾狀態的命令,因為這些信息都是由namenode來保存的。

在namenode和一臺datanode中向/etc/hadoop/conf/hdfs-site.xml中添加屬性:

雙擊代碼全選
1
2
3
4
<property>?
<name>dfs.webhdfs.enabled</name>?
<value>true</value>?
</property>


2.使用說明

訪問namenode的hdfs使用50070端口,訪問datanode的webhdfs使用50075端口。訪問文件、文件夾信息使用namenode的IP和50070端口,訪問文件內容或者進行打開、上傳、修改、下載等操作使用datanode的IP和50075端口。要想不區分端口,直接使用namenode的IP和端口進行所有的webhdfs操作,就需要在所有的datanode上都設置hefs-site.xml中的dfs.webhdfs.enabled為true。


3.curl操作webhdfs

創建并寫一個文件
curl -i -X PUT "http://localhost:50070/webhdfs/v1/<PATH>?op=CREATE
[&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>]
[&permission=<OCTAL>][&buffersize=<INT>]“
curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
op=CREATE...“
注意這個地方填入的是DataNode的信息


在一個文件內追加內容
curl -i -X POST "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=APPEND[&buffersize=<INT>]”
curl -i -X POST -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
op=APPEND...“
注意該條命令獲得的是DataNode的信息。


打開并讀取一個文件
curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]“


創建一個目錄
curl -i -X PUT "http://<HOST>:<PORT>/<PATH>?op=MKDIRS[&permission=<OCTAL>]“


重名命文件、文件夾
curl -i -X PUT "<HOST>:<PORT>/webhdfs/v1/<PATH>?op=RENAME&destination=<PATH>"


刪除文件/文件夾
curl -i -X DELETE "http://<host>:<port>/webhdfs/v1/<path>?op=DELETE [&recursive=<true|false>]“


文件/ 文件夾的狀態信息
curl -i “http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS“


目錄列表
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS”


獲取目錄的上下文環境匯總信息
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY"


獲取Check Sum File
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILECHECKSUM”


獲取Home 目錄
curl -i "http://<HOST>:<PORT>/webhdfs/v1/?op=GETHOMEDIRECTORY”


設置權限
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETPERMISSION [&permission=<OCTAL>]“


設置所有者
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETOWNER [&owner=<USER>][&group=<GROUP>]"


設置備份
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETREPLICATION [&replication=<SHORT>]“




本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/539332.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/539332.shtml
英文地址,請注明出處:http://en.pswp.cn/news/539332.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

CES 2017前瞻之AI:無人機依舊小巧,機器人主打家庭服務

再過2天&#xff0c;CES 2017就要開始了&#xff0c;根據這些已知曉的部分展商&#xff0c;我們也許能夠看到未來的一些趨勢。 還有2天&#xff0c;備受矚目的CES 2017&#xff08;2017年國際消費類電子產品展覽會&#xff09;就要拉開帷幕了。 每一年&#xff0c;CES上都會出…

ionic html5 上傳圖片,ionic4+angular7+cordova上傳圖片功能的實例代碼

前言ionic是一個垮平臺開發框架&#xff0c;可通過web技術開發出多平臺的應用。但只建議開發簡單應用。復雜的應用需要用到許多cordova插件&#xff0c;而cordova插件的更新或者移動平臺的更新很可能導致插件的不可用&#xff0c;維護升級成本較高。安裝插件安裝插件Image Pick…

HDFS體系結構

Namenode 是整個文件系統的管理節點。它維護著整個文件系統的文件目錄樹&#xff0c;文件/目錄的元信息metadate和每個文件對應的數據塊列表。 功能&#xff1a;接收用戶的操作請求。 metadate信息包括&#xff1a; 1、文件的owership和permission。 2、文件包含哪些block塊…

為什么要將html頁面和樣式表分離,0031 如何使用css文件對網頁內容和樣式進行分離...

原標題&#xff1a;0031 如何使用css文件對網頁內容和樣式進行分離上節課&#xff0c;學習了針對文字可以設置很多種樣式。這節課&#xff0c;學習如何將內容和樣式進行分離。上節課的課后練習1.將斜體字體效果去除2.將工作經歷和工作經驗(部分)這2行文字也做成簡介這行文字的效…

redis 關系數據庫怎么轉換 和_redis數據庫設計(轉)

閱讀目錄redis是什么redis就是一個存儲key-value鍵值對的倉庫&#xff0c;如何使用redis在于如何理解你需要設計的系統的E-R的模型&#xff0c;然后合理的規劃redis的數據庫結構場景我舉一個簡單的消息系統的例子&#xff0c;業務需求&#xff1a;服務器端發送消息給用戶E-R模型…

Hadoop Archives

介紹 時間&#xff1a; Hadoop Archives (HAR files)是在0.18.0版本中引入的。 作用&#xff1a; 將hdfs里的小文件打包成一個文件&#xff0c;相當于windows的zip&#xff0c;rar。Linux的 tar等壓縮文件。把多個文件打包一個文件。 意義&#xff1a; 它的出現就是為了緩…

js 判斷日期時間差

2019獨角獸企業重金招聘Python工程師標準>>> alert(GetDateDiff("2018-02-27 19:20:22","2018-02-27 09:20:22","hour"));function GetDateDiff(startTime, endTime, diffType) {//將xxxx-xx-xx的時間格式&#xff0c;轉換為 xxxx/xx…

python 圖形_Python圖形數據

CSGraph代表 壓縮稀疏圖 &#xff0c;它著重于基于稀疏矩陣表示的快速圖算法。 圖表表示 首先&#xff0c;讓我們了解一個稀疏圖是什么以及它在圖表示中的作用。 什么是稀疏圖&#xff1f; 圖形只是節點的集合&#xff0c;它們之間有鏈接。圖表幾乎可以代表任何事物 - 社交網絡…

本地運行hadoop-Failed to locate the winutils binary in the hadoop binary path

轉自&#xff1a;http://www.cnblogs.com/zq-inlook/p/4386216.html 之前在mac上調試hadoop程序&#xff08;mac之前配置過hadoop環境&#xff09;一直都是正常的。因為工作需要&#xff0c;需要在windows上先調試該程序&#xff0c;然后再轉到linux下。程序運行的過程中&#…

dubbo 支持服務降級嗎_dubbo面試題!會這些,說明你真正看懂了dubbo源碼

整理了一些dubbo可能會被面試的面試題&#xff0c;感覺非常不錯。如果你基本能回答說明你看懂了dubbo源碼&#xff0c;對dubbo了解的足夠全面。你可以嘗試看能不能回答下。我們一起看下有哪些問題吧&#xff1f;dubbo中"讀接口"和"寫接口"有什么區別?談談…

不滿足于汽車制造,豐田展示仿鋼鐵俠機器支撐腿架

而汽車制造商開發機器人也不是豐田一家的專利&#xff0c;此前現代也推出過類似的支撐機器人腿架 大多數人對于豐田的印象都停留在汽車制造上&#xff0c;不過他們卻不僅僅滿足于汽車事業的發展&#xff0c;最近&#xff0c;豐田正在研發一款機器人支撐腿架&#xff0c;來幫助…

js html異步加載的屬性,異步加載JS的五種方式

方案一&#xff1a;點評&#xff1a;HTML5中新增的屬性&#xff0c;Chrome、FF、IE9&IE9均支持(IE6~8不支持)。此外&#xff0c;這種方法不能保證腳本按順序執行。方案二&#xff1a;點評&#xff1a;兼容所有瀏覽器。此外&#xff0c;這種方法可以確保所有設置defer屬性的…

python中各操作符的優先級_Python3練習題系列(06)——各種符號總結

Python3中的各種符號總結 1關鍵字 import keyword print(keyword.kwlist, end\t) [False, None, True, and, as, assert, break, class, continue, def, del, elif, else, except, finally, for, from, global, if, import, in, is, lambda, nonlocal, not, or, pass, raise, r…

hdfs java讀寫hdfs demo

windows環境配置&#xff1a; 1.下載winutils的windows版本 GitHub上&#xff0c;有人提供了winutils的windows的版本&#xff0c; 項目地址是&#xff1a;https://github.com/srccodes/hadoop-common-2.2.0-bin,直接下載此項目的zip包&#xff0c;下載后是文件名是hadoop-comm…

cesium 經緯度繪制點_NCL繪制2016年1號臺風(Nepartak)

begin ncol 6 ;臺風參數 nrow 31 ;時次總數 nbin 6 ;已知該該氣旋共經歷了6個等級的演變 ;讀入臺風資料 data asciiread("NEPARTAK.txt",(/nrow,ncol/),"integer") ;/31,6/ 31行6列&#xff0c;integer整數類型 ;;數據讀取函數總結&…

VR究竟多奇幻?eSmart邀你共赴一場VR奇幻之旅!

今年夏天&#xff0c;快來參加首屆eSmart展會&#xff0c;來一場VR游戲的奇妙之旅&#xff0c;見識最好玩、最有趣的VR游戲&#xff01; 正如十幾年前互聯網的興起開創了全新時代一樣&#xff0c;VR產業在近兩年也勢不可擋。隨著一重行業巨頭的進入&#xff0c;2016年&#xf…

HTML5新的解析順序,HTML5新表單新功能解析

HTML5新增了很多屬性功能。但是有兼容性問題&#xff0c;因為這些表單功能新增的。我這里做了一個簡單的練習&#xff0c;方便參考。如果完全兼容的話&#xff0c;那我們寫表單的時候就省了很多代碼以及各種判斷。HTML5表單新功能解析#da{width:350px;height:600px;margin:0 au…

python子類繼承父類屬性實例_Python實現子類調用父類的初始化實例

前言 python中進行面向對象編程&#xff0c;當在子類的實例中調用父類的屬性時&#xff0c;由于子類的__init__方法重寫了父類的__init__方法&#xff0c;如果在子類中這些屬性未經過初始化&#xff0c;使用時就會出錯。 例如以下的代碼: class A(object): def __init__(self):…

hadoop 回收站Trash

介紹&#xff1a; Hadoop回收站trash&#xff0c;默認是關閉的。 和Linux系統的回收站設計一樣&#xff0c;HDFS會為每一個用戶創建一個回收站目錄&#xff1a;/user/用戶名/.Trash/&#xff0c;每一個被用戶通過Shell刪除的文件/目錄&#xff0c;在系統回收站中都一個周期&…

opencv畫框返回坐標 python_[python]依靠pynput和pyautogui替換ahk

autohotkey當然是不錯的工具&#xff0c;但是這個東西的社群一直發展的不行。從開始學習python以后&#xff0c;我就不時會希望能找到別的工具替代ahk。Python的眾多包里面確實是有對應的工具的&#xff1a;模擬鼠標和鍵盤的操作可以用pyautogui&#xff0c;而捕捉熱鍵則可以使…