Hadoop-08-HDFS集群 基礎知識 命令行上機實操 hadoop fs 分布式文件系統 讀寫原理 讀流程與寫流程 基本語法上傳下載拷貝移動文件

章節內容

上一節完成:

  • HDFS的簡介內容
  • HDFS基礎原理
  • HDFS讀文件流程
  • HDFS寫文件流程

背景介紹

這里是三臺公網云服務器,每臺 2C4G,搭建一個Hadoop的學習環境,供我學習。
之前已經在 VM 虛擬機上搭建過一次,但是沒留下筆記,這次趁著前幾天薅羊毛的3臺機器,趕緊嘗試在公網上搭建體驗一下。

注意,如果你和我一樣,打算用公網部署,那一定要做好防火墻策略,避免不必要的麻煩!!!
請大家都以學習為目的,也請不要對我的服務進行嗅探或者攻擊!!!

但是有一臺公網服務器我還運行著別的服務,比如前幾天發的:autodl-keeper 自己寫的小工具,防止AutoDL機器過期的。還跑著別的Web服務,所以只能擠出一臺 2C2G 的機器。那我的配置如下了:

  • 2C4G 編號 h121
  • 2C4G 編號 h122
  • 2C2G 編號 h123

在這里插入圖片描述

基礎語法

hadoop fs

在這里插入圖片描述

啟動集群

start-dfs.sh
start-yarn.sh

查看目錄

hadoop fs -ls /

在這里插入圖片描述

創建目錄

hadoop fs -mkdir -p /wzk/test

在這里插入圖片描述

上傳文件

hadoop fs -moveFromLocal ./1.txt /wzk/test
hadoop fs -ls /
hadoop fs -ls /wzk/test

在這里插入圖片描述

下載文件

hadoop fs -copyToLocal /wzk/test/1.txt ./

在這里插入圖片描述

查看文件

hadoop fs -cat /wzk/test/1.txt

在這里插入圖片描述

CP操作

hadoop fs -cp /wzk/test/1.txt /1.txt

在這里插入圖片描述

MV操作

hadoop fs -mv /1.txt /wzk/test/

在這里插入圖片描述

GET操作

hadoop fs -get /wzk/test/1.txt ./

在這里插入圖片描述

PUT操作

hadoop fs -put ./1.txt /wzk/test

刪除文件

hadoop fs -rm /wzk/test

刪除空目錄

hadoop fs -mkdir /wzk01
hadoop fs -rmdir /wzk01

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/38164.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/38164.shtml
英文地址,請注明出處:http://en.pswp.cn/web/38164.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

SpringSecurity的執行原理

SpringSecurity的執行原理:當我們服務端接收到請求后,首先通過DelegatingFilterProxy代理對象交互,轉發給springsecurity的執行鏈,由于他自帶的執行鏈有16條,我們將不用的過濾器進行了排除,同時加入了我們自…

如何保護應用?可快速部署的WAF服務器分享

Web應用攻擊是安全事件和數據泄露的主要原因。相關統計表明,超過四分之三的網絡犯罪直指應用及其漏洞。為保護數量日益增長的應用安全,Web應用防火墻(WAF)因此而生。本文則聚焦于WAF服務器,了解它的性能與具體的實踐應用。   新加坡網絡安全…

《單片機》期末考試復習-學習筆記總結

題型 問答題(15分)編程題(65分)編程題1(20分)編程題2(45分)設計題(20分)一、問答題 1.1.單片機概念和特點 1.2. 51單片機的中斷結構 1.3.主從式多機通訊的概念及其工作原理 多機通信是指兩臺以上計算機之間的數據傳輸,主從式多機通信是多機通信系統中最簡單的一種,…

PHP電商系統開發指南最佳實踐

電子商務系統開發的最佳實踐包括:數據庫設計:選擇適合關系型數據庫,優化數據結構,考慮表分區;安全:加密數據,防止 sql 注入,處理會話管理;用戶界面:遵循 ux 原…

vue3長列表優化,使用vue-virtual-scroller實現直播間彈幕列表虛擬滾動效果

使用的組件庫是:https://github.com/Akryum/vue-virtual-scroller 官方文檔:vue-virtual-scroller 安裝依賴 npm install --save vue-virtual-scrollernextpnpm install --save vue-virtual-scrollernextyarn add vue-virtual-scrollernext 組件導入…

如何用文章改寫ai軟件進行改寫?5個軟件教你快速進行修改文章

如何用文章改寫ai軟件進行改寫?5個軟件教你快速進行修改文章 使用AI改寫軟件可以幫助你快速重寫文章,使其更加流暢、符合要求或避免重復。以下是五款優質的AI改寫軟件,它們能夠幫助你快速進行文章修改: 聰明靈犀 這是一款非常簡…

數據結構_1.0

一、數據結構概述 1.1 概念 在計算機科學中,數據結構是一種數據組織、管理和存儲的格式 。它是相互之間存在一種或多種特定關系的數據元素的集合。通常情況下,精心選擇的數據結構可以帶來更高的運行或者存儲效率。數據結構往往同高效的檢索算法和索引技…

【開源合規】開源許可證基礎知識與風險場景引入

文章目錄 什么是開源許可證(License)?開源許可證有什么用?開源許可證分類開源許可證分類及描述公共代碼 (Public Domain)CC0無License寬松型許可證 (Permissive)MITApache 2.0BSD弱互惠型許可證 (Weak Copyleft)LGPLMPLEPL互惠型許可證 (Reciprocal)GPLEUPL強互惠許可證 (Str…

讀-改-寫操作

1 什么是讀-改-寫操作 “讀-改-寫”(Read-Modify-Write,簡稱RMW)是一種常見的操作模式,它通常用于需要更新數據的場景。 這個模式包含三個基本步驟: 1.讀(Read):首先讀取當前的數據…

從0開始學習pyspark--pyspark的數據分析方式[第2節]

PySpark是Apache Spark的Python API,能夠在分布式計算環境中處理大規模數據。本文將詳細介紹PySpark中不同的數據分析方式,包括它們的使用場景、操作解釋以及示例代碼。 1. RDD(Resilient Distributed Dataset)API 概述 RDD是Sp…

Linux——查找文件-find(詳細)

查找文件-find 作用 - 按照文件名、大小、時間、權限、類型、所屬者、所屬組來搜索文件 格式 find 查找路徑 查找條件 具體條件 操作 注意 - find命令默認的操作是print輸出 - find是檢索文件的,grep是過濾文件中字符串 參數 參數 …

簡述Vue中的數據雙向綁定原理

Vue中的數據雙向綁定原理是Vue框架的核心特性之一,它通過數據劫持結合發布者-訂閱者模式來實現。下面將詳細闡述Vue中數據雙向綁定的原理,并盡量按照清晰的結構進行歸納: 一、數據劫持 使用Object.defineProperty(): Vue在組件…

Mojo模板引擎:釋放Web開發的無限潛能

🚀 Mojo模板引擎:釋放Web開發的無限潛能 Mojolicious是一個基于Perl的現代化、高性能的Web開發框架,它內置了一個功能強大的模板引擎,專門用于快速構建Web應用程序。Mojo的模板引擎不僅簡潔易用,而且具備多種高級特性…

《每天5分鐘用Flask搭建一個管理系統》第11章:測試與部署

第11章:測試與部署 11.1 測試的重要性 測試是確保應用質量和可靠性的關鍵步驟。它幫助開發者發現和修復錯誤,驗證功能按預期工作。 11.2 Flask測試客戶端的使用 Flask提供了一個測試客戶端,可以在開發過程中模擬請求并測試應用的響應。 …

Unity海面效果——4、法線貼圖和高光

Unity引擎制作海面效果 大家好,我是阿趙。 繼續做海面效果,上次做完了漫反射顏色和水波動畫,這次來做法線和高光效果。 一、 高光的計算 之前介紹過高光的光照模型做法,比較常用的是Blinn-Phong 所以我這里也稍微連線實現了一下 …

在線醫療診斷平臺開發教程大綱 (Java 后端,Vue 前端)—實踐篇-01

項目分析 第一部分:項目概述及技術選型 項目背景: 在線醫療診斷平臺的市場需求與發展趨勢本平臺的目標用戶和核心功能,突出解決的痛點競品分析,差異化優勢技術選型: 后端: 核心框架: Spring Boot (簡化開發流程)持久層框架: MyBatis (靈活,易于上手)數據庫: MySQL (成熟穩…

API 授權最佳實踐

API(應用程序編程接口)就像秘密之門,允許不同的軟件程序進行通信。但并不是每個人都應該擁有每扇門的鑰匙,就像不是每個軟件都應該不受限制地訪問每個 API 一樣。 這些 API 將從銀行的移動應用程序到您最喜歡的社交媒體平臺的所有…

英語中Would you和Could you的區分用法

Spark: 在英語中,“Would you”和“Could you”都是用來禮貌地提出請求或詢問的表達方式,但它們之間存在一定的差異: 語氣與禮貌程度: Would you:通常用于更正式或較為禮貌的場合,它體現了一種比較客氣的請…

打開wsl顯示請啟用虛擬機平臺 Windows 功能并確保在 BIOS 中啟用虛擬化。

安裝了個安卓模擬器,后面wsl打開后顯示這個 按照很多博客說的運行一串命令 bcdedit /set hypervisorlaunchtype auto 之后重啟電腦 沒有效果 運行 dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 之后重啟成功打開 wsl 來…

某智能裝備公司如何實現多個工程師共用1臺圖形工作站

在當今快速發展的科技領域,資源共享和高效利用已成為企業提升競爭力的關鍵,特別是在工程設計和研發領域。如何最大化地利用有限的資源,如工作站,成為了許多公司面臨的挑戰。某智能裝備公司便是在這樣的背景下,通過云飛…