Hadoop 集群基礎指令指南

目錄

🧩 一、Hadoop 基礎服務管理指令

?? 啟動 Hadoop

?? 關閉 Hadoop

🧾 查看進程是否正常運行

📁 二、HDFS 常用文件系統指令

🛠? 三、MapReduce 作業運行指令

📋 四、集群狀態監控指令

💡 五、管理員常用 HDFS 命令


包含 Hadoop 啟動/關閉、HDFS 基本操作、MapReduce 提交流程等的常用指令大全,適合剛搭建好 Hadoop 環境后進行操作與測試。


🧩 一、Hadoop 基礎服務管理指令

?? 啟動 Hadoop

# 啟動 HDFS 和 YARN 所有服務(推薦)
start-dfs.sh
start-yarn.sh# 或使用統一啟動腳本(部分版本支持)
start-all.sh

?? 關閉 Hadoop

# 停止 HDFS 和 YARN 所有服務
stop-dfs.sh
stop-yarn.sh# 或使用統一停止腳本
stop-all.sh

🧾 查看進程是否正常運行

jps
# 正常應看到:NameNode、DataNode、ResourceManager、NodeManager 等

📁 二、HDFS 常用文件系統指令

功能命令
查看根目錄hadoop fs -ls /
創建目錄hadoop fs -mkdir /user/yourname
上傳文件hadoop fs -put test.txt /user/yourname/
下載文件hadoop fs -get /user/yourname/test.txt ./
刪除文件hadoop fs -rm /user/yourname/test.txt
刪除目錄hadoop fs -rm -r /user/yourname/testdir
查看內容hadoop fs -cat /user/yourname/test.txt
查看空間使用hadoop fs -du -s /user/yourname/
拷貝文件hadoop fs -cp /src/file.txt /dst/file.txt
移動文件hadoop fs -mv /src/file.txt /dst/

🛠? 三、MapReduce 作業運行指令

# 1. 編譯 Java 程序并打包為 JAR(假設你寫的是 WordCount.java)
javac -classpath `hadoop classpath` -d classes WordCount.java
jar -cvf wordcount.jar -C classes/ .# 2. 上傳輸入文件
hadoop fs -mkdir /input
hadoop fs -put input.txt /input/# 3. 提交 MapReduce 作業(以 WordCount 為例)
hadoop jar wordcount.jar WordCount /input /output# 4. 查看輸出結果
hadoop fs -cat /output/part-r-00000

📋 四、集群狀態監控指令

功能命令
查看作業列表yarn application -list
查看作業狀態yarn application -status <app_id>
殺死作業yarn application -kill <app_id>
查看節點yarn node -list
查看集群資源yarn cluster --list

💡 五、管理員常用 HDFS 命令

# 查看 HDFS 使用狀態
hdfs dfsadmin -report# 刷新節點信息(當編輯了 slaves 文件等)
hdfs dfsadmin -refreshNodes# 安全模式檢查(啟動時只讀)
hdfs dfsadmin -safemode get

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/79139.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/79139.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/79139.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【MySQL數據庫】事務

目錄 1&#xff0c;事務的詳細介紹 2&#xff0c;事務的屬性 3&#xff0c;事務常見的操作方式 1&#xff0c;事務的詳細介紹 在MySQL數據庫中&#xff0c;事務是指一組SQL語句作為一個指令去執行相應的操作&#xff0c;這些操作要么全部成功提交&#xff0c;對數據庫產生影…

一、OrcaSlicer源碼編譯

一、下載 1、OrcaSlicer 2.3.0版本的源碼 git clone https://github.com/SoftFever/OrcaSlicer.git -b v2.3.0 二、編譯 1、在OrcaSlicer目錄運行cmd窗口&#xff0c;輸入build_release.bat 2、如果出錯了&#xff0c;可以多運行幾次build_release.bat 3、在OrcaSlicer\b…

港口危貨儲存單位主要安全管理人員考試精選題目

港口危貨儲存單位主要安全管理人員考試精選題目 1、危險貨物儲存場所的電氣設備應符合&#xff08; &#xff09;要求。 A. 防火 B. 防爆 C. 防塵 D. 防潮 答案&#xff1a;B 解析&#xff1a;港口危貨儲存單位存在易燃易爆等危險貨物&#xff0c;電氣設備若不防爆&…

格雷希爾用于工業氣體充裝站的CZ系列氣罐充裝轉換連接器,其日常維護有哪些

格雷希爾氣瓶充裝連接器&#xff0c;長期用于壓縮氣體的快速充裝和壓縮氣瓶的氣密性檢測&#xff0c;需要進行定期的維護&#xff0c;為每一次的充裝提供更好的連接。下列建議的幾點維護準則適用于格雷希爾所有充注接頭&#xff0c;請非專業人士不要隨意拆卸連接器。 格雷希爾氣…

Java 多線程進階:什么是線程安全?

在多線程編程中&#xff0c;“線程安全”是一個非常重要但又常被誤解的概念。尤其對于剛接觸多線程的人來說&#xff0c;不理解線程安全的本質&#xff0c;容易寫出“偶爾出錯”的代碼——這類 bug 往往隱蔽且難以復現。 本文將用盡可能通俗的語言&#xff0c;從三個角度解釋線…

MSO-Player:基于vlc的Unity直播流播放器,支持主流RTSP、RTMP、HTTP等常見格式

MSO-Player 基于libVLC的Unity視頻播放解決方案 支持2D視頻和360度全景視頻播放的Unity插件 &#x1f4d1; 目錄 &#x1f3a5; MSO-Player &#x1f4cb; 功能概述&#x1f680; 快速入門&#x1f4da; 關鍵組件&#x1f4dd; 使用案例&#x1f50c; 依賴項&#x1f4cb; 注意…

navicat中導出數據表結構并在word更改為三線表(適用于navicat導不出doc)

SELECTCOLUMN_NAME 列名,COLUMN_TYPE 數據類型,DATA_TYPE 字段類型,IS_NULLABLE 是否為空,COLUMN_DEFAULT 默認值,COLUMN_COMMENT 備注 FROMINFORMATION_SCHEMA.COLUMNS WHEREtable_schema db_animal&#xff08;數據庫名&#xff09; AND table_name activity&#xff08;…

docker學習筆記6-安裝wordpress

一、創建自定義網絡、查看網絡 docker netword create blog docker network ls 二、 啟動mysql容器 啟動命令&#xff1a; docker run -d -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD123456 \ -e MYSQL_DATABASEwordpress \ -v mysql-data:/var/lib/mysql \ -v /app/myconf:/etc…

03_Mybatis-Plus LambadaQueryWrapper 表達式爆空指針異常

&#x1f31f; 03_MyBatis-Plus LambdaQueryWrapper 爆出空指針異常的坑點分析 ? 場景描述 來看一段常見的 MyBatis-Plus 查詢寫法&#xff0c;是否存在問題&#xff1f; Page<VideoInfoVo> videoInfoVosPage videoMapper.selectPage(page, new LambdaQueryWrapper&…

WEB安全--社會工程--SET釣魚網站

1、選擇要釣魚的網站 2、打開kali中的set 3、啟動后依次選擇&#xff1a; 4、輸入釣魚主機的地址&#xff08;kali&#xff09;和要偽裝的網站域名&#xff1a; 5、投放釣魚網頁&#xff08;服務器域名:80&#xff09; 6、獲取賬號密碼

Ethan獨立開發產品日報 | 2025-04-29

1. mrge 代碼審查的光標 mrge 是一個由人工智能驅動的代碼審查平臺&#xff0c;能夠自動審核拉取請求&#xff08;PR&#xff09;&#xff0c;為人工審查員提供超級能力。它是像 cal.com 和 n8n 這樣快速發展的團隊的首選工具。 關鍵詞&#xff1a;mrge, 代碼審查, AI驅動, …

ubuntu22.04 qemu arm64 環境搭建

目錄 創建 安裝 Qemu 啟動 # 進入qemu虛擬機后執行 qemu編譯器安裝 創建 qemu-img create ubuntu22.04_arm64.img 40G 安裝 qemu-system-aarch64 -m 4096 -cpu cortex-a57 -smp 4 -M virt -bios QEMU_EFI.fd -nographic -drive ifnone,fileubuntu-22.04.5-live-server-a…

安全生產知識競賽宣傳口號160句

1. 安全生產是責任&#xff0c;每個人都有責任 2. 安全生產是保障&#xff0c;讓我們遠離危險 3. 安全生產是團結&#xff0c;共同守護每一天 4. 注重安全&#xff0c;守護明天 5. 安全生產無小事&#xff0c;關乎千家萬戶 6. 安全第一&#xff0c;人人有責 7. 安全生產無差別&…

Python 虛擬環境管理:venv 與 conda 的選擇與配置

文章目錄 前言一、虛擬環境的核心價值1.1 依賴沖突的典型場景1.2 隔離機制實現原理 二、venv 與 conda 的架構對比2.1 工具定位差異2.2 性能基準測試&#xff08;以創建環境 安裝 numpy 為例&#xff09; 三、venv 的配置與最佳實踐3.1 基礎工作流3.2 多版本 Python 管理 四、…

【自然語言處理與大模型】如何獲取特定領域的微調數據集?

在特定領域中&#xff0c;數據集通常由提出需求的一方提供。然而&#xff0c;在某些情況下&#xff0c;如果他們未能提供所需的數據&#xff0c;或者你正在獨立開展一個項目&#xff0c;并且需要相應的數據來推進工作&#xff0c;這時你應該怎么辦呢&#xff1f;本文提供一種思…

Map系列之ConcurrentHashMap源碼分析:高并發場景下的性能密碼

引言&#xff1a;當線程安全成為剛需 1.1 并發時代的Map困境 經典案例&#xff1a;電商秒殺系統超賣事故分析&#xff08;附線程堆棧截圖&#xff09;傳統方案缺陷&#xff1a;synchronizedMap的吞吐量陷阱&#xff08;JMH測試數據對比&#xff09;ConcurrentHashMap的定位&a…

URP - 序列圖動畫的實現

效果&#xff1a; 【太妃糖耶】更新了一條視頻&#xff0c;快來圍觀&#xff01; 序列圖動畫的實現 首先先了解下序列圖樣式的紋理圖片 如上圖一可在Shader中使用該圖片制作燃燒的火的動畫&#xff0c;但是如何實現呢&#xff1f;接下來一起來看一下吧 序列圖動畫的實現原理大…

python中 str.strip() 是什么意思

在 Python 中&#xff0c;str.strip() 是字符串&#xff08;str&#xff09;類型的一個方法&#xff0c;用于移除字符串兩端的空白字符&#xff08;默認情況下&#xff09;或指定字符&#xff0c;并返回處理后的新字符串。 語法&#xff1a; str.strip([chars])chars&#xf…

記錄idea可以運行但是maven install打包卻找不到問題

解決idea使?maven多模塊install報依賴模塊的包找不到的問題 如果被依賴項?是springboot項?&#xff0c;那么可以把相關的springboot的東西移除掉&#xff0c;改造成普通項?。如果不想改造項?&#xff0c;那就添加部分的配置&#xff0c;因為springboot項?打包的時候會?…

uniapp如何獲取安卓原生的Intent對象

通過第三方app喚起&#xff0c;并且獲取第三方app喚起時攜帶的參數 因為應用a喚起應用b時&#xff0c;應用b第一時間就要拿到參數token&#xff0c;所以需要將獲取參數的方法寫在APP.vue中的onLaunch鉤子里,如果其他地方要用可以選擇vuex或者采用本地緩存。 uniapp中plus.run…