Hadoop----高可用搭建

目錄標題

    • **什么是高可用?**
    • **?搭建的步驟**
    • 一.`jdk`**安裝配置**
      • - **要點**:
    • 二.`zookeeper`**集群配置**
      • - **要點**
    • 三.`Hadoop`高可用的搭建
      • - **要點**
        • ①環境變量的配置
        • ②配置文件的修改
      • ③內容分發
      • ④集群任務的初次啟動

什么是高可用?

通過冗余設計 + 自動恢復機制,顯著降低因單點故障導致的服務中斷概率(如NameNode停機從小時級恢復縮短至分鐘級),使系統具備“高持續服務能力”

?搭建的步驟

①安裝好jdk并配置好環境變量

②安裝好zookeeper并完成zookeeper的集群設置,且成功啟動
(成功啟動的意思為,可以顯示出哪臺機子為leader,哪臺機子為follower

③安裝好Hadoop,配置好環境變量,完成Hadoop的高可用配置

一.jdk安裝配置

- 要點:

解壓命令
tar -rf … …
配置環境變量并啟用

配置內容為
在這里插入圖片描述
啟用為
source /etc/profile

二.zookeeper集群配置

且看前文《zookeeper----初步了解與安裝》

- 要點

①關閉集群虛擬機的防火墻
myid的配置與zoo.cfg內的編號要完全對應
zoo.cfg內的編號配置的符號
防火墻的關閉

三.Hadoop高可用的搭建

- 要點

①環境變量的配置

在這里插入圖片描述
(配置好后,記得source

②配置文件的修改
  • 文件的位置
    Hadoop中的 etc/hadoop/

?四個文件+workers+hadoop-env.sh

在這里插入圖片描述
?workers為虛擬機名字根據自身名字加入
在這里插入圖片描述
文件一

  • core-site.xml
    在這里插入圖片描述

文件二

  • hdfs-site.xml
    在這里插入圖片描述

文件三

  • mapred-site.xml
    在這里插入圖片描述

文件四

  • yarn-site.xml
    在這里插入圖片描述

③內容分發

在這里插入圖片描述
將一臺機子配置好的hadoop分發給集群其他虛擬機
scp -r 文件 虛擬機名:位置

以及環境變量分發

(先確保集群內每臺機子的jdk都擁有,且設置好了環境變量)

④集群任務的初次啟動

在這里插入圖片描述
?注:除了zookeeper打開關閉命令,在zookeeper中執行,其他都在hadoop內執行

  1. 啟動初期,先將虛擬機的zookeeper集群打開
    bin/zkServer.sh start

  2. 將集群每一臺的journalnode初始化開啟
    bin/hdfs --daemon start journalnode

  3. 只在任意一臺機子進行namenode初始化且開啟(查看是否初始化正確)

初始化命令
bin/hdfs namenode - format

開啟命令
bin/hdfs --daemon start namenode

  1. namenode信息同步給另外兩臺機
    命令如上圖(兩種方式)

  2. 將所有啟動的進程關閉以及zookeeper集群

  3. 重啟zookeeper集群

  4. 在任意一臺虛擬機初始化zkfc
    bin/hdfs zkfc -formatZK

  5. 啟動hdfs以及yarn進程
    (最好在初始化namenode的虛擬機上執行)
    命令如上圖

?注意
要想關閉某個進程或zookeeper集群

start換成stop即可

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/76770.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/76770.shtml
英文地址,請注明出處:http://en.pswp.cn/web/76770.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【Rust 精進之路之第15篇-枚舉 Enum】定義、變體與數據關聯:表達多種可能性

系列: Rust 精進之路:構建可靠、高效軟件的底層邏輯 作者: 碼覺客 發布日期: 2025年4月20日 引言:當值擁有“選項”——超越結構體的表達力 在上一篇【結構體 Struct】中,我們學習了如何使用結構體將多個相關的數據字段組合成一個有意義的整體。結構體非常適合表示那些…

模擬實現strncat、qsort、atoi

目錄 前言 一、模擬實現strncat 參數 代碼演示: 二、模擬實現qsort 參數 代碼演示: 前言 本文主要是對strncat,qsort,atoi的模擬實現 一、模擬實現strncat C 庫函數 char *strncat(char *dest, const char *src, size_t n…

Ubuntu 系統中修改 MySQL 的 sql_mode

在 Ubuntu 系統中修改 MySQL 的 sql_mode 需要編輯 MySQL 的配置文件并重啟服務。以下是詳細步驟: 步驟 1:定位 MySQL 配置文件 MySQL 配置文件通常位于以下路徑之一(具體取決于安裝方式): /etc/mysql/my.cnf /etc/m…

進階算法 第一課:貪心

本文遵循 CC BY-NC-ND 4.0 協議,作者: U?ェ?*U \texttt{U?ェ?*U} U?ェ?*U,轉載請獲得作者授權。 歡迎大家來到進階算法第一課:貪心;我會分為以下幾點為大家講解貪心: 什么是貪心。貪心的性質與分類。…

AI領域:MCP 與 A2A 協議的關系

一、為何會出現MCP和A2A 協議是非常重要的東西,只有大家都遵循統一的協議,整體生態才好發展,正如有了HTML,互聯網才快速發展,有了OpenAPI, API才會快速發展。 Agent目前是發展最快的領域,從最初…

深度學習訓練中的顯存溢出問題分析與優化:以UNet圖像去噪為例

最近在訓練一個基于 Tiny-UNet 的圖像去噪模型時,我遇到了經典但棘手的錯誤: RuntimeError: CUDA out of memory。本文記錄了我如何從復現、分析,到逐步優化并成功解決該問題的全過程,希望對深度學習開發者有所借鑒。 訓練數據&am…

FramePack V2版 - 支持首尾幀生成,支持LoRA,支持批量,支持50系顯卡,一個強大的AI視頻生成軟件 本地一鍵整合包下載

FramePack 是斯坦福大學主導開發的視頻生成框架,是一種用于視頻生成的下一幀(下一幀部分)預測神經網絡結構,可以逐步生成視頻。FramePack 主要開發者之一,就是業內大名鼎鼎的張呂敏大佬,AI領域的“賽博佛祖…

STM32 HAL 通用定時器延時函數

使用通用定時器TIM3,實現ms、us延時。 delay.c #include "delay.h" #include "stm32f1xx_hal.h"TIM_HandleTypeDef htim3;/*** brief 初始化定時器3用于延時* param 無* retval 無*/ void Delay_Init(void) {TIM_ClockConfigTypeDef sClock…

軟件功能測試和非功能測試有什么區別和聯系?

軟件測試是保障軟件質量的核心環節,而軟件功能測試和非功能測試作為測試領域的兩大重要組成部分,承擔著不同但又相互關聯的職責。 軟件功能測試指的是通過驗證軟件系統的各項功能是否按照需求規格說明書來正確實現,確保軟件的功能和業務流程…

使用Java調用TensorFlow與PyTorch模型:DJL框架的應用探索

在現代機器學習的應用場景中,Python早已成為廣泛使用的語言,尤其是在深度學習框架TensorFlow和PyTorch的開發和應用中。盡管Java在許多企業級應用中占據一席之地,但因為缺乏直接使用深度學習框架的能力,往往使得Java開發者對機器學…

Docker安裝beef-xss

新版的kali系統中安裝了beef-xss會因為環境問題而無法啟動,可以使用Docker來安裝beef-xss,節省很多時間。 安裝步驟 1.啟動kali虛擬機,打開終端,切換到root用戶,然后執行下面的命令下載beef的docker鏡像 wget https:…

metasploit(2)生成dll木馬

聲明!本文章所有的工具分享僅僅只是供大家學習交流為主,切勿用于非法用途,如有任何觸犯法律的行為,均與本人及團隊無關!!! 一、dll文件基本概念 DLL 是一種包含可由多個程序同時使用的代碼和數…

5V 1A充電標準的由來與技術演進——從USB誕生到智能手機時代的電力革命

點擊下面圖片帶您領略全新的嵌入式學習路線 🔥爆款熱榜 88萬閱讀 1.6萬收藏 一、起源:USB標準與早期電力傳輸需求 1. USB的誕生背景 1996年,由英特爾、微軟、IBM等公司組成的USB-IF(USB Implementers Forum)發布了…

使用Python設置excel單元格的字體(font值)

一、前言 通過使用Python的openpyxl庫,來操作excel單元格,設置單元格的字體,也就是font值。 把學習的過程分享給大家。大佬勿噴! 二、程序展示 1、新建excel import openpyxl from openpyxl.styles import Font wb openpyxl.…

【設計模式】深入解析代理模式(委托模式):代理模式思想、靜態模式和動態模式定義與區別、靜態代理模式代碼實現

代理模式 代理模式,也叫委托模式。 Spring AOP 是基于動態代理來實現 AOP 的 定義 為其他對象提供一種代理 以控制對這個對象的訪問。它的作用就是通過提供一個代理類,讓我們在調用目標方法的時候,不再是直接對目標方法進行調用,而…

利用java語言,怎樣開發和利用各種開源庫和內部/自定義框架,實現“提取-轉換-加載”(ETL)流程的自動化

一、ETL 架構設計的核心要素? 在企業級數據處理場景中,ETL(Extract-Transform-Load)流程自動化是數據倉庫、數據湖建設的核心環節。基于 Java 生態的技術棧,我們可以構建分層解耦的 ETL 架構,主要包含以下四層結構&am…

2023藍帽杯初賽內存取證-8

也是用到pslist模塊,加上grep過濾”chrome“即可: vol.py --plugin/opt/volatility/plugins -f memdump.mem --profile Win7SP1x64 pslist | grep "chrome" 第一個是PID,第二個是PPID,第三個是線程數,第四個…

【C語言】動態內存的常見錯誤

前言&#xff1a; 在上章節中講解了動態內存的概念和管理的核心函數。 在本章節繼續為大家介紹動態內存的常見錯誤&#xff0c;讓大家更好的理解運用。 補充&#xff1a;使用內存函數需要頭文件<stdlib.h> 對NULL指針的解引用操作 當使用malloc、calloc或realloc等函…

uniapp-x 二維碼生成

支持X&#xff0c;二維碼生成&#xff0c;支持微信小程序&#xff0c;android&#xff0c;ios&#xff0c;網頁 - DCloud 插件市場 免費的單純用愛發電的

Linux內核之文件驅動隨筆

前言 近期需要實現linux系統文件防護功能&#xff0c;故此調研了些許知識&#xff0c;如何實現文件防護功能從而實現針對文件目錄防護功能。當被保護的目錄&#xff0c;禁止增刪改操作。通過內核層面實現相關功能&#xff0c;另外在通過跟應用層面交互從而實現具體的業務功能。…