Hadoop HA

HA概念:

high avalability 高可用性。


hadoop 1.x非ha設計


Secondnode對元數據的可靠性有了保障,但服務的可用性不高。

即:當Namenode節點宕機了,整個hadoop就不能使用了,影響了client的使用。


hadoop 2.x的ha設計



新增了一個NameNode節點,擁有了2個NameNode節點,但一個狀態是 active,一個狀態是 standby(備用)。

standby的數據和active的一樣。



當 active節點宕機的時候,standby節點必須無縫切換為 active狀態。

兩個節點的edits必須完全一樣。但是兩個NameNode部署在不同機器上,節點的 edits內容是通過網絡同步的,在active宕機的時候,standby的edits不一定是最新的。如何保證實時性,達到無縫切換?





方法:將NameNode節點的edits內容放到分布式的集群里。NameNode去讀寫這個集群。

hadoop為此開發了一個專門管理 edits的分布式框架:qjournal,一個依賴于 zookeeper的框架。




本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/539357.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/539357.shtml
英文地址,請注明出處:http://en.pswp.cn/news/539357.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

紫光展銳處理器有那些手機用_酷派將發千元5G手機,國產紫光展銳加持,主打性價比...

↑↑↑點擊上方藍字訂閱每日最新熱點手機資訊數年之前,“中華酷聯”是國產智能手機的四大代表。不過隨著越來越多的強力競爭者入局,中興、酷派、聯想漸漸衰敗,僅剩華為屹立手機行業頂端。但是酷派似乎從未想過放棄,最近便要發布一…

jelly bean android,Jelly Bean占Android系統份額突破10%

Android系統份額圖(騰訊科技配圖)騰訊科技訊(清雨)北京時間1月4日消息,據國外媒體報道,微博)周四發布最新數據顯示,Android 4.1版本和Android 4.2版本的Jelly Bean在Android系統中的份額超過了10%,另外Android 4.0版本的ICS的份額…

Unable to load native-hadoop library for your platform

警告: 16/08/04 19:21:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因: 沒有配置好環境變量,hadoop的native沒有配置進去 解決方法&#x…

android網絡切換socket,Android版的websocket切換網絡無法重連

- 當前 Bug 的表現(可附上截圖)1、android微信使用websocket切換網絡時一般都無法重連,有時候重啟微信也沒用,需要重啟手機才能連上。移動或聯通網絡切換到電信網絡特別容易出現。2、Android微信使用socketIO經常會斷線重連,有時候斷線幾次就…

妲己機器人需要什么條件才能使用_estar零封YTG:平頭哥快樂電競,只有妲己沒亞瑟,差評...

2020KPL秋季賽常規賽第8周最后1個比賽日的第2場比賽,結果已經塵埃落定了。而最終的比賽結果是:estarpro輕松以3比0的大比分零封戰勝YTG。有一說一,這一場比賽真的是毫無懸念啊,甚至雙方交手的第1小局比賽,estarpro只用…

藍橋杯 出現次數最多的整數

問題描述   編寫一個程序,讀入一組整數,這組整數是按照從小到大的順序排列的,它們的個數N也是由用戶輸入的,最多不會超過20。然后程序將對這個數組進行統計,把出現次數最多的那個數組元素值打印出來。如果有兩個元素…

python離線錄音轉文字_Python將文字轉成語音并讀出來的實例詳解

前言 本篇文章主要介紹,如何利用Python來實現將文字轉成語音。將文字轉成語音主要有兩種不同的實現方法:先將文字轉成語音,然后再通過讀取語音實現發音、直接調用系統內置的語音引擎實現發音,后一種方法的實現主要利用第三方庫。 …

Linux 文件夾權限

文件夾默認權限:drwxr-xr-x 755 文件默認權限:-rw-r--r-- 644 ------------------------------------------ drwxr-xr-x 第一位(左數)表示當前目錄是目錄還是文件,d表示目錄,-表示普通文件. 后面9位分為3組,每3組作為1組, 從左到右分別表示&…

魅族15系統是android,魅族15系列評測:性能夠用王者榮耀優化

硬件性能:中配夠用,高配優秀硬件方面,文章前面的參數表已經寫得很清楚,魅族15搭載的是高通驍龍660處理器,并配備4GB的運行內存;魅族15 Plus則搭載三星Exynos 8895,配備6GB運行內存。在目前的移動…

.net 怎么循環得到數組里的值_HashMap 底層實現、加載因子、容量值及死循環

寫在前面:2020年面試必備的Java后端進階面試題總結了一份復習指南在Github上,內容詳細,圖文并茂,有需要學習的朋友可以Star一下!GitHub地址:abel-max/Java-Study-NoteHashMap 簡介HashMap 是一個基于哈希表…

Linux下 -bash: php: command not found 命令找不到

轉載自CSDN博客,原作者:warthur。原文鏈接:http://blog.csdn.net/warthur/article/details/47342163這個問題其實很簡單,如果你在終端輸入一個命令,而系統提示你說命令沒有找到(Command not found&#xff…

hdfs命令

bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加一個或者多個文件&#xff08;linux文件&#xff09; <localsrc> ...到hdfs制定文件<dst>中.也可以從命令行讀取輸入. hdfs dfs -appendToFile localfile /use…

eclipse jdk配置_eclipse的安裝和jdk的配置(JAVA)

首先需要到eclipse官網下載(eclipse.org)點擊download進入新界面點擊download 64bit進入新界面 點擊劃線的&#xff0c;點擊download也許但是比較慢&#xff0c;點擊劃線的會出現擴展選項&#xff0c;選擇距離你比較近的節點(速度比較快)作者選的是C…

webview跟html通信的原理,1.iOS: webView與html的交互

摘要:由于最近的項目中大部分功能需要 iOS 原生端與 html 進行交互才能完美實現,所以對 iOS 與 html 的交互方式進行了學習,這篇文章主要介紹 WebViewJavascriptBridge 框架的使用.至于原生的 JavaScriptCore.framework 就不多介紹了,同時在這里推薦一個比較好的博客.http://bl…

HDFS Federation(HDFS 聯盟)介紹

1. 當前HDFS架構和功能概述 我們先回顧一下HDFS功能。HDFS實際上具有兩個功能&#xff1a;命名空間管理&#xff08;Namespace management&#xff09;和塊/存儲管理服務&#xff08;block/storage management&#xff09;。 1.1 命名空間管理 HDFS的命名空間包含目錄、文件和塊…

linux java 部署 生產環境

2019獨角獸企業重金招聘Python工程師標準>>> 下載文件 首先進入網頁&#xff1a; http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 點擊Accept License Agreement后選擇jdk-8u161-linux-x64.tar.gz&#xff0c;下載。 配置環…

c#位數不夠0補充完_C# 位數不足補零

C#位數不足補零&#xff1a;int i10;方法1&#xff1a;Console.WriteLine(i.ToString("D5"));方法2&#xff1a;Console.WriteLine(i.ToString().PadLeft(5,0));//推薦方法3&#xff1a;Console.WriteLine(i.ToString("00000"));在 C# 中可以對字符串使用 …

華為鴻蒙發布作文,華為鴻蒙OS定檔6月2日發布!MatePad Pro 2或同臺亮相:首發預裝...

5月25日一早&#xff0c;原華為EMUI官微就正式宣布更名為Harmony OS&#xff0c;并宣布將在6月2日晚20點召開鴻蒙操作系統及華為全場景新品發布會&#xff0c;屆時將正式發布鴻蒙OS正式版。據近期進行開發者測試的用戶反饋&#xff0c;鴻蒙OS目前已經非常完善&#xff0c;且穩定…

python如何根據數據畫散點圖_如何用python畫出樣本的散點圖?

用python畫樣本散點圖的方法&#xff1a; 數據&#xff08;取第一列作為x&#xff0c;取第四列作為y&#xff09;如下&#xff1a;實現代碼如下&#xff1a;import matplotlib.pyplot as plt import numpy as np # 定義畫散點圖的函數 def draw_scatter(n, s): ""&qu…

Hadoop RPC框架

原文&#xff1a;http://blog.csdn.net/thomas0yang/article/details/41211259 ---------------------------------------------------------------------------------------------- 1、RPC框架概述1.1 RPC&#xff08;Remote Procedure Call Protocol&#xff09;——遠程過程…